Может ли MLP абсорбать свое собственное соединение?

arXiv: 2604.23705v2 Adminus Type: заменить резюме: преимущества, обычно связанные с пропущенными соединениями, являются оптимизацией - теоретикой: более плавный ландшафт потери и лучшее распространение градиента. Вместо этого мы задаем представительский вопрос: при наличии остаточного блока x -> х + MLP(x), вычисляет ли остаточное значение MLР той же ширины? Ответ: нет, безусловно и на каждой глубине, за каждую активацию, используемую в нынешних моделях пограничных языков (RELU, ReGLU., SwigLU/ GEGLU). В случае необнаруженной регуляции и поглощения GELU возможно, но только на наборе весов измерения 0. Таким образом, эти две семьи в целом расходятся: удаление пропусков и переподготовка не могут восстановить точно одинаковую функцию на одинаковой ширине.