Разоблачение секрета АдалН-Зеро в Difclusion Transformer
arXiv: 2608.09438v2 Annualce Type: заменить резюме: Difslution трансформатор (DIT), быстро развивающаяся архитектура для создания изображений, привлекла к себе большое внимание. Однако, несмотря на предпринимаемые усилия по улучшению его работы, понимание ДИ остается поверхностным. В этой работе мы изучаем и расследуем механизм критического кондиционирования в рамках DIT, AdaLN-Zero, который достигает более высоких показателей по сравнению с adaLn. В нашей работе мы изучаем три потенциальных элемента, которые могут двигать эту эффективность, включая структуру SE-подобные структуры, нулевую инициализацию и «классический» порядок обновления, среди которых ноль-первоначальная реализация оказалась наиболее влиятельным. Исходя из этого понимания, мы предлагаем стратегию инициализации на основе анализа под названием " адаЛН-Гауссиан &qt; , которая служит как эмпирической проверкой нашего анализа, так и практическим методом инициаляции, последовательно повышающим эффективность оптимизации. С другой стороны, под влиянием структуры SE мы введем улучшенное состояниеi