Задание бесплатно, состав не является: Латинская площадь как доказанная способность к строительству гетерогенных последовательности

arXiv: 2609.20269v1 Annuales Type: новый резюме: После ГПТ большинство трансформеров повторили один и тот же механизм внимания на каждом уровне. И все же этот замысел в значительной степени является скорее конвенцией, чем проверенным выводом. Когда комбинаторы нескольких последовательностей объединяются в одну стопку, могут возникнуть улучшения из выбора механизма, размещения или обоих, что затрудняет причинно-следственное присвоение. Мы введем модель Aether-7B-5Attn, 6,59 B-параметра смеси экспертов (приблизительно 2,98В активных), 49 слоев которой содержат семь механизмов последовательности, установленных как 7\время7 долл. Поскольку каждый механизм появляется точно один раз в каждом ряду и столбце, конструкция гарантирует сбалансированное воздействие на всю глубину при устранении путаницы с размещением. Для оценки этого принципа мы построим сравниваемый параметр с четырьмя механизмами, которые будут представлять собой латинскую площадь в размере 4\времен 4 долл. США на 16 слоев, что соответствует параметрам 700,9 млн. долл. Полученные результаты свидетельствуют о явной диссоциации. Перестройка распределенной