Переосмысление неоднородной системы

arXiv:2609.131334v1 Annualte Type: New Habstrate: Foreign Language Models более агрессивно используют субквадратическое внимание для уменьшения отпечатков памяти и расчета требований во время вывода при обеспечении пограничной точности. Хотя в существующих системах принимаются плотные, дезагрегированные по фокусу внимания решения о предоставлении услуг, мы продемонстрировали, что дезагрегирование выводов относительно уникальной арифметической интенсивности и следа памяти субквадратического внимания МЛМ может привести к значительному увеличению пропускной способности и повышению энергоэффективности на формирующихся многообразных системах, основанных на ДРАМ, и только ПРАМ. Мы внедряем SQD (Subquadratic Disgratation), тонкую гранулированную разнородную схему дезагрегирования, которая разбивает декодирование на квадратное и субквадратическое внимание, а не по типу оператора, что применяется в различных подквадрических вариантах внимания. Для слабого внимания MLM мы дезагрегируем декодировать в выбор топ-к, который должен индексироваться через полный KV и внимание сверху-k плюс FFN с статическими отпечатками памяти. Фо