ActTail: Глобальное активация Параллелизма в крупных языковых моделях

arXiv: 2603.12272v2 Annuales Type: заменить резюме: Активация притяжения представляет собой перспективный подход к ускорению вывода большой языковой модели (LLM) путем сокращения вычислений и изменения памяти. Вместе с тем существующие методы активации, как правило, предусматривают единообразное использование различных прогнозов в условиях неровности при игнорировании неоднородных статистических свойств трансформаторных весов и, таким образом, усиления ухудшения показателей. В этом документе мы предлагаем ActTail, метод активации на основе топK спарсити и распределение глобальной активационной спринтности на основе теории саморегистрации (HT-SR). Если говорить конкретно, то мы фиксируем эту неоднородность с помощью тяжелого хвостового экспонента, рассчитанного на основе эмпирической спектральной плотности (ОУР) каждого прогноза, которая используется в качестве количественного показателя для определения бюджетов по конкретным прогнозам. Важно отметить, что мы проводим теоретический анализ, который устанавливает четкую связь между коэффициентом активации спарсити и тяжёлой хвостовой трубкой под HT-