Рационально линейные ЗПИ

arXiv: 2610.13568v1 Аннонс Тип: новое резюме: Мы представляем рационально линейные многослойные перцестры (RaLIMPs), новый подход к эффективной линеизации MLP с использованием низкостепенных рациональных приближений стандартных функций активации. Вдохновляемые полиномической линейностью MLP, мы показываем, что рациональное приближение может обеспечить точное представление в значительно меньшей степени. RALIMP использует эти приближения для построения ядер с узкими узлами, что позволяет обеспечить эффективный состав по всем слоям MLP. Мы предоставляем теоретические гарантии для последующего приближения и оцениваем RALIMP в различных областях применения, начиная от имплицитных 3D моделей до крупных языковых моделей. Наши эксперименты демонстрируют благоприятную точность - компромиссы по эффективности, при этом RALIMP достигают конкурентоспособности или повышают точность и существенно сокращают затраты на выводы.