СТАПЛЬ: Статическая скачка с помощью модулей для установки проверочных пунктов

arXiv: 2610.12599v1 Annualce Type: New Humber: Sparse вычисления могут масштабировать параметрическую способность МЛМ без пропорционального увеличения активных расчетов, однако предварительная подготовка малоактивных архитектур остается дорогостоящей и ненасыщенной данными. Существующие малоэффективные методы переработки в основном ориентированы на модели смеси экспертов, где однородность экспертов, неэффективность выборки и системные накладные расходы могут ограничить практическую масштабируемость. Статическая низкая память обеспечивает предсказуемый доступ и символические обновления, которые могут помочь решить эти проблемы, но наивно интегрировать ее в заранее подготовленные расчеты приносят низкую отдачу. В этой работе мы введем СТАПЛЕ, рецепт, основанный на TEME для интеграции статической малой памяти в заранее подготовленные модели. В то время как СТЕМ заменяет прогнозы ФНС символическими привязками, STAPLE сохраняет их и добавляет в качестве остаточного пути, сохраняя заранее подготовленные расчеты, а также извлекая дополнительную информацию о символах масштабируемым образом. ОЛМО-2 1В: Импровизация