SlowRoute: Входная адаптационная система поиска слоя через LORA Fine-Tuning для агентических языковых моделей
arXiv: 2606.0.1838v2 Тип уведомления: заменить резюме: системы агентско-язычных моделей чередуются между двумя различными в структурном отношении типами ступенек: структурированные наборы инструментов (короткая, детерминистская, низкая запутанность) и открытые этапы планирования/разумения (длинная, сложная, высокая неразбериха). Несмотря на эту разнородность, нынешние системы вывода применяют идентичные расчеты к каждому шагу. Мы введем SylowRoute, лёгкий адаптер который учится избирательно пропускать блоки трансформатора на основе каждого входа. Слой-Рут увеличивает каждый из 24 блоков трансформаторов в Qwen2,5-0,5B-Regulation: 1) на один слоёвный маршрутизатор (~897 параметров, Linear( 896,1), который выводит твердые двоичные ворота через продольную оценку, и 2) адаптеры ЛоРА (строка 8, ~ 1.08M) на прогнозах внимания Q/K/V/O. Грузы позвоночника остаются замороженными. Единственный конечный курс обучения по агентским данным (Hermes, Glaive, GSM8K, Turing) с термином " vert regisation ' s control performation that the system to governing blocks based a instruction
