Какой из них умеет перегружать? SGUID: выбор банка данных для совместной разработки моделей и обмена опытом
arXiv: 2610.1236767v1 Вид уведомления: новое резюме: навыки, повторное использование процедурных указаний, добавленных в вывод о том, что может существенно повысить эффективность LLM вниз по течению (Li et al., 2026). Предварительная работа позволяет получать навыки из банка по семантической значимости, а затем использовать их в качестве патч-показателей времени или для дистилляции модели. Вместе с тем индивидуальная полезность каждого навыка в значительной степени игнорируется. Во-первых, мы показываем, что в процессе перегонки на уровне политики, когда в качестве преподавателей используется политика с учетом квалификации, менее 25% приобретенных навыков дают полезные сигналы дистилляции. Затем мы предлагаем СГУИД, метод отбора компактного поднабора навыков для дистилляции. СГУИД сохраняет навыки только в том случае, если она последовательно дает эффективные сигналы об обучении во время обучения. Отобранные навыки затем дистиллируются для создания более совершенной модели. Наши результаты показывают, что не все навыки заслуживают понижения. В четырех моделях из семей Ольмо и Квена 6 отобранных навыков совпадают или превышают полную перегонку в средней авг@12 на
