Что дает хорошие данные о порядке направления инструкций? Внутритекстовая перспектива обучения
arXiv:2604.25132v2 Тип уведомления: заменить резюме: наборы данных для корректировки инструкций часто содержат значительные избыточные и низкокачественные образцы, что требует эффективных методов отбора данных. Мы предлагаем систему отбора инструктивных данных на основе взвешенного влияния внутриконтекста (ВИП), которая позволяет оценить, насколько эффективно каждый пример кандидатов уменьшает трудности с обучением для семантически родственных коллег. На основе систематических экспериментов мы рассматриваем три ключевых вопроса: что представляет собой эффективная инструкция, настройка данных с точки зрения внутреннего текста; соотносится ли трудность выборки с влиянием в тексте и каким образом влияние in-context переводится на эффективность инструкции. Эксперименты по различным моделям и контрольным показателям показывают, что наш метод последовательно опережает существующие исходные уровни при ограниченных бюджетах данных, в то время как эмпирические данные свидетельствуют о негативной корреляции данной трудности с выборкой с влиянием внутритекстового компонента.
