SKT: Обучение навыкам использования в масштабе с помощью проверенного синтеза данных

arXiv: 2608,0228787v2 Тип уведомления: заменить резюме: навыки работы с агентами стали важным механизмом для оснащения сотрудников языковых моделей многоразовыми процедурными знаниями. Однако само по себе предоставление навыков не гарантирует того, что нынешние модели могут эффективно выявлять, применять и координировать их. В целях совершенствования возможностей использования навыков мы внедряем SKT, проверенный трубопровод для синтеза данных, который создает квалифицированные задачи и поддающиеся реализации траектории на основе больших коллекций агентских знаний. SKT отбирает подходящие одноразовые и многоуровневые конфигурации, синтезирует задачи посредством проверки на основе норм и агентов с помощью ремонта на базе обратной связи и сохраняет только успешные траектории, в которых используются все необходимые навыки. Используя 2000 общественных навыков, СКТ производит 4 000 комплектов задач и 27 164 проверенных траектории. На основе того же трубопровода и разрозненного испытательного пула мы далее строим SkillEval, стойкий контрольный показатель для оценки использования профессиональных навыков. Эксперименты в различных областях