Компьютерные науки > Машинное обучение [представлено 6 августа 2026 (v1), последний пересмотренный вариант от 15 октября 2026 года (эта версия, v3)] Название: Предусмотрение задач трудной без просмотра PDF HTML (экспериментальный) резюме: Основная задача в оценке и обучении автономных агентов заключается в измерении имманентной сложности задач, которые они пытаются решить. Оценка этого количества может быть полезной для разработчиков экологических проектов, разрабатывающих синтетические данные или контрольные показатели, а также для разработки учебных программ, что позволит сократить расходы на расчет. Такая оценка приобретает все большее значение по мере того, как агенты (особенно на основе LLM) переходят в более длинные горзонные области, где эмпирические опыт и артерии становятся серьезным вычислительным узким местом. Вместе с тем существующая работа в основном ограничивается выполнением статических задач и опирается на оценочные показатели, которые, как мы показываем, могут дать неполную картину прогнозируемых результатов. В настоящем документе мы изучаем прогнозирование трудностей в 17 агентских контрольных параметрах, охватывающих коды, математику, машинное обучение, вебнавигацию, вызов функций и другие области. Мы считаем, что АУК может маскировать плохие оценки трудностей, определить энтропию символического уровня в качестве полезного прогнозирующего сигнала и продемонстрировать, как остаточные значения между ожидаемой и наблюдаемой трудностями могут выявить такие…
Предсказание сложных задач без разворотов
arXiv: 2608.05797v3 Тип уведомления: заменить перекрестное резюме: фундаментальная проблема в оценке и подготовке автономных агентов заключается в измерении имманентной сложности задач, которые они пытаются решить. Оценка этого количества может быть полезной для разработчиков экологических проектов, разрабатывающих синтетические данные или контрольные показатели, а также для разработки учебных программ, что позволит сократить расходы на расчет. Такая оценка приобретает все большее значение по мере того, как агенты (особенно на основе LLM) переходят в более длинные горзонные области, где эмпирические экспериментальные и артерии становятся серьезным вычислительным узким местом. Вместе с тем существующая работа в основном ограничивается выполнением статических задач и опирается на оценочные показатели, которые, как мы показываем, могут дать неполную картину прогнозируемых результатов. В настоящем документе мы изучаем прогнозирование трудностей в 17 агентских контрольных параметрах, охватывающих коды, математику, машинное обучение, вебнавигацию, вызов функций и другие области. Мы считаем, что AUC может маскировать плохие оценки трудностей и определить