Доказательство использования: Смягчение воздействия с помощью инструментов в ходе глубоких исследований

arXiv:2510 10931v3 Annualce Type: заменить резюме: В то время как укрепление обучения (RL) повышает их способность планировать и рассуждать по всем этапам поиска, мы идентифицируем режим критического отказа в этой настройке: Handbook-Call Haking. В отличие от инструментов, основанных на исполнении (например, код или математика), последствия которых непосредственно отслеживаются, слабость причинно-следственной зависимости между собранными доказательствами и аргументацией в рамках надзора за форматом и результатами позволяет агентам максимально увеличить сигналы вознаграждения на уровне поверхности без того, чтобы их доводы действительно основывались на возвращенных свидетельствах. Это приводит к отдельным патологиям, включая коллапс режима через чрезмерное использование инструментов и галлюцинированное использование инструментов в тех случаях, когда звонки с помощью инструментов являются главным образом декоративными. Для решения этой проблемы мы предлагаем представить документ под названием " Доказательство использования &qt; , который является основой для определения фактов и в котором прямо оптимизируется причинно-следственная зависимость от поиска до обоснования и окончательных ответов. ПУ переформулирует тонкий повёрнутый протокол поэтапного взаимодействия, в котором субъекты должны давать поддающуюся проверке ссылку на