Точное, но не униженное: оценка эпистемичной слабости агентов ЛЖМ в условиях конфликта знаний
arXiv: 2610.12360v1 Annuate Type: New Habstractive: Когда извлеченные доказательства противоречат предыдущим убеждениям агента, пересматривают ли они свой ответ, признают ли неопределённость или продолжают делать ошибочные выводы? Существующие оценки агентских систем сосредоточены главным образом на успешном выполнении поставленных задач, что дает лишь ограниченное представление о том, как действующие лица решают такие конфликты. Мы предлагаем оценить агенты на эпистемическом смирении (ЭГ): готовность агента распознавать, действовать и сообщать о неопределённости в ходе выполнения задачи. Мы вводим ЭГ в действие с помощью трёх параметров поведения траектории: выявление, разрешение и эскалат (ISE). С помощью конфликта знаний, ситуаций, когда параметрические знания модели основных языков противоречат доказательствам, с которыми она сталкивается, или двух контекстуальных источников, которые расходятся во мнениях, мы оцениваем две конфликтные ситуации: 1) контролируемые конфликты и 2) естественно возникающие конфликты в ходе многоэтапного агентского исполнения, каждая из которых сочетается с мерами контроля без конфликтов. Оценивая четырех агентов, мы находим тха
