[Перевод] Все вызовы API успешны. Почему ИИ-агент всё равно нарушает правила?

Агент создал запись о подрядчике, отправил договор на подпись и подготовил выплату. Все вызовы API завершились успешно. Однако обязательную проверку статуса подрядчика он пропустил. Для каждой системы действия выглядели допустимыми, а весь процесс оказался неправильным.

Такой сценарий описывает технический директор Workday Гейб Монрой в колонке для VentureBeat. Проблема шире конкретного продукта: разрешение вызвать инструмент ещё не означает разрешения провести операцию в текущих обстоятельствах. Разберём, где агенту нужны ограничения и как проверить их до запуска.

Почему успешный вызов API ничего не говорит о соблюдении правил

Языковая модель выбирает инструмент и формирует его параметры. Программа, в которой работает агент, получает этот запрос и вызывает инструмент. Именно так разделяются роли модели и среды исполнения в документации Open Policy Agent. Допустим, агенту поручили оформить зарубежного подрядчика. Он нашёл человека в кадровой системе, создал договор и передал данные в платёжную систему. Каждый API принял запрос. Но перед заключением договора компания требует определить статус исполнителя и получить согласование ответственного специалиста. Если эти этапы контролируются только инструкцией агенту, их можно пропустить.