Галлюцинацией агента в продакшне называют неверное действие: вызов API, запись в базу, письмо клиенту, транзакция. Стоимость такой ошибки определяется не столько ценой токенов, сколько обратимостью действия и временем, за которое ее заметили. Ниже — задокументированные случаи с суммами от $812 до примерно $100 млрд рыночной капитализации, данные исследований и формула, по которой убытки от ошибок агента можно оценить для своей системы.
В среднем галлюцинация стоит дёшево, а риск формируют редкие хвостовые события и поздний detection lag. Затраты на проверку нужно сопоставлять с ожидаемым ущербом, а необратимые действия — закрывать контрольными точками.
Чем галлюцинация агента отличается от ошибки чат-бота
В чате человек может мгновенно посмотреть и проверить результат: если ответ неверный, пользователь его не использует. У агента ответ модели разбирается в параметры инструмента и исполняется без чтения пользователя. Одна и та же ошибка модели в агентном воркфлоу превращается в одно из четырёх последствий:
![[Перевод] Телеуправление, симуляции и камеры на кепках: как добывают данные для обучения роботов](/api/public/img?url=https%3A%2F%2Fhabrastorage.org%2Fextt%2F20%2Fc8%2Fe1%2F20c8e1f0da5cf1b56bfa626f2cf6dd76.png&s=card&sig=dd5bc0e5677c3b07ab4740602c50ce4a)
