ИИ проверяет ИИ: как один агент оценивает работу другого и почему это не панацея

Проверить вручную тысячу ответов модели невозможно, поэтому проверку всё чаще поручают другой модели. Схема рабочая, но у неё есть слепые пятна: судья-нейросеть ошибается так же, как та, кого она проверяет. Разберём, где ИИ-судья полезен, где ломается и какой каркас проверки собрать, чтобы метод давал результат, а не иллюзию контроля.

Главное за минуту

ИИ-судья хорошо отвечает на вопрос «похож ли ответ на удачный», но не знает, правда ли он верен, и ошибается так же, как проверяемая модель. У судьи четыре известных перекоса: он любит ответ, стоящий первым, длинный ответ, свои собственные тексты и ответы похожих моделей. Самопроверка «перечитай и исправь» без внешних данных слабая. Надёжнее собрать порядок из шагов: сначала код и тесты, потом судья другого семейства с подробной рубрикой, затем сверка с оценками людей и человек на спорных и необратимых решениях.

Зачем нужен ИИ-судья