Как проверяющий ИИ испортил правильные ответы: разбор генератора учебных заданий

#Генератор #Разбираем #Читать
Как проверяющий ИИ испортил правильные ответы: разбор генератора учебных заданий

Генератор учебных заданий положил «маши…ый» в правильную корзину, а проверка переложила слово в неправильную. При этом модель-арбитр в своём же объяснении написала «машинный». Разбираем по сохранённым ответам три сбоя проверяющей модели: что пошло не так в процессе, что поменяли в коде и чего эти правки не доказывают. Читать далее

В задании на сортировку было слово «маши…ый». Генератор положил его в корзину «Две НН», и это верно. Проверка переложила слово в корзину «Одна Н». Вот ответ модели-арбитра, после которого это случилось, без правок, из сохранённого JSON:

{

"n": 4,

"a": "Одна Н",