Специализированные модели принятия решений по сравнению с Общие задачи: Контроль за выполнением задач Jev через знания, рассудки и многоязычные задачи
arXiv: 2610.10.1978v1 Annuate Type: новый резюме: Jev — модель "System One", которая возвращает выбор между указанными опциями вместо создания текста. Мы изучаем вопрос о том, как такая специализированная модель принятия решений сопоставима с моделями общего назначения на больших языках. Мы оцениваем Йева по 13 критериям, предусматривающим выбор нескольких вариантов, включая знания, рассудки и многоязычное понимание, и сравниваем их с 19 МЛМ на трех уровнях: пограничных, представительных и малых. Джев соревнуется с МПМ в вопросах знаний и благосознания и получает наилучший балл по MMLU-Redux и ARC-Callenge. Внешняя математика также опережает большинство представительных МЛМ и все малые ММ. Тем не менее, он отстает от математических проблем слов: на МаткВ это 17,7 очка ниже медианы границы и баллы ниже чем у всех 19 МЛМ. Эти результаты свидетельствуют о том, что специализированная модель принятия решений может соответствовать МРМ общего назначения в отношении решений, которые основываются главным образом на знаниях, но не на решениях, требующих многоэтапной оценки
