Испытания 16 моделей также выявили разрыв между результатами на русском и английском языках Команды Яндекс и ШАД (Школы анализа данных) открыли доступ к MTGBench — бенчмарку для оценки способности нейросетей решать сложные задачи с помощью последовательных рассуждений. Инструмент опубликован на GitHub , а научную статью о нём приняли на конференцию EMNLP 2026. Источник изображения: ИИ ChatGPT // https://chatgpt.com В основу MTGBench легли семь текстовых игр, включая «Поле чудес», «Данетки», «Элиас» и Wordle. Они позволяют проверить, насколько хорошо модели учитывают новые вводные, используют предыдущие ответы, планируют дальнейшие действия и избегают противоречий. Оценка учитывает не только правильность результата, но и количество шагов, необходимых для его получения. Все задания представлены на русском и английском языках. Разработчики протестировали 16 нейросетей, в том числе модели Qwen, Gemini и GPT. Эксперименты показали, что режим рассуждений особенно полезен в задачах с буквами,
«Данетки» и «Поле чудес» для ИИ: Яндекс выпустил тест на логическое мышление нейросетей
Испытания 16 моделей также выявили разрыв между результатами на русском и английском языках
Команды Яндекс и ШАД (Школы анализа данных) открыли доступ к MTGBench — бенчмарку для оценки способности нейросетей решать сложные задачи с помощью последовательных рассуждений. Инструмент опубликован на GitHub, а научную статью о нём приняли на конференцию EMNLP 2026.
В основу MTGBench легли семь текстовых игр, включая «Поле чудес», «Данетки», «Элиас» и Wordle. Они позволяют проверить, насколько хорошо модели учитывают новые вводные, используют предыдущие ответы, планируют дальнейшие действия и избегают противоречий. Оценка учитывает не только правильность результата, но и количество шагов, необходимых для его получения. Все задания представлены на русском и английском языках.
