Компьютерная наука > Расчет и язык [представлен 29 мая 2025 года (v1), последний пересмотренный вариант 16 сентября 2026 года (эта версия, v5)] Название: PBEBench: Multi-Step Programing by Actioning Basic Meetters Russiblic View PDF HTML (экспериментальный) резюме: хотя многие контрольные показатели оценивают логистическую способность моделей большого языка в таких областях, как математика, кодирование или полемика с данными, лишь немногие абстрактные подробности из области для изучения аргументации сами по себе. Мы представляем новый тип контрольных параметров для оценки индуктивных возможностей МЛМ, которые основаны на перспективной задаче восстановления из исторических языков, но сформулированы чрезвычайно простым и общим образом (в форме программирования с помощью примеров). Задача заключается в создании каскада простых струн перезаписи программ для преобразования данного списка вводных строк в список желаемых выходных струн. Мы представляем полностью автоматизированный трубопровод, который программно порождает проблемы такого рода с контролируемыми трудностями, что позволяет масштабировать модели рассуждений и избегать загрязнения. Используя этот подход, мы составляем два контрольных показателя: PBEBench-Lite, который эффективно стратифицирует модели различных возможностей, и PBEbench, для чего требуются модели с целью стимулировать программы, аналогичные тем, которые были разработаны историческими лингвистами. Наши эксперименты показывают значительный разрыв в…
PBEBench: Многоэтапное программирование с помощью примеров, позволяющих рассуждать о контрольном параметре на основе исторических языков
arXiv:2505.23126v5 Тип анонсации: заменить резюме: хотя многие критерии оценивают умения крупных языковых моделей (LMS) в таких областях, как математика, кодирование или полемика с данными, мало абстрактных деталей для изучения рассуждений как самостоятельной способности. Мы представляем новый тип контрольных параметров для оценки индуктивных возможностей МЛМ, которые основаны на перспективной задаче восстановления из исторических языков, но сформулированы чрезвычайно простым и общим образом (в форме программирования с помощью примеров). Задача заключается в создании каскада простых струн перезаписи программ для преобразования данного списка вводных строк в список желаемых выходных струн. Мы представляем полностью автоматизированный трубопровод, который программно порождает проблемы такого рода с контролируемыми трудностями, что позволяет масштабировать модели рассуждений и избегать загрязнения. Используя этот подход, мы создаем два контрольных показателя: PBEBench-Lite, который e