#Bench

30 статей
arXiv Computer Vision
arXiv Computer Vision

Доказательно обоснованные мультимодальные аргументы и оценки в сложных городских сценах

arXiv:2608.10954v2 Тип аннотации: замена абстракции: В то время как мультимодальные модели большого языка (MLLM) демонстрируют впечатляющую производительность в доброкачественных сценариях, их когнити...

arXiv Computer Vision
Читать
arXiv Computer Vision
arXiv Computer Vision

R2M-Bench: оценка повторной памяти через относительную согласованность в интерактивных моделях мира видео

arXiv:2608.27328v1 Высокое сходство между кадрами первого посещения и возврата не обязательно показывает, что модель видеомира запомнила сцену; промежуточное развертывание может просто очень мало изме...

arXiv Computer Vision
1
Читать
arXiv NLP
arXiv NLP

NL2SHACL-Bench: набор критериев для перевода на естественный язык

arXiv:2608.07530v2 Аннотация Тип: замена-перекрест: SHACL является основной технологией для проверки соответствия RDF-графов знаний (KG). Тем не менее, создание форм SHACL требует технических знаний, ...

arXiv NLP
2
Читать
arXiv NLP
arXiv NLP

SWE Refactor Bench: Могут ли кодирующие агенты завершить миграцию в хранилище с длинным горизонтом?

arXiv:2608.23564v1 Современные программные системы накапливают технический долг за десятилетия разработки, что делает миграцию дорогостоящей и в значительной степени ручной. Поскольку кодирующие агент...

arXiv NLP
2
Читать
arXiv AI
arXiv AI

Hack-Verifiable Terminal Bench: оценка вознаграждения за взлом терминала

arXiv:2608.22103v1 По мере того, как агенты становятся более способными и автономными, их склонность вознаграждать взлом, удовлетворяя проверки задачи, нарушая ее намерение, становится все более важны...

arXiv AI
2
Читать
arXiv AI
arXiv AI

LongRCA Bench: Диагностика ответственных ролей и основных причин сбоев в работе агентов с длинным горизонтом

arXiv:2608.15242v3 Тип объявления: Замена Абстракции: Когда выполнение агента с длинным горизонтом терпит неудачу, оценка уровня результата показывает неудачный результат, но не то, где решающая ошибк...

arXiv AI
2
Читать
arXiv AI
arXiv AI

Персонализированный контроль конфиденциальности в LLM с помощью вмешательства главы внимания

arXiv:2608.21209v1 Аннотация к западному изданию: Рост агентного ИИ позволяет LLM получать доступ к различным пользовательским данным, что вызывает критические проблемы конфиденциальности. Предыдущая ...

arXiv AI
2
Читать
arXiv NLP
arXiv NLP

AI4AI-Bench: бенчмаркинг LLM-агентов в алгоритмическом дизайне для рекурсивного самосовершенствования

arXiv:2608.20318v1 Анонс Тип: кросс-абстракт: Рекурсивное самосовершенствование (RSI) спрашивает, может ли система ИИ улучшить процесс, который производит системы ИИ, чтобы следующая система унаследов...

arXiv NLP
2
Читать
arXiv Computer Vision
arXiv Computer Vision

OV3D-Bench: A Diagnostic Benchmark for Open-Vocabulary Monocular 3D Detection

arXiv:2608.17110v1 Announce Type: new Abstract: Open-vocabulary monocular 3D detectors report strong in-domain performance, but each evaluates under a different protocol, several rely on per-image cat...

arXiv Computer Vision