#Evaluating

29 статей
arXiv NLP
arXiv NLP

MS-Exam-Gen: Source-Grounded Benchmark Construction for Evaluating LLMs on Textual Multiple Sclerosis MRI Knowledge

arXiv: 2610,06170v1 Annualce Type: перекрестное резюме: оценка биомедицинской большой языковой модели (LLM) требует проверяемой оценки узкой, развивающейся и основанной на источниках субспециалистично...

arXiv NLP
arXiv AI
arXiv AI

EmailBench: A Benchmark for Evaluating LLM Agents on Enterprise Email and Productivity Tasks

arXiv: 2609.31906v1 Annuaire Type: New Habrial: Onterprise Electronic Agents должна сочетать поиск информации, структурированные изменения состояния, временнóе обоснование и многоэтапную координацию. ...

arXiv AI
arXiv Machine Learning
arXiv Machine Learning

Evaluating Tiny Recursive Models Across Training for Code Generation

arXiv:2608.29376v1 Announce Type: cross Abstract: Code generation increasingly relies on large transformer models, whose capability advances with scale. Yet such a scale is costly, creating demand for...

arXiv Machine Learning
arXiv Computer Vision
arXiv Computer Vision

Evaluating 2D and 3D-Aware Vision Foundation Models for Vehicle Attribute Recognition

arXiv:2608.29929v1 Announce Type: new Abstract: Vehicle attribute recognition is an important task in intelligent transportation systems, particularly when Automatic License Plate Recognition (ALPR) i...

arXiv Computer Vision
arXiv NLP
arXiv NLP

Which one is banana man? Evaluating vision-language models in multi-turn pragmatic interpretation

arXiv:2608.29571v1 Announce Type: new Abstract: Flexible adaptation to context and shared pragmatic intuitions contribute to smooth human conversation. Iterated reference games---in which players repe...

arXiv NLP
arXiv NLP
arXiv NLP

Оригинальное название: Sure Challenge: Evaluating Speech Evidence Before Speech-LLM Generation

arXiv:2608.27783v1 Анонс типа: кросс-абстракт: речевые LLM обычно оцениваются после того, как они отвечают, хотя операционная система сначала должна решить, следует ли отправить форму волны в модель. ...

arXiv NLP
2
Читать
arXiv NLP
arXiv NLP

Оригинальное название: Evaluating Interleaved Conversational Memory Beyond Long Context

arXiv:2608.25655v1 Анонс Тип: новый Абстракт: Беседы с чат-ассистентами все чаще охватывают многие темы в одном длинном потоке, бросая вызов системам памяти. Существующие тесты с длинным контекстом и ...

arXiv NLP
2
Читать
arXiv AI
arXiv AI

Активны ли агенты Android GUI против аномалий времени выполнения? Оригинальное название: Evaluating Agents in Dynamic Adversarial Environments

arXiv:2608.24099v1 Новые агенты GUI часто сталкиваются с динамическими аномалиями при развертывании на устройствах Android, от неожиданных всплывающих окон до неправильного использования действий, но ...

arXiv AI
1
Читать
arXiv Computer Vision
arXiv Computer Vision

Seeing vs. Believing: Evaluating the Language Bias of Open-Source MLLMs in Counter-Intuitive Scenes (недоступная ссылка — история)

arXiv:2601.07737v3 Announce Type: replace Abstract: Multimodal Large Language Models (MLLMs) продемонстрировали замечательную производительность в основных задачах визуального понимания, но их способн...

arXiv Computer Vision
2
Читать
arXiv AI
arXiv AI

Оригинальное название: A Jagged Frontier: Evalutness of Code Agents to Semantics-Preserving Transformations

arXiv:2608.18389v1 Аннотация: Агенты кода ИИ все чаще используются для решения реальных проблем программного обеспечения, но их надежность при поверхностных изменениях кода остается плохо изученной. М...

arXiv AI
3
Читать
arXiv AI
arXiv AI

Оценка извлечения структурированной информации с использованием открытых моделей в государственном секторе с высоким риском

arXiv:2608.18289v1 Извлечение структурированной информации из неструктурированных документов представляет собой критически важный компонент цифровых преобразований во всех секторах. В то время как про...

arXiv AI
5
Читать
arXiv AI
arXiv AI

FinSkillBench: оценка навыков ИИ-агентов и доменов для управления инвестициями

arXiv:2608.18099v1 Аннотация: Управление инвестициями — это область с высокими ставками, в которой агентные системы ИИ должны делать больше, чем создавать правдоподобный текст. Они должны извлекать да...

arXiv AI
5
Читать
arXiv Statistics
arXiv Statistics

Причинно-следственный подход для оценки диагностических тестов и медицинских устройств с поддержкой ИИ: от модификации эффекта до принятия решений, дополненных информацией

arXiv:2608.19501v1 Аннотация: Диагностические медицинские тесты и устройства предоставляют полезную информацию для оценки потенциальных преимуществ и рисков терапевтического лечения. Однако, в отличие...

arXiv Statistics
7
Читать
arXiv Computer Vision
arXiv Computer Vision

BeyondMasks: оценка причинно-следственной связи при удалении видеообъектов

arXiv:2608.20107v1 Недавние достижения в генеративных видеомоделях значительно улучшили визуальный реализм при удалении видеообъектов, но протоколы оценки по-прежнему сосредоточены на точности маскиру...

arXiv Computer Vision
5
Читать
arXiv Machine Learning
arXiv Machine Learning

Evaluating RL Explainability Methods by How Much They Help Fix Bugs in Agents

arXiv:2608.17524v1 Announce Type: new Abstract: This preliminary paper outlines a planned evaluation benchmark for Explainable Reinforcement Learning (XRL) methods. Current evaluations rely on functio...

arXiv Machine Learning