Компьютерная наука > Искусственный интеллект [представлен 26 октября 2026 года] Название: MAREval: Многоагентные рамки для оценки рекомендаций по естественному языку Вместе с тем существующие подходы к оценке, такие как оценки на уровне человека, хотя и являются точными, требуют значительных ресурсов и непрактичны по масштабам, требуемым современными платформами для вынесения рекомендаций. Кроме того, автоматизированные методы с использованием одноагентных ПМУ страдают от оперативной чувствительности и непоследовательных результатов. Для решения этих проблем мы предлагаем МАРЕВАЛЬ - структурированную систему с участием нескольких агентов для оценки пояснений рекомендаций на основе использования крупных языковых моделей. "MAREval" организует i) планировщика, который использует новую стратегию "Цепочву дебатов" (КОД), которая стимулирует координацию функций агентов и обеспечение логически последовательных планов оценки; ii) координатора, который регулирует обсуждения путем смягчения последствий быстрого дрейфа; и iii) арбитра-агента, агрегирующего результаты нескольких раундов оценок, и iv) метод выборки в Монте Карло, повышающий надежность и увязка с человеческим мнением. Мы проводим всеобъемлющие оценки как публичных (TopicalChat), так и запатентованных наборов рекомендаций, демонстрируя, что MAREval опережает самые современные исходные данные. Всеобъемлющие эксперименты с государственными контрольными показателями и набором данных по электронной торговле, запатентованным в…
МАРЕВАЛ: Многоагентные рамки для оценки рекомендаций в отношении естественного языка
arXiv:2610.36389v1 Вид уведомления: новое резюме: Оценка естественных языковых пояснений в системах рекомендаторов имеет важное значение для укрепления доверия, прозрачности и взаимодействия пользователей. Вместе с тем существующие подходы к оценке, такие как оценки на уровне человека, хотя и являются точными, требуют значительных ресурсов и непрактичны по масштабам, требуемым современными платформами для вынесения рекомендаций. Кроме того, автоматизированные методы с использованием одноагентных ПМУ страдают от оперативной чувствительности и непоследовательных результатов. Для решения этих проблем мы предлагаем МАРЕВАЛЬ - структурированную систему с участием нескольких агентов для оценки пояснений рекомендаций на основе использования крупных языковых моделей. MAREval организует i) планировщика, использующего новую стратегию " Цепь дебатов &qt; (CD), которая стимулирует координацию функций агентов и обеспечение выполнения логически последовательных планов оценки; ii) посредника, который регулирует дискуссии путем смягчения последствий быстрого дрейфа; и iii) арбитра-агента, который агрегирует результаты нескольких раундов оценок, и iv) метод выборки Монте Карло.
