SmartSalesBench: Многооборотный контрольный параметр для оценки агентов по продаже LLM

arXiv: 261.10.12975v1 Annuate Type: New Humber Brief: Мы представляем SmartSalesBench, первый многооборотный диалоговой эталонный показатель, специально предназначенный для оценки агентов по продаже большой языковой модели (LLM) против психологически обоснованных и устойчивых личностей покупателя. Существующие контрольные показатели диалога, ориентированные на конкретные задачи, предполагают участие пользователей из числа кооперативов и позволяют оценить завершение выполнения задач; SmartSalesBench перевернет это предположение, поставив агентов против личности, запрограммированной сопротивляться и бросать вызов в ходе бесед до 20 поворотов. Этот контрольный показатель включает пять профилей агентов, двенадцать личностей покупателей, 15 продуктов смартфона на шести уровнях цен и четыре контролируемых эксперимента с тремя итерациями общей продолжительностью 13 680 сеансов. Как агент-продавец, так и покупатели являются заложниками на основе генерации с целью получения дополнительной информации (RAG). Мы ввели девять оценочных показателей, сгруппированных по трем уровням: первичные показатели конечных результатов (КР, БРС, РИР), вторичные показатели качества (СМОС, ПФС, ЭТИ) и ориентировочные параметры для будущих докладовi