Компьютерные науки > Расчеты и язык [представлен 16 октября 2026 года] Название: KiranaBench: Может ли модель языка управлять соседским магазином? Вид PDF HTML (экспериментальный) Резюме: агенты большой языковой модели (LLM) все чаще оцениваются по долгосрочным задачам, включая автономное управление бизнесом. Существующие контрольные показатели для этой системы почти исключительно включают английский язык, западный в контексте розничной торговли и один агент при непосредственном наблюдении со стороны агента. Мы изучаем вопрос о том, как эти результаты переносятся в многоагентскую индику. Мы представим Кирана Бэнч, смоделированный индийский общий магазин, в котором четыре роли (руководитель, кассир, помощник и бухгалтер) играют отдельный агент LLM. Взаимодействие с клиентами и поставщиками происходит на английском, хинди или Хинглишском языках, а спрос на продукцию откалиброван по результатам национального обследования потребительских расходов домохозяйств Индии. Оценивая четыре открытых по весу МЛМ, мы обнаруживаем, что все они далеко не соответствуют исходному уровню магазина с фиксированным режимом: лучшая модель получает только одну восьмую от прибыли базового уровня и две модели заканчиваются ниже неуправляемого магазина. Кроме того, показатели работы по хинди и Хинглишу неизменно ниже, чем в случае связи с английскими поставщиками. KiranaBench предлагает доказательства того, что нынешние агенты LLM пока еще не надёжны для автономного функционирования малых предприятий в…
Кирана Бэнч: Может ли модель языка управлять магазином?
arXiv: 261 020.22980v 1 Annualce Type: New Humber Abstract: агенты большой языковой модели (LLM) все чаще оцениваются по долгосрочным задачам, включая автономное управление предприятием. Существующие контрольные показатели для этой системы почти исключительно включают английский язык, западный в контексте розничной торговли и один агент при непосредственном наблюдении со стороны агента. Мы изучаем вопрос о том, как эти результаты переносятся в многоагентскую индику. Мы представим Кирана Бэнч, смоделированный индийский общий магазин, в котором четыре роли (руководитель, кассир, помощник и бухгалтер) играют отдельный агент LLM. Взаимодействие с клиентами и поставщиками происходит на английском, хинди или Хинглишском языках, а спрос на продукцию откалиброван по результатам национального обследования потребительских расходов домохозяйств Индии. Оценивая четыре открытых по весу МЛМ, мы обнаруживаем, что все они далеко не соответствуют исходному уровню магазина с фиксированным режимом: лучшая модель получает только одну восьмую от прибыли базового уровня и две модели заканчиваются ниже неуправляемого магазина. Кроме того, показатели работы являются постоянными