PARBench: Государственная система оценки для агентов по компьютерному использованию в общеорганизационном ПО

Компьютерные науки > Искусственный интеллект [представлен 15 сентября 2026 года] Название: ERRBench: Государственная система оценки для агентов по компьютерному использованию в системе Organization Software View PDF HTML (экспериментальный) резюме: Компюсеры, работающие через скриншоты и моделирующие действия, быстро развиваются, однако их оценка остается привязанной к общим настольным и веб-задачкам. Системы планирования общеорганизационных ресурсов (ПОР) обеспечивают функционирование организаций во всем мире в области финансов, закупок, инвентаризации и обслуживания клиентов и создают особые проблемы для компьютерных агентов: плотные интерфейсы, скоординированное многоэтапное взаимодействие и ошибки, которые изменяют не на экране, а постоянные деловые записи. Существующие критерии для предприятий основаны на защищенных правами собственности платформах или на имитационной аппроксимации такого программного обеспечения. Мы введем систему ПОРБЕНЧ, которая позволяет оценить только скриншотные агенты на живой и воспроизводимой системе ОПР и отметит каждую задачу по отношению к значениям " наземной правды > в своей базе данных. Помимо контрольного показателя, мы представляем производственный инструмент, который агенты по воротам действуют за утверждением человеком безопасного развертывания, которое ПОРБенч работает автономно. Оценивая шесть закрытых агентов с открытыми исходными кодами, мы показываем, что высокие общие показатели ГУИ не переносятся на уровень надежности…