Сбербанк представил первый в России бенчмарк Cowork Bench для оценки ИИ-агентов на офисных задачах

Сбербанк представил первый в России бенчмарк Cowork Bench для оценки ИИ-агентов на офисных задачах

Сбербанк представил первый в России открытый русскоязычный бенчмарк — Cowork Bench, предназначенный для оценки качества выполнения офисных задач ИИ-агентами. Бенчмарк позволяет определить, какие рабочие процессы ИИ способен выполнять самостоятельно и насколько стабильно он с ними справляется. Разработкой платформы для создания и управления ИИ-агентами GigaCowork занимается российская ИТ-компания «Салют для бизнеса» (входит в экосистему Сбербанка). Об этом CNews сообщили представители Сбербанка.

Сowork Bench стал первым российским бенчмарком, ориентированным не на оценку ответов ИИ-моделей, а на способность агентов самостоятельно выполнять конкретные задачи от начала до конца: обрабатывать заявки клиентов, готовить отчёты, производить расчеты — без участия сотрудников.

Cowork Bench включает 475 сквозных офисных задач, охватывает 12 бизнес-функций и 26 корпоративных систем. В основу бенчмарка легли проверенные международные практики оценки ИИ-агентов, адаптированные под российский бизнес: сценарии учитывают реальные запросы отечественных компаний и их сотрудников и включают в себя работу с таблицами, документами, почтой, календарем, хранилищем данных, базой знаний и внутренними сервисами организаций. Например, одна из бизнес-задач агента – анализ бюджета: ему нужно сопоставить план-факт по четырём подразделениям, рассчитать отклонения, объяснить их причины, подготовить отчёт и…