Недостаток успеха задачи: оценка побочного эффекта, основанная на использовании языка

arXiv:2610.34167v1 Annuature Type: кросс-бюллетени: Использующие средства языковые агенты обычно оцениваются по тому, завершают ли они задачу пользователя. Этот метрический параметр не позволяет сделать общий провал: агент может завершить требуемую работу, принимая также несанкционированные побочные действия, такие как написание в письменном виде неправильного объекта, расширение сферы охвата запроса или установление контактов с непреднамеренным получателем. Мы называем этот режим неисправности сопутствующим ущербом (CD). Мы введем SABench (Первоначальный контрольный параметр, позволяющий освоить эффект) — контрольный показатель 201 электронной почты, календаря и билетов. Каждая задача пересекает одну из четырех государственных структур (независимую, зависимость, доступную для внешних пользователей и перекрестный инструмент) с одной из четырёх семей ловушек (двойственность, неправильное назначение, каскадный вред, чрезмерно высокий уровень охвата), а каждая задача имеет детерминистскую оракулу на основе отслеживания как в плане удовлетворения целей, так и соблюдения разрешений. Из 2211 пар моделей-задач из 11 пограничных МПМ, охватывающих крупные коммерческие и открытые модели семейства, 15,2% всех пробегов проходят на компакт-диске с концентрацией рисков