Одно слово открывает врата: опцион-аннельное нападение на типированные модели принятия решений, как агенты Охранники

arXiv: 2610.12292v1 Annuate Type: New Humber Abstract: Напечатанная модель решения читает текст и возвращает вероятность по отношению к определённым опциям звонившего, каждый с коротким письменным определением, не генерирующим текста. В последнее время эти модели размещаются в системах агентов как ограждения: компонент, который читает предлагаемый вызов с помощью инструмента или входное сообщение и принимает решение разрешить ли это. Мы оцениваем семь моделей с открытым весом в этой роли и сообщаем о двух направлениях ошибки отдельно: ошибка, открывающая ошибку, допускает запрещенное действие и является уязвимостью; неудавшаяся ошибка блокирует допустимую погрешность и представляет собой лишь стоимость. При оперативном впрыске, побеге из тюрьмы и проверке на наличие токсичного вещества точность решения о разрешении или блоке колеблется от 36% до 72% при уровне шансов 50%. Низкая частота ошибок в одном направлении отражает только то, на что ответит модель по умолчанию: один позволяет почти все, другой блокирует практически всё. На синтетической подборке агентов звонков, шесть строк текста серверного журнала, которые ничего не говорят о полю