Anthropic проверила, как автономные ИИ-агенты будут вести себя, столкнувшись с другими агентами, преследующими несовместимые цели. Эксперимент показал, что такая ситуация способна приводить не только к конфликтам и саботажу, но и к неожиданным способам сотрудничества.
Источник изображения: Grok
В одном из тестов три агента Claude получили доступ к одному программному проекту, но каждому из них были даны несовместимые инструкции. При этом модели не знали, что над тем же проектом работают другие агенты, поэтому исследователи смогли наблюдать за их реакцией при столкновении интересов. В результате агенты решили, что конкуренты намеренно мешают им выполнять поставленные задачи, после чего начали саботировать работу друг друга, используя агрессивный самораспространяющийся вредоносный код.
Anthropic пришла к выводу, что конфликт может усиливаться вместе с возможностями самих агентов. При этом реакция зависела от модели: Mythos 5 в 98 % случаев успешно распознавала, что причиной противостояния являются разные инструкции, а не враждебные намерения, и шла на перемирие. Модели Sonnet 4.6 и Opus 4.6, напротив, чаще продолжали эскалацию, игнорируя цели других участников. В успешных эпизодах примирения агенты удаляли созданный ими вредоносный код, объясняли причину конфликта и просили человека вмешаться.
