В новостных лентах слово «инцидент» всё чаще стоит рядом со словом «агент». Так, например, все прекрасно помнят нашумевшую в апреле новость о том, как ИИ-агент в Cursor удалил производственную базу данных стартапа PocketOS вместе с резервными копиями. На все про все агенту потребовалось не более девяти секунд.
PocketOS разрабатывает ПО для компаний по прокату автомобилей. В тот день агент разбирался с проблемой доступа, по всем меркам решал вполне обычную задачу. В ходе работы он нашёл API-токен с широкими полномочиями и решил, что проблему можно исправить удалением ресурса в инфраструктуре Railway. Когда основатель PocketOS попросил агента объясниться, тот признал, что действовал наугад и выполнил операцию, о которой его никто не просил. Агент не пытался взломать систему, он просто решал поставленную ему задачу, но выбрал слишком рискованный способ и не стал советоваться с человеком.
И это не единственный случай. В начале года разработчик Алексей Григорьев рассказывал, как Claude Code при работе с Terraform удалил производственную инфраструктуру, базу данных за последние два с половиной года, а заодно и снимки для восстановления, чтобы уж наверняка. Данные удалось вернуть с помощью поддержки AWS, но случай был показательным.
Столь громких историй в России пока не было или они не публиковались. У нас тревожные новости приходят в основном из-за халатности или в какой-то степени необразованности пользователей, сливающих в LLM конфиденциальные данные. Но и такие случаи весьма…
