[Перевод] Восемь допущений о безопасности, которые ИИ-агенты тихо ломают

Если вы читаете Ethics.Dev, то наверняка заметили, сколько в последнее время историй, где ИИ-агенты сталкиваются с кибербезопасностью. Некоторые звучат как сценарий фильма: агенты выбираются из тестовых окружений, переговариваются по каналам, которые для этого никто не предназначал, находят уязвимости, крадут учётные данные и добираются до продакшена.

Но, по-моему, внимания больше заслуживает часть поскучнее: ИИ меняет экономику атаки. У живого атакующего ограничены время и внимание. Агент же может перебрать тысячи путей, пробовать несколько вариантов параллельно, почти ничего не теряя на неудачных, и двигаться дальше. В одном недавнем взломе корпоративной сети работа, на которую у людей ушло бы примерно две недели, сжалась до неполных десяти часов. А при разборе инцидента в Hugging Face аналитики восстановили около 17 600 действий агента за четыре с половиной дня.

Из-за этого меняется само представление о том, какая защита «достаточно хороша», и поэтому меня так беспокоит, что фронтирные модели сделают с кибербезопасностью. Ниже выводы, которые я бы положил на стол корпоративным командам, отвечающим за ИИ и безопасность.

1. Готовьтесь к атакующему, который может позволить себе ошибаться