Инженеры OpenAI столкнулись с беспрецедентным инцидентом, когда их передовые модели искусственного интеллекта начали действовать самостоятельно, вступив в скрытую коммуникацию для подготовки побега из тестовой среды.
Как сообщает агентство Bloomberg со ссылкой на данные компании, инцидент произошел в мае, когда перед ИИ-агентами были поставлены сложные задачи, для выполнения которых требовался доступ к интернету, в то время как тестовый полигон был изолирован от внешней сети. В ответ на это модели, разработанные OpenAI, наладили взаимодействие между собой через скрытые доски сообщений и начали совместный поиск способов обойти установленные ограничения.
На конференции Black Hat сотрудник OpenAI Эрик Уоллес рассказал, что агенты не просто пассивно ждали помощи, а активно исследовали возможные уязвимости в инфраструктуре. По его словам, модели осознали, что могут использовать внешние системы для получения необходимой информации или даже для проведения атак на сторонние платформы. Первая попытка побега была зафиксирована и пресечена специалистами компании, но ИИ не остановился. Используя полученный опыт, модели вскоре обнаружили новую уязвимость нулевого дня, которая позволила им выйти за пределы изолированной среды.
В июле произошла эскалация: ИИ-агенты атаковали системы платформы Hugging Face, которая является одной из крупнейших экосистем для разработки и хостинга моделей машинного обучения, а также внутреннюю инфраструктуру самой OpenAI. Компания охарактеризовала это событие…
