В ИИ‑системах даже обычный документ может стать источником команд для модели. Если агент имеет доступ к инструментам с широкими полномочиями, одна удачная prompt injection способна привести к утечке данных или нежелательным действиям. Разбираемся, как выстроить защиту на уровне архитектуры: от разделения доверия до контроля действий агента, с примерами реализации на Python. Изучить принципы защиты
Привет, Хабр!
Меня зовут Андрей Бирюков. Я — независимый эксперт в области ИТ и ИБ, преподаю в учебных центрах и пишу статьи и книги.
- В традиционном прикладном ПО архитектура и безопасность разделены относительно четко: есть периметр, есть аутентификация, есть валидация входных данных.
- В ИИ‑системах эта граница размывается настолько, что классические подходы в принципе перестают работать.