Совсем недавно публиковал статью о том, как легко перехватить вашего AI-агента, а буквально в начале этой недели на Black Hat USA Адам Шостак (ведущий эксперт в кибербезопасности и моделирвоании угроз) выступил с докладом «Threat Modeling LLMs: The PHANTOM-B Approach».
Доклад состоял из трех частей: базовый обзор threat modeling, общий взгляд на моделирование угроз для LLM и подробный разбор фреймворка PHANTOM-B, созданного для ускорения и фокусировки этого процесса.
Контекст: зачем это нужно?
В начале выступления Адам сделал выравнивание понятий, поскольку термин threat modeling каждый трактует по-своему. В своей основе это системный подход к прогнозированию проблем. Он применим к софту, который вы пишете сами, к системам, собираемым из сторонних компонентов, и к LLM, которые вы обучаете или скачиваете с Hugging Face.
