Личное обслуживание: поддержка персонально-дривенского красного набора для генерирующих АИ

arXiv: 2605.05682v3 Тип уведомления: заменить резюме: последние изменения в исследованиях по вопросам безопасности ИИ потребовали применения методов красной команды, которые эффективно позволяют выявлять потенциальные риски, возникающие при использовании моделей адаптивной АИ, с уделением все большего внимания тому, как опыт и перспективы работы " красных команд > определяют их стратегии и какие опасности они обнаруживают. В то время как автоматизированные подходы к краснокожим командам обещают дополнять красную команду людей посредством крупномасштабных исследований, существующие автоматизированные методы не учитывают индивидуальность человека и редко включают в себя человеческий вклад. В рамках этой работы мы исследуем персонифицированные рыжие команды для продвижения как автоматизированных красных команд, так и сотрудничества между людьми и АИ. Сначала мы развиваем систему " PersonaTeaming Work Flow, которая включает людей в состязательный процесс быстрого поколения для изучения более широкого спектра стратегий противостояния. По сравнению с RainbowPlus, самым современным автоматизированным методом красной команды, PersonaTeaming Work достиг более высоких показателей успеха атак при сохранении быстрого ныряния