Жесткая оптимизация прямых предпочтений при нападениях с использованием предпочтительной маркировки

arXiv: 261 020.24945v1 Тип уведомления: новое резюме: для офлайнового повышения эффективности обучения на основе обратной связи с людьми широко используется метод прямой оптимизации привилегии (ОДП). Однако недавние работы показали, что ДПО можно легко манипулировать при помощи нападок с использованием предпочтений противника, которые специально предназначены для того, чтобы ввести ученика в заблуждение по отношению к политике нападения-избранного. Для решения этой проблемы мы разрабатываем надежные методы ДПО, которые могут защитить от таких нападений. Основываясь на свойствах, которые движутся с помощью скользящих устройств и приводят к независимым от параметров сдвигам градиента в log-линейном DPO, мы предлагаем Trim-K$ Rought-DPO, который удаляет пары с наиболее высоким эффектом, а также Soft-TriM-KForust-DIO, что их легко снижает. Мы установим детерминистские градиентные границы в одинаковой степени по всем атакам, содержащим не более чем $K-долл. При наличии ограниченных по регионам допущений эти границы обеспечивают соблюдение одновременных параметров и гарантии отклонения от политики.