Консервативные группы " Дуэблинг Бандиты &qt; : обучение по принципу предпочтения в рамках базовых ограничений

arXiv: 261 036 67008v1 Annuate Type: New Habstract: Contextal dueling bankits обучаются на основе парных сопоставлений, тех же отзывов, которые используются для отладки языковых моделей с человеческими предпочтениями. Стандартные алгоритмы активно изучают и могут показать пользователям два плохих варианта. Мы изучаем консервативные контекстуальные бандиты, которые требуют, чтобы в каждом раунде совокупный балл более наглядного предмета оставался выше(1-\альфа) доли доверенного исходного уровня. Оценочный балл объекта - это его вероятность победить лучший доступный продукт, поэтому ограничение зависит только от различий в полезности и не требует абсолютного вознаграждения. Это также меняет способы сертификации безопасности: мы показываем, что передача теста на безопасность консервативного бандитского алгоритма CLUCB без изменений может вызвать линейное сожаление даже в тех случаях, когда исходные коммунальные услуги точно известны. Для линейных коммунальных служб мы разрабатываем МаксИнП-БК, который удостоверяет результаты через пробелы в сфере коммунального обслуживания и когда он должен отступать назад, совмещает исходные данные с информативным партнером s