Доказанная эффективность адаптации от офлайн-онлайновой стоимости с общей функцией

arXiv:2604.13966v2 Annuales Type: заменить резюме: Мы изучаем ценность адаптации в офлайн-онлайновом обучении под общей функцией. Начиная с несовершенной офлайновой предварительной функции в размере $Q, ученик стремится адаптировать ее к целевой среде только на основе ограниченного объема онлайнового взаимодействия. Прежде всего мы характеризуем сложность этой ситуации, установив мини-максимум нижний предел связи, показавший, что даже в тех случаях, когда предварительно обученная функция в размере Q$ близка к оптимальному Q ~star долл., онлайновая адаптация может быть не более эффективной, чем чистый онлайновый RL в некоторых жестких случаях. С положительной стороны, в новом структурном состоянии офлайновых функций ценности мы предлагаем O2O-LSVI - адаптационный алгоритм с проблемно-зависимой сложностью выборки, который явно улучшится по сравнению с чистыми онлайн RL. Наконец, мы дополняем нашу теорию неврологическими экспериментами в сети, которые демонстрируют практическую эффективность предлагаемого метода.