EnvLunch: Окружающая среда как свободный обед для обучения взаимодействию

arXiv: 261 030.33817v 1 Annualce Type: recred Brieft: Для анализа агентских данных агентам языковых моделей часто требуется большое число аннотированных задач для изучения того, как эффективно взаимодействовать с окружающей средой (т.е. базами данных). Хотя для выполнения высококачественных аннотированных задач требуются значительные усилия вручную, условия их практической реализации уже обеспечивают богатую структуру взаимодействия и поддающиеся проверке результаты. В этом смысле сама окружающая среда предлагает бесплатный обед, дополнительный набор поддающихся проверке задач, которые не требуют человеческого аннотации. Мы предлагаем Энвлунч, этап разогрева, который превращает этот экологический сигнал в подготовку агентов без описания задач, написанного человеком или моделированного, до обучения агентскому подкреплению вниз по течению. В рамках проекта EnvLunch образцы действительных траекторий действия, выполняют их для получения окончательных наблюдений и обучают агента восстановить функционально эквивалентную траектуру с учетом только его окончательного наблюдения. Такая прогревка без маркировки позволяет модели превосходить исходную точку более чем на 9 пунктов