Преподготовка знает что, имитация учит как: комбинация в сим-тренированном агенте робота

arXiv: 261 030,35817v 1 Annuales Type: кросс-бюллетень: политика роботов должна понимать, что за задание требуется в сцене и как заставить робота выполнить эту задачу. Для того чтобы достичь этих двух навыков, мы введем программу Zero-реальных агентов (ZAP), которая преподает небольшую модель на языке зрения для контроля за роботом с помощью простых инструментов. Мы используем заранее подготовленную модель параметров 27B, чтобы запутать мировое понимание и рассудок, а затем контролируемую отладку и GPO на простых смоделированных задачах, чтобы научить его двигать робота. Без реальных данных о роботах во время тренировок ZAP достиг 96,7 процента успеха в решении задач реального мира, выравнивая GPT-6 Astra в нашем жгуте и превосходя MolmoAct2 VLA (33,3 %), проработав 3х быстрее и 17x дешевле GPТ-6 Astra. Мы демонстрируем, что ZAP также обобщает совершенно новые объекты, цели, стратегии и язык путем посадки пробирки в стойку (и выбора другой дыры на стеллаже при подстрекательстве), протягивая пробирку