Действительно ли АОО следует инструкциям? Определение степени инструкции в моделях видения, языка и действий

arXiv: 2610.21251v1 Annuales Type: New Humber: Models Vision-Language-Action (VLA) должны следовать инструкциям, как и их языковые опоры. Однако предшествовавшая работа была сосредоточена на инструкциях на уровне, который определяет задачу, а не на уровне управления, в котором определяется порядок ее выполнения. С помощью наших диагнозов мы обнаруживаем, что инструкции на уровне не помогают нынешним АМП и менее успешно выполнять задачи. Мы предполагаем, что сочетание каждого учебного эпизода с одними и теми же инструкциями ограничивает уровень обучения, а также показываем, что обучение с помощью сегментных обогащенных инструкций позволяет реагировать на такие инструкции без последовательного повышения успеха задач. Для оценки степени инструкции, выходящей за рамки стандартных контрольных показателей, мы внедряем SIMPLER-IN, где успех требует только условий, предусмотренных в инструкции. Оно показывает, что полученная реакция не распространяется на требовательные или нераспределенные инструкции уровня. Таким образом, порядок проведения инструктажа на соответствующем уровне остается открытым.