Компьютерные науки > Взаимодействие между людьми и компьютерами [представлено 25 октября 2026 года] Название: InteractiveWorld: A Vermided Human-Centric Environment for Building Better Interактивный MLM Assistrative View PDF HTML (экспериментальный) резюме: люди давно мечтали о ассистенте, который всегда там, чтобы научить их и напомнить то, что они забыли, от новых посуды до потерянных ключей. Эгоцентрические помощники АИ, работающие на изношенных устройствах, при помощи мультимодальных крупных языковых моделей (MLMs) обеспечивают доступ к этой мечте: они видят то, что видит пользователь и дают указания для физических работ пользователя в случае необходимости. Однако проверка такой помощи сопряжена с трудностями и, как правило, требует реальных людей. Дорогие и редкие реальные данные о взаимодействии не дают ответа на ключевой вопрос: могут ли современные MLLM действительно помочь людям в физическом мире? Чтобы ответить на этот вопрос, мы предлагаем InteractiveWorld - первую поддающуюся проверке среду для взаимодействия между человеком и АИ. В отличие от существующих роботоцентрических симуляторов, InteractiveWorld позволяет ассистенту руководить человеком-агентом, который наблюдает за местом событий, понимает инструкции и действует независимо. Таким образом, он реалистично имитирует то, как помощник ИИ сотрудничает с человеком: ассистент инструктирует людей, совершает действия и обновляет их следующее. На основе этого мы введем InteractiveBench, первый динамический…
Интерактивный мир: поддающаяся проверке среда, в которой живет человек-цервик для создания более эффективных интерактивных помощников по вопросам MLM
arXiv: 261 030.33966v 1 Annuate Type: кросс-бюллетень. Люди давно мечтали о ассистенте, который всегда был там, чтобы направлять их и напоминать им то, что они забыли, от новых посуды до потерянных ключей. Эгоцентрические помощники АИ, работающие на изношенных устройствах, при помощи мультимодальных крупных языковых моделей (MLMs) обеспечивают доступ к этой мечте: они видят то, что видит пользователь и дают указания для физических работ пользователя в случае необходимости. Однако проверка такой помощи сопряжена с трудностями и, как правило, требует реальных людей. Дорогие и редкие реальные данные о взаимодействии не дают ответа на ключевой вопрос: могут ли современные MLLM действительно помочь людям в физическом мире? Чтобы ответить на этот вопрос, мы предлагаем InteractiveWorld - первую поддающуюся проверке среду для взаимодействия между человеком и АИ. В отличие от существующих роботоцентрических симуляторов, InteractiveWorld позволяет ассистенту руководить человеком-агентом, который наблюдает за местом событий, понимает инструкции и действует независимо. Таким образом, она реалистично имитирует то, как АИ-младший кололь