Компьютерные науки > Компютерное видение и распознавание шаблонов [представлено 26 октября 2026 года] Название: SOMA: Контрольный параметр для эгоцентричного поведения и понимания тела/мотивации PDF HTML (экспериментальное) резюме: Для мультимодальных систем, которые понимают людей и оказывают им помощь, крайне важное значение имеет получение движения человеческого организма. Однако текущие оценки мультимодальных моделей Большого языка (MLMS) в основном сосредоточены на объектах, сценах и жестоких действиях, оставляя их способность рассуждать по поводу самого тела плохо оцененной. Это особенно сложно с точки зрения эгоцентричности, в которой тело лишь частично видно и движение должно выводиться из заклёстных и временных сигналов. Мы представляем SOMA, ориентир для тонкозернистого понимания тела и эгоцентрического движения из видео. В нем 1 632 проверенных человеком вопроса по трем осям потенциала: конфигурация тела, динамика движения и временная аргументация. Мы оцениваем 37 ведущих закрытых источников, открытых источников и специализированных эгоцентрических МЗЛ, дополняемых обширной человеческой оценкой. Мы считаем, что людям трудно решить эту задачу только на видео (68,5%), но явно выше самого сильного MLM (Qwen3.6-27B), который достигает 50,0% нулевой точности выстрела. Наш анализ ошибок показывает, что MLLM часто неправильно воспринимает тело пользователя, неверно оценивает события во времени и склонны к таким предрассудкам, как предпочтение правой руке или недосчитание…
SOMA: Контрольный параметр для понимания эгоцентрического поведения и движения тела
arXiv: 261 030.36384v 1 Annuature Type: кросс-бюллетень: Получение движения человеческого тела имеет решающее значение для мультимодальных систем, которые понимают людей и помогают им. Однако текущие оценки мультимодальных моделей Большого языка (MLMS) в основном сосредоточены на объектах, сценах и жестоких действиях, оставляя их способность рассуждать по поводу самого тела плохо оцененной. Это особенно сложно с точки зрения эгоцентричности, в которой тело лишь частично видно и движение должно выводиться из заклёстных и временных сигналов. Мы представляем SOMA, ориентир для тонкозернистого понимания тела и эгоцентрического движения из видео. В нем 1 632 проверенных человеком вопроса по трем осям потенциала: конфигурация тела, динамика движения и временная аргументация. Мы оцениваем 37 ведущих закрытых источников, открытых источников и специализированных эгоцентрических МЗЛ, дополняемых обширной человеческой оценкой. Мы видим, что людям трудно решить эту задачу только на видео (68,5%), но явно выше s