EgoPhys: Оценка контактной группы по пикам и механическая работа с помощью эгоцентрического манипуляционного видео

arXiv: 2610.11347v1 - Сообщение типа: новое резюме. Физически обоснованное управление сочлененными объектами требует понимания как максимальных сил, встречающихся во время контакта, так и работы, выполняемой по ходу движения их частей. Перспективные контактные силы и механическая работа дают количественную оценку этим дополнительным аспектам, однако их оценка на основе эгоцентрического видео сопряжена с трудностями из-за того, что сигналы физического взаимодействия являются местными и косвенными. Кроме того, пиковое усилие связано с короткими контактными событиями, в то время как механическая работа зависит от сцепления сил и движений на протяжении всего периода контакта. Для решения этих проблем мы предлагаем систему " EgoPhys, которая является исключительно RGB и включает в себя программу пространственной агрегации контактных систем (КАСА) и целевую многоцелевую временную траекторию (TMTR). КАСА объединяет элементы внешнего вида и геометрии, с тем чтобы подчеркнуть параметры взаимодействия, в то время как модели TMTR Semantic, sentivity and move chouses со специализированными временными экспертами и маршрутизируют их по отдельности для прогнозирования силы и работы. На испытательном расколонном лягушке