Компьютерная наука > Компютерное видение и распознавание шаблона [представлено 15 октября 2026 года] Название: JAVIS: Совместная аудио-визуальная взаимосвязь и строения для участников переговоров в реальном масштабе времени, просмотр PDF HTML (экспериментальное) резюме: Человеческая связь по своей сути является мультимодальной и передает намерения не только через лингвистические и голосовые сигналы, но также посредством визуальных сигналов. Однако существующие системы общения в основном ориентированы на текст или речь, оставляя без внимания визуальные отзывы, которые необходимы для естественного взаимодействия. В этом документе мы предлагаем JAVIS, конечную систему передачи аудио- и видеосредств в реальном времени. Наша главная идея - позволить голосу и лицу говорить от одного представительства. Помимо совместного УЗМ, совместная усовершенствованная глава выпускает унифицированное аудиовизуальное представление, которое используется в специализированных речевых отделениях для речи и лицевой жизни. Этот проект избегает промежуточных узких мест, позволяя генерировать в реальном масштабе времени при сохранении речи и жесткой синхронизации. Кроме того, мы представляем JAVIS-Syn — 334часовой синтетический корпус, предназначенный для решения проблемы отсутствия экспрессивных аудиовизуальных данных диалога, охватывающих эмоционально насыщенные многооборотные разговоры и обмены в стиле ассистентов. Эксперименты показывают, что JAVIS достигает примерно 200 долларов по времени меньше…
JAVIS: Совместное аудиовизуальное взаимодействие и построение рядов данных для участников переговоров в режиме реального времени
arXiv: 261 020.22499v 1 Annuales Type: New Human Communications по своей сути мультимодальная, передающая намерения не только через языковые и голосовые сигналы, но также посредством визуальных сигналов. Однако существующие системы общения в основном ориентированы на текст или речь, оставляя без внимания визуальные отзывы, которые необходимы для естественного взаимодействия. В этом документе мы предлагаем JAVIS, конечную систему передачи аудио- и видеосредств в реальном времени. Наша главная идея - позволить голосу и лицу говорить от одного представительства. Помимо совместного УЗМ, совместная усовершенствованная глава выпускает унифицированное аудиовизуальное представление, которое используется в специализированных речевых отделениях для речи и лицевой жизни. Этот проект избегает промежуточных узких мест, позволяя генерировать в реальном масштабе времени при сохранении речи и жесткой синхронизации. Кроме того, мы представляем ДЖАВИС-СИН — 334 часовой синтетический корпус, предназначенный для решения проблемы отсутствия экспрессивных аудиовизуальных данных диалога по вопросам эмоции.