Полнодуплексное взаимодействие с речью, выражениями и гестюрами

arXiv: 261 020.21452v1 Тип уведомления: перекрестное резюме: для разговора с человеком требуется координация речи, жестов и выражений как в слове, так и во время выступления. Мы представляем ЭЛССА 2, модель полного диалога между концами, которая совместно оптимизирует взаимодействие речи и поток-выражение жестов. Авторегрессивный синтезатор с кусочком сочетает предварительно обученные акустические функции со специфичными слуховыми и говорящими скрытостями из позвоночника диалога и синтезатора речи, что позволяет непрерывное невербальное поколение даже в том случае, когда модель устно молчат. Чтобы воплотить понимание диалога в яркие семантические жесты, мы вводим контекстуальные семантические звонки и шаблонное руководство, отделяя от того, следует ли ссылаться на доступный сематический жест, как его реализовать. Кроме того, мы создали систему обработки данных и оценки для совместной разработки диалоговых жестов и изучаем в качестве автоматических судей стандартные модели мультимодальных крупных языков (МЛР). Эксперим