PVSync: Единый эксперт по вопросам планирования и разработки

arXiv: 2610,09223v1 Annuate Type: New Habrial: Lip Changes может соответствовать времени речи, не сопоставив слышимые звуки. Мы представляем PVSync, унифицированную модель для оценки аудиовизуальной компенсации и вычисления на уровне телефонных разговоров. PVSync сочетает в себе контрастное обучение оконного уровня для синхронизации с задачей сочинения на уровне телефона, которая приводит аудио- и видеоприёмы одного и того же класса вином по клипам. Виземы группируют телефоны с аналогичным видимым комбинацией. Маркировка Visem производится автоматически на основе записей с принудительным движением без ручных аннотаций. На видео с корректировкой на компенсационное воздействие 13 моделей, PVSync больше чем LSE-C соответствует человеческим рейтингам качества липовой синтетики и достигает корреляции Spearman 0,83 против 0,34. На автоматическом контрольном параметре от выдержанной речи PVSync проводит различие между висмами и несоответствующими аудиовизуальными парами с ROC AUC 0,91. PVSync также опережает SyncNet и MTD-Vocali