Сигнатура: унифицированный перевод на язык жестов с привязкой к глоссам
arXiv: 2610.11371v1 Annuate Type: New Habstract: Современные модели, основанные только на декодерах и имеющие большой язык (LMS), продемонстрировали сильные возможности в широком круге областей. Вместе с тем существующие парадигмы предварительной подготовки для блеска без жестового перевода (SLT) в основном разработаны на основе традиционных заранее подготовленных языковых моделей, которые ограничивают их прямую применимость только для декодеров. Для устранения этого ограничения мы предлагаем создать единую систему SignRAG, сочетающую иерархическую предварительную подготовку, расширение поиска с целью и усовершенствование системы поиска-наблюдения. Иерархическая предварительная подготовка сначала учится на лингвистической основе отображению знаков и затем совместно приводит энкодер знака в соответствие с LLM, уменьшая диспропорцию оптимизации между различными видами транспорта. Для адаптации вниз по течению SignRAG дополняет тонкую настройку на основе параметров галереей поиска целевых доменов, в которой содержатся конкретные сигналы перевода. Обеспечение надлежащего использования извлеченных контекстов