Совершенствование оценки в машинном переводе: вопросы изменений

arXiv: 2609.087779v1 Annualce Type: New Habritary: Terministical Assessment in Machine Translation (MT) обычно предполагает, что в каждом исходном термине используется одна правильная целевая форма. Однако переводчики-человеки обычно вводят изменения, которые нынешние метрики карают как непоследовательность. Мы изучаем вопрос о том, каким образом следует учитывать эту вариацию при оценке МТ на уровне документов английского и французского научных переводов, сочетая точность глоссария, последовательность перевода и новую межтермальную диагностику (CTV), которая проверяет сохранение взаимоотношений между различными языками. На основе анализа двух параллельных карпор, переведенных четырьмя системами МТ, мы считаем, что 1) системы MT приводят к меньшему разбросу целевых показателей по сравнению с человеческими переводчиками; 2) схемы перевода сильно зависят от типа вариаций; 3) рейтинг согласованности зависит от выбора метрики; и 4) ограничение МТ глоссарием повышает точность и согласованность, но ухудшает качество CTV за счет пресечения действительных изменений. Мы выступаем за вариатио.