Слепость оценки письменного перевода на уровне документации

arXiv: 2609.05949v1 Annuaire Type: New Humber Abstract: Enterprise: Оценка машинного перевода (MT) на уровне документов расширяет протоколы сегментного уровня, представляя полные документы аннотаторам при том понимании, что такое представление вызывает вынесение решений на уровне документа. Мы проверяем это предположение с использованием контрфактического состояния (MIX), в котором каждый документ сочетает сегменты, взятые из различных систем, сохраняя формат представления документов и нарушая при этом согласованность перекрестных сегментов. Из 18 420 экспертных аннотаций Englis-Corea и 14 автоматических метрик, баллов, системных рейтингов и ошибок статистически эквивалентны между связными и непоследовательными документами. Это не объясняется пониманием: указанные совпадающие отрывки, рейтингеры определяют один последовательный вариант как работу одного переводчика в 87,3% судебных процессов. Представление документов меняет методы работы аннотаторов, но это изменение не достигает зарегистрированных результатов. Что слепо, так это протокол, а не антектор. Озабоченность заключается не в том, что баллы опускаются