ETC-Bench: Многоязычный контрольный параметр для оценки - канонизации трассы

arXiv: 261 030.36527v1 Тип уведомления: новое резюме: письменные стенограммы того же выступления могут отличаться друг от друга по тому, что не является единственным способом, определяемым речевым сигналом. Мы формулируем канонизацию стенограммы с точки зрения оценки (ETC), которая отображает множество форм поверхности в одной и той же форме, когда их различия не определяются речью. Насколько нам известно, ETC-Bench является первым и наиболее всеобъемлющим многоязычным критерием для канонизации стенограмм в рамках оценки 181 типа явлений на 12 языках. Каждый пример представляет собой минимальную пару, которая имеет контекст предложения и отличается только в рамках целевой последовательности, демонстрирующей одно явление. Для оценки как успеха канонизации, так и семантического сохранения мы предлагаем сохранить Семантико-сохранение точности при нормализации (SENA), которая сочетает точное соглашение между независимыми каноникализированными парами-членами с парным ограничением BERTScore в отношении потери информации. Далее мы представляем таксономидущего агента Каноникализу