Многоцелевое соглашение: гибкие рамки для обеспечения межаннотаторной надежности

arXiv: 261 030,37292v1 Сообщение типа: новое резюме: надежная оценка межаннотаторного соглашения (МАА) имеет важное значение для оценки последовательности процессов аннотации. Хотя такие метрики МАА, как каппы Коэна, кэппы Флейсса и альфа-альфа Крипендорф обычно применяются в режиме одномаркировки, задачи с несколькими знаками требуют дополнительных решений о том, каким образом следует сопоставлять полные наборы этикеток, совместные отборы и совместные пропуски. В этой работе мы представляем Многобалльное соглашение (МЛА) - гибкую основу для оценки соглашения в отношении задач по аннотациям с несколькими знаками. ВПП сохраняет векторы полной бинарной маркировки, отнесенные к каждому предмету, и использует среднее соглашение о парном затоплении, что позволяет учитывать как совместный выбор, так и совместные пропуски. Его комбинированная маргинальная форма не является математически независимым коэффициентом: она представляет собой средневзвешенное по случайности значение коэффициента Fleiss/Scott-type и тесно связана с альфа Криппендорф при нормализованном расстоянии Хамма. Т