Насколько надежными являются результаты AMR Parser? Оценка неопределенности в отношении ПМР
arXiv: 2610.13236v1 Вид уведомления: новое резюме: последние достижения значительно улучшили работу парсеров, представляющих " Резюме о значении (АМР) &qt; , однако определение того, когда можно доверять их результатам, остается в значительной степени неисследованным. Эта работа представляет собой первое исследование по оценке неопределенности для ПМС в черной коробке с использованием кандидатов на поиск луча топ-к. Неопределенность оценивается на основе сходства кандидатов по паре и оценивается с использованием коэффициента отклонения прогнозов. Эта работа характеризует взаимосвязь между оценкой результативности и неопределенностью, оценивает надежность распределения кандидатов на получение луча света, анализирует влияние оценочных показателей на оценку факторов неопределенности и выявляет препоны, которые обеспечивают наиболее сильный баланс между эффективностью работы и надежностью. Экспериментальные результаты показывают ценность оценки неопределенности в качестве дополнительного измерения для оценки абразивных параметров УМВ.
