Небольшие редакторы, решения о смене: определение точности и надежности данных по французским версиям ввода данных

arXiv: 261 030.33493v 1 Annuales Type: новый резюме: французские пользователи могут опустить апострофы и диакритики или сделать клавиатурные опечатки в ежедневном вводе информации. Последствия этих общих различий для эффективности языковых моделей и надежности прогнозов по-прежнему недостаточно изучены. Для устранения этого пробела мы построим контролируемый французский показатель поверхностно-вариантного типа, охватывающий семь целевых типов и включающий 4200 первоначальных низковысоких тройняшек (12 600 входных случаев). Каждый вариант высокой интенсивности сохраняет все низкоинтенсивные редактирования и добавляет дополнительные изменения. Мы оцениваем шесть моделей из двух семей ЛЖМ. Полученные результаты показывают, что точность снижается, а баллы Брайера и отрицательные log-снимки (NLL) увеличиваются с интенсивностью возмущения. Более крупные модели показывают меньшие потери точности при высокой интенсивности, но увеличение баллов Brier и NLL не всегда снижается по шкале. Клавиатурные опечатки вызывают наибольшие потери в точности и качестве прогнозируемых вероятностей при предопределённых высокоинтенсивных параметрах. Наконец, Калибрати