ЛЕНТЕРН: Оценка языковой модели шумовых и трансформированных задач для понимания ошибок и упругости

arXiv: 2609.07303v1 Annualce Type: New Humber Brieflow: Roustess Assessment of music Language Models (LMS) по-прежнему является важнейшей задачей, особенно в том, что касается оценки их чувствительности к возмущениям во вводных данных. В этой работе мы систематически оцениваем устойчивость ЛММ по многим параметрам, включая частоту ошибок в словах, повторение и дублирование персонажей, изменения вариантов выбора и изменчивость последующих инструкций. Для облегчения этой оценки мы составляем сводный и расширенный набор данных, включающий разнообразный комплекс показателей УЗМ, конкретно ориентированных на наборы вопросов по нескольким направлениям (КОД) и задачи по выполнению инструкций. Мы проводим обширные эксперименты на МЛМ различных размеров - малых, средних и крупных, а также между базовыми и корректируемыми вариантами. Наш анализ позволяет количественно оценить изменчивость реакции моделей в неблагоприятных условиях и выявить расхождения по отношению к базовым моделям. Выводы позволяют получить представление о стабильности МЛМ в различных областях