Семантические иголки в документах Hestacks: Тестирование на чувствительность LLM как судьи

arXiv:2604.18835v2 Аннонс Тип: заменить резюме: Мы предлагаем масштабируемую многофакторную экспериментальную систему, которая систематически проверяет чувствительность LLM на тонкие семантичные изменения в парном сопоставлении документов. Мы рассматриваем это как проблему иглы в гейстаке: одно семантически изменившееся предложение (игла) встроено в окружающий контекст (сена), и мы отличаем тип возмущения (отрицание, комбинация, замена образования), контекстный тип (оригинальный по отношению к тематическому не связанному положению), положение и длина документа во всех комбинатах, тестируя семь МЛМ на десятках тысяч пар документов. Наш анализ показывает несколько поразительных выводов. Во-первых, МЛМ могут проявлять в рамках документа необъективную позицию, отличающуюся от ранее изученных последствий " порядковый порядок кандидатов > : некоторые модели предусматривают более строгое наказание за семантичные различия, когда они возникают раньше в документе. Во-вторых, когда изменённое предложение окружено тематически не связанным контекстом, это повышает сходство оценок в