Решение без правила: чувствительность правил диагностирования и аудита в системах обеспечения соответствия УЗМ
arXiv: 2610.12313v1 Вид уведомления: новое резюме: системы обеспечения соответствия моделей большого языка используются при условии, что вердикт зависит от нормативного правила. Мы проверяем это непосредственно в пяти моделях и 20 областях регулирования и платформы-политики: исключить, заменить или опровергнуть регулирующее правило при рассмотрении дела и проверить, меняются ли вердикты (ВВП) или же внутреннее представление модели о соблюдении требований вообще (ICS-delta). Ни одна из них не двигается слишком далеко: вердикты моделей часто являются инвариантными к существенным искажающим положениям поставляемого правила, а модель охраны, оцениваемая здесь на основе адаптации своей собственной таксономии с учетом конкретных правил, является наименее чувствительным и менее точным из пяти, едва превышающих случай (51% против 90-92% для моделей общего назначения). Это отражает не только полное пренебрежение, но и простые случаи: в тех случаях, когда исключение правила изменяет ранее правильное прогнозирование модели, модели точно отслеживают его. Не вызывает ли это ни лучшего, ни прямого вмешательства?
