То, что окно не содержит: проверка доказательств в контрольном параметре неустойчивости с документооборотом

arXiv: 2609.06147v1 Annualce Type: New Abstract: Спросите языковую модель одного и того же документа 20 раз, и иногда он возвращает два разных ответа. Мы построили показатель "Провидение", состоящий из 60 задач и 470 предметов, полученных в результате реальных операций по финансированию предприятий, чтобы оценить, как часто это происходит. Затем мы проверили наш собственный корпус и обнаружили дефект, который может быть нанесен любой выдержкой из контрольного показателя: предметы, улики которых отсутствуют в окне текста, показан образец. Ревизионные флаги на 36 позициях и разделили бы две ошибки, которые совпадали бы между собой: доказательства действительно отсутствуют в окне, а ответы должны быть вычислены по номерам окна. Отмеченные позиции значительно чаще меняют свои ответы, дрожа в 0,255 против 0.087 по 427 чистым предметам и исключая их, на пятый раз сокращая очевидное соглашение между различными моделями. Прежде чем проверить, объясняют ли недостающие улики нестабильность, мы зарегистрировали прогноз: перерезать каждое окно для хранения доказательств и неустойчивость shou