Можем ли мы верить в коллегиальный обзор МА?
arXiv: 2610.19339v1 Аннонс Тип: новое резюме. Поскольку крупные языковые модели широко используются в научных обзорах и редактировании рукописей, оценки АИ все чаще служат обратной связью для оценки качества бумаги и руководства редактированием. Тем не менее, до сих пор недостаточно изучен вопрос о том, точно ли один и тот же балл ИИ отражает суждение аналитика и поддерживается ли выигрыш от пересмотра на основе этого показателя другими рецензентами. Используя 200 документов из ICLR 2025 и 2026, а также примерно 14 000 обзоров ИИ, мы изучаем надежность баллов, оценку распределения результатов и перекрестное типовое соглашение о выигрыше от пересмотра. Повторяющиеся обзоры колеблются даже в одинаковых условиях. Более тонкие протоколы баллов уменьшают разницу в очках, но также систематически меняют средние оценки, тогда как выгоды от пересмотра рукописей сильно зависят от рецензетора.
