Помимо окончательных решений: Процедурный и циркулярный контрольный параметр для транспарентного коллегиального обзора АИ

arXiv: 2609.05947v1 Вид уведомления: новое резюме: коллегиальный обзор имеет ключевое значение для контроля качества в науке. Вместе с тем существующие оценки экспертного обзора, проведенного при содействии АИ, сосредоточены главным образом на общем качестве подготовленных обзоров или точности окончательных решений. Таким образом, они дают ограниченные доказательства того, подтверждаются ли типовые решения достаточными и надежными данными о результатах обзора. Мы введем ориентированный на процессы диагностический критерий для коллегиального обзора при содействии АИ. Для представления содержания бумаги, резюме, критики, предложения и решения используется (x, z_c$, US_r$,y). Мы преобразуем разнородные обзорные записи из " Перриреад > , NLPeer ARR-22 и OpenReview-ICLR в данные, которые могут привести к изменениям процесса. В качестве исходного показателя мы используем прямое прогнозирование решений на основе содержания бумаги (Direct). В нем сопоставляется стоимость принятия решений переменных золотых и прогнозируемых параметров процессов, а также проводится оценка на уровне стадий, оценка согласованности цепочек и анализ чувствительности к вмешательству. Эксперименты по всему тел.