Компьютерные науки > Компютера и общество [представлено 7 сентября 2026 года] Название: LLM-as-a- Judger Version Shift: The Index Changed, Not the Standard View PDF HTML (экспериментальный) Резюме: Автоматизированные научно-исследовательские трубопроводы все больше полагаются на постоянных судей ЛЛМ для звания, фильтрации и пересмотра предложений, однако эти судьи обычно заменяются новыми версиями. Мы изучаем вопрос о том, сохраняют ли такие замены основополагающий стандарт измерения. Используя предварительно зарегистрированный, замороженный дизайн, мы оцениваем три смежных перехода одной семьи через Qwen, Gemma и Mistral на основе предложений о проведении исследований в области мороженого ML при случайных информационных условиях. Общее предположение о том, что новые судьи просто более суровые провалы: два перехода к большей мягкости, в то время как третий сдвиг в противоположном направлении на якорях, но ослабевает. Что еще более важно, изменения в версиях могут изменить не только место расположения баллов, но и геометрию критериев и разрешение; один переходный процесс рушит чистую дискриминацию, ставя 93% оценок пула на одно значение. Представление идентичных фактов не устраняет пробел в версии, меры контроля за плацебо показывают, что наблюдаемые эффекты пакетов ориентированы главным образом на формат, а не на содержание, и глобальная реалибрация восстанавливает среднее значение при одновременном объяснении незначительной дисперсии объектов. Мы организуем эти ошибки с…
Смена версии LLM в качестве судьи: инструмент изменен, а не стандарт
arXiv: 261 030 2986v1 Annualce Type: кросс-бюллетень: Автоматизированные исследовательские трубопроводы все чаще полагаются на постоянных судей LLM для определения ранга, фильтрации и пересмотра предложений, однако эти судьи обычно заменяются новыми версиями. Мы изучаем вопрос о том, сохраняют ли такие замены основополагающий стандарт измерения. Используя предварительно зарегистрированный, замороженный дизайн, мы оцениваем три смежных перехода одной семьи через Qwen, Gemma и Mistral на основе предложений о проведении исследований в области мороженого ML при случайных информационных условиях. Общее предположение о том, что новые судьи просто более суровые провалы: два перехода к большей мягкости, в то время как третий сдвиг в противоположном направлении на якорях, но ослабевает. Что еще более важно, изменения в версиях могут изменить не только место расположения баллов, но и геометрию критериев и разрешение; один переходный процесс рушит чистую дискриминацию, ставя 93% оценок пула на одно значение. Представление идентичных фактов не устраняет пробел в версии, вмешательство с помощью плацебо