Кодовые агенты созвучны: почему лидер-лидер SWE не может больше заказать свои верхние конкреции, и что измерять вместо этого

arXiv: 2609.17394v1 Annuales Type: cross Brieft: Небольшие различия в лидерских досках кода-агента часто рассматриваются как заказ на системы. Мы проверяем, поддерживают ли опубликованные вердикты это чтение с использованием 254 представлений SWE-bunch по четырем разделам без использования моделей. По результатам проверки две ведущие позиции решают 396 из 500 дел. В десятке лучших успехов и 51 неудаче, остаётся 164 случая, которые отличают их результаты. Наборы пограничного раствора имеют медианное гнездо 0,935 против базового показателя в 0,774, что свидетельствует о сильном совместном успехе. Кроме того, оценки зависят от оценочной пары скоффолдов: наблюдаемые в рамках модели диапазоны до 29,8 процентных пунктов по сравнению с 8,8 пункта для 30 верхних точек. Шесть из девяти тестов взаимодействия клеток и клеточной смеси остаются важными после корректировки Holm, хотя эта схема наблюдения не позволяет выявить причинно-следственные эффекты. Точные испытания МакНемара в паре не отделили ни один из 29 смежных тестов Верифицированный верхний тридцать