SWE-Skills-Bench: Помочь ли агенту Квалификацию в реальной инженерии программного обеспечения?

arXiv:2603.15401v2 Тип уведомления: заменить перекрестное резюме: навыки агента, структурированные пакеты процедурных знаний, введенные на закладку времени, все чаще используются для увеличения числа агентов LLM при выполнении задач по разработке программного обеспечения. Вместе с тем их реальная полезность в условиях развития на этапе до конца остается неясной, и ни одна стандартная процедура не проверяет индивидуальные навыки перед установкой. Мы представляем цепные навыки, ориентированный на квалификацию и потребности критерий, позволяющий оценить, в какой степени индивидуальные агенты повышают эффективность работы по реальному программному проектированию (SWE). Мы начинаем с 98 общественных навыков SWE, каждый из которых в паре с настоящим хранилищем GitHub привязался к фиксированному обязательству. Для каждого мастерства мы выбираем конкретные требования к хранилищам, создаём исполнимых проверяющих и строим воспроизводимую среду. При каждой из четырех конфигураций агент-модели мы выполняем каждую задачу один раз без навыков и один раз с ней, принося 3 920 парных оценок. Для каждого требования мы вычисляем парную дельту, т.е. изменение