Последние модели АИ боролись за то, чтобы соответствовать алгоритмической инновации человека.

Застройщики АИ стремятся создать автоматизированный исследователь ИИ. Насколько они близки? Имеющиеся данные свидетельствуют о том, что АИ может выполнять инженерные задачи в области программного обеспечения, связанные с исследованиями ИИ, созданием наборов данных1, и другие задачи, включая открытую оптимизацию определенных параметров (автоисследования). Однако остается неясным, что влечет за собой полная автоматизация НИОКР МА с учетом широкого круга соответствующих видов деятельности. Одним из очевидных пробелов является способность осуществлять проекты исследований в конечном счете2. По аналогии с недавними работами, такими как Crux Evals, ResearchGym и RSI-Bench, мы проверяем ИИ на предмет выполнения задач по изучению в конце. Мы представляем ранние результаты Инновационного исследования, оценки, в которой мы измеряем способность AIGRs независимо открывать новые технологии машинного обучения по сравнению с теми, которые были разработаны учеными-исследователями. Несмотря на проведение экспериментов с использованием времени ГПС в тысячах долларов, последние модели не позволяют добиться значительного прогресса в решении этой задачи. Мы планируем расширить и повторить эту методологию, отслеживая прогресс АИ в деле автоматизации самих исследований ИИ. Инновационное исследование методологии проверяет, может ли МА самостоятельно разрабатывать новаторство ML, которое соответствует эффективности недавно разработанной человеком инновационной деятельности, которую АИ не видел. Это…