Параметр Гольф: Что действительно работает?

arXiv: 2607.01517v2 Annuates Type: заменить резюме: Как далеко может улучшиться языковая модель при строгом бюджете артефакта? Параметр Гольф поставил этот вопрос в качестве открытого вызова для сообщества, при котором участники обучались лучшей языковой модели с полным артефактом (учебный код + сжатые весы), требуемым для установки в пределах 16 МБ и прохождения подготовки менее чем за 10 минут на 8xH100 SXM GPU. Качество измерялось в битах на байт (ББП) — среднее число бит, требуемых для кодирования каждого байта невидимого текста. Мы анализируем 2 037 запросов и 1430 чистых материалов конкурса, создаем таксономию 84 методов оптимизации и измеряем вклад каждого метода в BPB. Подтверждённый рейтинг лидера упал с 1,2244 до 13,58 BPB в течение трех этапов, что составляет сокращение на 13,6%, несмотря на то, что отдельные методы редко улучшают BPВ более чем на 1%. Мы показываем, что выгоды большинства методов уменьшаются при переоценке между конкурентными представлениями, изолируя те немногие методы, которые помогают ласкать