Автотуннебэнч: Достоверное измерение для автоматического ввода в эксплуатацию двигателей LLM
arXiv:2609.18123v1 Annuales Type: новый резюме: Большие языковые агенты настраивают ядра GPU и обслуживающие двигатели через замкнутый цикл предложений, измерений и сохранения, но измерения за этим циклом не заслуживают доверия. Мы описываем четыре режима отказа из четырехдневного экспериментального набора 619 звонков модели: скорость производства соломенной почвы, абсолютное время не переносится между машинами, насыщенные задачи сводятся на нет сопоставления и недостатки инфраструктуры выдают себя за научные. Мы представляем AutoTuneBench, ориентир и протокол измерений, которые делают доверие архитектурным. Протокол замерзает в качестве кода с привязкой к тестовому источнику; установщик уровня базы данных отвергает результаты внепротокола; проверки на предмет нежевтения, проводимые за пределами поверхности модификации агента; сопоставления проводятся после предварительно зарегистрированных показаний; и измерения, основанные на внешних опубликованных результатах, которые основаны на парной статистике происхождения с 5-процентным коэффициентом пересечения. Честное измерение переписывает заголовки: