KDFlow: система дистилляции знаний для крупных языковых моделей

arXiv: 2603.0.1875v4 Annualce Type: заменить резюме: дистилляция знаний (KD) широко используется для сжимания и после обучения моделей большого языка (LMS), однако многие существующие системы выполняют выводы учителей с той же целью, что и оптимизация успеваемости учащихся, в результате чего достигается неоптимальная эффективность. В этом документе мы предлагаем KDFlow, новую основу для дистилляции LLM, которая содержит разъединенную архитектуру и использует SGLang для учительских выводов. KDFlow сочетает SGLang для учительских выводов с PyTorch FSDP2 в целях оптимизации обучения, что позволяет каждой модели работать на заднем плане с учетом ее рабочей нагрузки. Чтобы обеспечить эффективную полную перегонку в этой разъединённой архитектуре, KDFlow переводит последние скрытые штаты учителя через объектный магазин Рэя и перепроверяет регистрационный журнал каждого студента, используя замороженную копию выпускающей головы учителя. Кроме того, наши рамки поддерживают как неполитическую, так и политическую дистилляцию и включают алгоритмы перекрестных токенеров tr