Универсальная текстовая подготовка для МЛМ

arXiv:2610.121114v1 Annuate Type: New Humber: KD (новое резюме): Перегонка знаний (KD) передает знания из более сильных моделей Учителя в более слабые модели учащихся, но большинство методов требуют подготовки параметров учащихся, что связывает дистиллированные знания с конкретной архитектурой и контрольно-пропускными пунктами. Такое имплицитное представление трудно интерпретировать или повторно использовать в рамках моделей и ограничивает KD только для API или дорогостоящих моделей. В настоящем документе изучается передача знаний для крупных языковых моделей (МЖЛ). Мы введем систему Универсального текстового преподавания (UTT), которая не содержит обновлений параметров и позволяет наблюдать пробелы знаний между учителем и студентом в текстуальном, интерпретируемом и многократно используемом естественно-язычном артефакте под названием Primer. Если говорить конкретно, то в первую очередь, УПТ выявляет репрезентативные пробелы на основе парных оценок и итеративно обновляет Primer посредством многофункциональных взаимодействий: Студент пытается решить каждую задачу, скорый превращает оценку в учебное пособие, Учитель предоставляет целевую информацию