KDFP: Первопринципный подход к дистилляции знаний в крупных языковых моделях

arXiv: 261 010.10854v1 Аннонс Тип: новая резюме: дистилляция знаний является общепринятым методом расширения возможностей небольших, эффективных студенческих моделей путем их подготовки с помощью представления более крупных и более способных моделей для учителей. Значительная часть проделанной в последнее время работы по перегонке крупных языковых моделей (ЛММ) была сосредоточена на развитии способностей, приобретенных в ходе послеучебной подготовки, таких как обучение после занятий, цепочка размышлений и использование инструментов. Это привело к возникновению значительного пробела в исследованиях по общей дистилляции знаний для МЛМ, что имеет важное значение для разработки эффективных и частных систем, пригодных для установки на крайних устройствах. Мы применяем подход, основанный на принципе " первопроходца > , анализируя предыдущие уроки предыдущих работ и проводя новые исследования в целях разработки методологии перегонки, пригодной для современных МЛМ. Мы представляем KDFP, новую методологию дистилляции общих знаний в МРМ. Мы продемонстрировали, что KDFP превышает существующие методы на 1,6%-4,9% из 9 бенов