Учеба в рамках учебной программы для эффективного сглаживания УЗО

Компьютерные науки > Машинное обучение [представлено 16 сентября 2026 года] Название: Layer-wise Building for Effectied LLM Complision View PDF HTML (экспериментальное) Резюме: В настоящем документе мы введем сетевую учебную программу для эффективного сжатия LLS. Предлагаемый метод облегчает передачу знаний от модели учителя к школьной модели, используя подход к обучению в рамках учебной программы, который начинается с более простых задач оптимизации и постепенно решает сложные задачи. Для того чтобы использовать слоевое обучение в деле сжатия ЛММ, мы разделим всю модель на несколько сегментов, состоящих из слоев, что позволит обеспечить более эффективную вычислительную передачу знаний для МЛМ. На основе нашего теоретического анализа явления кумулятивных ошибок обучение по сетевой программе ускоряет конвергенцию, стабилизируя процесс передачи знаний. Кроме того, мы представляем метод профилей с многослойной стратегией для эффективного решения проблемы несогласованности характеристик между слоями и максимального использования ГПС. Таким образом, наш метод демонстрирует продвинутую эффективность сжатия модели, а также высокую вычислительную эффективность с точки зрения сведения к минимуму использования памяти и коротких часов обучения. Эксперименты на нескольких наборах данных показывают, что предлагаемый метод позволяет достичь самых современных результатов при одновременном сокращении использования памяти ГПС и количества учебных часов более чем на 50% по БЕРТ и ГПТ-2. Кроме…