Простое, но эффективное полуконтролируемое дистилляция знаний из моделей зрения и языка посредством оптимизации с двойным лидером

arXiv:2505.076775v3 Тип уведомления: заменить перекрестное резюме: полуконтролируемый процесс обучения (SSL) стал практическим решением проблем дефицита данных путем использования немаркированных данных. В последнее время модели языка зрения (МЖП), предварительно подготовленные по массивным текстовым парам изображения, продемонстрировали замечательную результативность с нулевой/фью-выстрелом, которая часто превышает подходы к SSL изза их исключительных возможностей обобщения. Этот разрыв побуждает нас задаться вопросом: как мы можем эффективно использовать мощные возможности УЗ в области обобщения в конкретных моделях? Перегонка знаний (КД) обеспечивает естественную основу для передачи возможностей VLM, но мы выясняем, что она страдает от градиентных коллизий между контролируемыми и дистилляционными потерями. Для решения этой задачи мы предлагаем оптимизацию с двойным лидером (ДГО), которая предусматривает двойной прогноз для каждого отдельного сигнала. Мы отмечаем, что ДМО смягчает градиентные конфликты и позволяет улучшить обучение на курсах по сравнению с одним заглавным KD