FeatCal: Калибровка характеристик для моделей после пересадки

arXiv: 2605.13030v2 Annuales Type: заменить перекрестное резюме: Модель объединяет в одну модель целевых экспертов и избегает совместной подготовки, переподготовки или развертывания многих экспертных моделей, однако объединенная модель зачастую все еще не обеспечивает эффективности работы целевых экспертов. Мы изучаем этот разрыв в эффективности с помощью дрейфа параметров, различий между характеристиками, создаваемыми объединенной моделью и экспертом по одному и тому же вкладу. Наша теория разлагает этот дрейф в потоке вверх по течению и локальное несоответствие, отслеживает как он распространяет и сочетается через последующие слои в порядке впереди и связывает финальную функцию с выходным дрифтом. Этот взгляд мотивирует FeatCal, который использует небольшой калибровочный набор для калибровки слоёв объединенных моделей по слоям в порядке вперед, сокращая дрейф характеристик при сохранении близкого к объединенным весам и сохраняя преимущества слияния моделей. FeatCal использует эффективное решение в закрытой форме для обновления весов модели без градиентного спуска, итеративной оптимизации или дополнительных модулей. В отношении основных КЛИП и G