JEDI: Дистиллация от JEPA до Edge для эффективной сегментации сельскохозяйственных угодий на основе спутниковых изображений

arXiv: 2609,07915v1 Annuaire Type: кросс-бюллетени: Большие модели зрения обеспечивают полезные представления для сегментации дистанционного зондирования, но часто слишком дороги для развертывания на спутниковой или полевой окраине. Существующие методы дистилляции на уровне отдельных элементов также, как правило, предполагают аналогичную архитектуру для учителей и учащихся и часто останавливают процесс согласования параметров при начале работы. Мы представляем JEDI (JEPA-edge Distillation), двухэтапную систему, которая передает представления от большого учителя I-JEra Vision Transformer компактному студенту SegFormer. Во-первых, JEDI обеспечивает соответствие представленности учащихся в терминале с символическим пространством учителя с помощью проекции межархитектуры и пространственной ориентации. Затем она совместно оптимизирует контролируемую сегментацию, дистилляцию с температурой и стойкие характеристики на протяжении всей работы по адаптации. На CALCROP21 JEDI-B0 достигает 68,0 среднее значение пересечения (mIoU) с параметрами 4.04M, повышая на 16,0 балла по сравнению со автономным студентом