ЭджКрейфтер: Compact Vits for Edge Dense Прогнозирование через специализированную дистилляцию

arXiv: 2603.18739v5 Тип уведомления: заменить резюме: Развертывание высокоэффективных густых моделей прогнозирования на ресурсосвязанных устройствах по-прежнему сопряжено с трудностями в связи со строгими расчетами и бюджетами памяти. На практике в системах легкого обнаружения объектов, сегментации примеров и оценки позы доминируют такие основанные на Си-Эн-эн архитектуры, как YOLO, в то время как компактные трансформаторы Видения (ViTs) часто пытаются добиться сопоставимых компромиссов с точностью и эффективностью даже при крупномасштабной предварительной подготовке. Мы считаем, что этот разрыв обусловлен главным образом недостаточным уровнем подготовки по вопросам представительства в рамках маломасштабных ВИТ с учетом конкретных задач, а не имманентным несоответствием между ВИТ и густыми прогнозами. Для решения этой проблемы мы представляем EdgeCrafter, унифицированную компактную систему VIT для прогнозирования плотности краев в центре ЭСРС, модель обнаружения, построенную на дистиллированной компактной позвоночнике и удобной для края конструкции конденсатора-декодера. Полученные в результате этого данные непосредственно передаются