EntropyPrune: Матричная энтропия Гид Visual Token Prunning for Multildus Крупные языковые модели
arXiv: 2602 17196v2 Annuales Type: заменить резюме: мультимодальные крупные языковые модели (MLMs) сопряжены со значительными расходами на получение результатов в связи с обработкой сотен визуальных символов по каждой картинке. Хотя символическая серфинга доказала свою эффективность в плане ускорения процесса вывода, определение того, когда и где можно сделать слив, остается главным образом эвристическим. Существующие подходы, как правило, основываются на статических, эмпирически выбранных слоях, которые ограничивают интерпретируемость и переносимость между моделями. В этой работе мы внедряем матрично-антропический подход и выявляем "Энтропийский скачок" (EECL), где содержание информации в визуальных представлениях резко и последовательно снижается, что является принципиальным критерием для выбора стадии обрезки. Основываясь на этом наблюдении, мы предлагаем " ЭнтропиПранун > , новую систему символического серфинга с матричной помощью, которая категоризирует информационную ценность отдельных визуальных символов и излишних сливок без опоры на карты внимания. Кроме того, для обеспечения эффективности com
