Компьютерные науки > Компютерное видение и распознавание шаблонов [представлено 18 октября 2026 года] Название: ReTrace: Visual Waching for Effective Multilitary Models Крупный Язык модели Вид HTML (экспериментальный) Резюме: Multimmode Magine Language Moprovisions (MLMS), кодирует изображения в плотную последовательность визуальных символов, привлекая к себе значительное внимание и накладные расходы KV-cash. Существующие методы визуального сжимания символов сокращают эти затраты, за счет того что в них используются символы низкой интенсивности на мелких слоях, но эта практика сочетает временное вычисление и необратимое удаление информации. Мы показываем, что это сцепление нарушает неразрывную схему вывода в MLLM. С помощью слоевого анализа внимания мы идентифицируем intextbf {Visual Reaching}: визуальные повороты остаются пространственно стабильными, но в средних слоях они активно извлекают контекст из символов, которые выглядели неважными ранее. Таким образом, ранние символы низкой вероятности могут быть бездействующими для расчета и по-прежнему полезными для последующего обоснования. Исходя из этого вывода, мы предлагаем /textbf {ReTrace} — систему сжимания, которая привносит бездействующее символическое состояние. Ретрактные тайники, не поворачивающиеся к стопам, вне дорогих вычислений по слоям, восстанавливает их во время заднего дорожки и осколков только после поглощения информации. Эксперименты на Qwen2,5-VL и InternVL3 показывают почти 90-процентное сокращение FLOPs…
ReTrace: Визуальная отслеживание для эффективных мультимодальных моделей большого языка
arXiv:2610.25005v1 Annuate Type: New Humbrie: Multildom Bigl Language Models (MLMs) кодирует изображения в плотные последовательности визуальных символов, что вызывает значительное внимание и накладные расходы KV-cach. Существующие методы визуального сжимания символов сокращают эти затраты, за счет того что в них используются символы низкой интенсивности на мелких слоях, но эта практика сочетает временное вычисление и необратимое удаление информации. Мы показываем, что это сцепление нарушает неразрывную схему вывода в MLLM. С помощью слоевого анализа внимания мы идентифицируем intextbf {Visual Reaching}: визуальные повороты остаются пространственно стабильными, но в средних слоях они активно извлекают контекст из символов, которые выглядели неважными ранее. Таким образом, ранние символы низкой вероятности могут быть бездействующими для расчета и по-прежнему полезными для последующего обоснования. Исходя из этого вывода, мы предлагаем /textbf {ReTrace} — систему сжимания, которая привносит бездействующее символическое состояние. Невзрывные тайники на улице