Реклама

Модель " ModelMamba: эффективный анализ формы документов с использованием гибридных сетей &qt; Мамба-Трансформатор

#Модель #ModelMamba #Мамба-Трансформатор #Annualte #Type

arXiv: 261 030.34879v 1 Annualte Type: New Humber: DAL ( " Новое резюме: анализ структуры документов &qt; ) сталкивается с давнишней дилеммой: существующие методы либо отражают богатую местную деталь при запретительных вычислительных издержках (например, трансформаторные подходы к квадратной сложности), либо достигают эффективного глобального моделирования, но приносят в жертву тонкозернистый структурный уровень информированности (такие как модели состояния космического пространства). Такой компромисс препятствует внедрению в ограниченных ресурсами сценариях. Мы представляем модель ModelMamba — гибридную систему, в которой синергически сочетаются малозаметные трансформаторы для локализованного извлечения свойств (O(n) сложности), и периодически повторяющийся механизм "Состояние-пространство" Мамбы для бесразбавляющей модели зависимости на большие расстояния по всему 2D документообороту. Наша двухэтапная парадигма сначала использует легковесный Трансформер-кодер для иерархической диспропорции основных местных семантик; вовторых, Мамба распространяет глобальные контекстуальные зависимости без размыва внимания, что позволяет точно, эффективно и масштабируемо понимать дизайн. Мы продолжим

Компьютерная наука > Комплектное видение и распознавание шаблонов [представлено 26 октября 2026 года] Название: LayoutMamba: Effective Document Analysis by HTML-Cround Transformer Network View PDF (экспериментальное) Резюме: Анализ структуры документов (DLA) сталкивается с давнишней дилеммой: существующие методы либо включают в себя богатые местные детали при запретительных вычислительных издержках (например, трансформаторные подходы к квадратной сложности), либо достигают эффективного глобального моделирования, но приносят в жертву тонкозернированную структурную осведомленность (например государственные модели). Такой компромисс препятствует внедрению в ограниченных ресурсами сценариях. Мы представляем модель ModelMamba — гибридную систему, в которой синергически сочетаются малозаметные трансформаторы для локализованного извлечения свойств (O(n) сложности), и периодически повторяющийся механизм "Состояние-пространство" Мамбы для бесразбавляющей модели зависимости на большие расстояния по всему 2D документообороту. Наша двухэтапная парадигма сначала использует легковесный Трансформер-кодер для иерархической диспропорции основных местных семантик; вовторых, Мамба распространяет глобальные контекстуальные зависимости без размыва внимания, что позволяет точно, эффективно и масштабируемо понимать дизайн. Мы далее выявляем в существующих контрольных параметрах ОПП критическую, но неучтенную проблему: имманентная ошибка распределения с низким уровнем перенапряжения предметов…