TodoPro: Быстрое и лучшее справочно-информационное поколение: раннее сокращение с помощью выбранных в результате самопроверки

arXiv: 261 030.34782v 1 Annualce Type: New Humber Abstract: Последние модели генерации изображений на основе справочных данных поддерживают множество условий, соединяя все эталонные изображения и текстовые символы в совместную последовательность, обработанную одним Difclusion Transformer (DIT). Однако эта многоплановая парадигма сопряжена с затратами на эффективность: учет множества ссылок приводит к символическому взрыву, сопровождающемуся огромной вычислительной сложностью в размере $\mathcal {O}(N>2) долларов. Большинство методов ускорения действуют внутри DT, демонстрируя ограниченные возможности в плане сокращения пространственной избыточности и не сглаживания пикового VRAM. Несмотря на наличие некоторых предмодельных альтернативных вариантов сокращения выбросов символов, они неизбежно включают внешние модели. В этой связи возникает вопрос: возможно ли добиться ускорения и экономии памяти при сохранении совместимости с методами, используемыми в модели, без необходимости дополнительных параметров? В этой работе мы реализуем эту цель, предлагая раннее сокращение Token путем самопроверки (ToDoPro). Исполняем