Подготовка и заключение по вопросам диффузии - проект спекуляции

arXiv: 2610.23935v1 Annuate Type: New Humber: Speculative decoding ускоряет процесс вывода из большой языковой модели путем параллельной проверки жетонов, предложенных разработчиком. Составители диффузионных предложений продолжают параллельно готовить предложения, однако более высокая пропускная способность предложений или более высокие принятые средние символы (МАТ) не должны давать бóльшую производительность. Поскольку проверка принимает лишь одно за другим префикс, ранние отклонения могут сделать позднее правильные прогнозы неэффективными, ограничивая выгоды от МАТ, в то время как даже более высокий уровень MAT может не улучшить производительность через систему при увеличении продолжительности задержек. Мы введем DSout, который использует два дополнительных фактора для руководства подготовкой разработчиков и вывода о более высокой производительности. Для целей подготовки DSout учитывает потери в зависимости от положения в процессе включения, взвешивания и прогнозирования потерь. Это служит ориентиром для разработки и сочетания смешанной подготовки, внутриблокового размножения и принятия взвешенных потерь с целью приведения надзора в соответствие с приемом префиксов и улучшения MAT. Для вывода, DSout fa