LiLiCorr: легкая корреляция вероятности параллельных проектов для спекулятивного декодирования
arXiv:2608.20530v1 Спекулятивное декодирование ускоряет вывод языковой модели путем составления будущих токенов, которые целевая модель проверяет параллельно. Голова блока в стиле диффузии, такая как DFlash, является привлекательным составителем, предсказывающим целый блок будущих токенов в одном…