Реклама

LiLiCorr: легкая корреляция вероятности параллельных проектов для спекулятивного декодирования

#LiLiCorr #Спекулятивное #Голова #DFlash #Пара

arXiv:2608.20530v1 Спекулятивное декодирование ускоряет вывод языковой модели путем составления будущих токенов, которые целевая модель проверяет параллельно. Голова блока в стиле диффузии, такая как DFlash, является привлекательным составителем, предсказывающим целый блок будущих токенов в одном…