Контекстовая корректировка параллельных проектов для спекулятивного декодирования
arXiv: 261.10.12570v1 Annuate Type: New Humber: Speculative Decoding ускоряет процесс вывода большой языковой модели с помощью легкого составителя для предложения нескольких символов, которые впоследствии проверяются параллельно целевой моделью. Недавние составители проектов, основанные на…