Повторное рассмотрение вопроса о проверке потерь в спекулятивном декодировании: механизмы, компромиссы и режимы отказа
arXiv:2607.26627v2 Annuales Type: заменить резюме: Speculative Decoding (SD) ускоряет вывод о большой языковой модели, позволяя легкому проекту модели предлагать символы, которые затем проверяются параллельно с более крупной целевой моделью. В целях дальнейшего повышения эффективности за счет…