Реклама

JetSpec: Преодоление потолка спекулятивного декодирования параллельной разработки деревьев

#JetSpec #Преодоление #Annualce #Type #Speculative

arXiv:2606.18394v5 Annualce Type: заменить резюме: Speculative decoding (SD) ускоряет авторегрессивные Большие Лингвистические модели (LMM) путем составления нескольких знаков и их проверки параллельно, но при этом она сталкивается с ограничениями в плане расширения масштабов: увеличение проекта…