Шарп-проект: Ускорение долгоконтекстовой спекулятивной декодации с помощью кардиологического поиска
arXiv: 2610,05106v1 Annuales Type: новый резюме: Длинная аргументация делает выводы дорогостоящими, и спекулятивное декодирование уменьшает эти расходы путем параллельной проверки нескольких проектов символов. Однако его ускорение может угаснуть по мере роста контекста и сокращения проектов…