Следующий Токен или Вектор? Узнать, как далеко до расшифровки

arXiv: 261 020.22788v 1 Annuales Type: новый резюме: Стандартный авторегрессивный декодирование развивает один символ за раз, даже когда несколько предстоящих жетонов можно предсказать вместе. Мы предлагаем метод CADINS (Context-Adapative Deccoding), который учит как проектировать, так и как далеко. Головы гаусса представляют собой будущие протяженности как постоянные латентные векторы, и общий декодер преобразует выбранный вектор в символические прогнозы параллельно. Изученный роутер выбирает длину предсказания из собственных скрытых состояний модели и предсказывает параметры Гауссии, адаптируя гранулярность поколения к текущему контексту с однозарубчатым поколением в качестве запасного. В основе каждого предлагаемого продолжения находится префикс, который соответствует его жадным предсказаниям. Эксперименты с руководством Llama-3.1-8B по Alpaca, GSM8K и HumanEval показывают, что выбранные маршрутизаторы позиции дают более высокую степень принятия проектов, чем применение соответствующей длины прогнозов везде. КАДЕН Достигает