Спектакль: Предположение о том, как быстрее декодировать в модели языка
arXiv: 261 020.21594v1 Annuales Type: New Habstrate: Loped Transformers повышает эффективность параметров, неоднократно применяя одни и те же Трансформеры. Однако разработка каждого символа по-прежнему предполагает последовательные расчеты и повторный доступ к весам модели, что ведет к высокой степени декодирования запоздалости. Недавно разработанные методы самоспекулятивного декодирования сокращают эту задержку, разрабатывая символы из ранних прогнозов и асинхронно продвигая жетоны на различных повторяющихся глубинах одной партии, но они не в полной мере используют первые элементы для более длительного поиска и по-прежнему расходуют средства для проверки неверных спекулятивных отделений. Мы введём метод — спекулятивную систему декодирования для петли трансформаторов, которая позволяет заранее составлять будущие символы и распределяет взаимодополняющие роли на различные повторяющиеся глубины. Легкий смотровой составитель (LAD) предсказывает множество будущих символов с ранними луповыми состояниями, и более глубокая обратная связь помогает решить, какие проекты филиалов продолжать и какие p