Компьютерные науки > Искусственный интеллект [представлен 15 сентября 2026 года] Название: FlexEe: самоспекулятивные и KV-совместимые ранние вылеты для отгрузки-раздачи LLM Inderence View PDF HTML (экспериментальный) резюме: вывод о большой языковой модели (LLM) часто ограничивается как расчетами, так и запоминанием, особенно при разгружении на основе загрузки, когда модель весов переносится через иерархию памяти во время авторегрессивной декодировки. В этой ситуации сокращение числа выполненных слоев может снизить погрешность запоздалости и в то же время избежать дорогостоящего перемещения веса. Исходя из этого наблюдения, мы представляем FlexEE - первые рамки для вывода на основе LLM с учетом ограниченных ресурсов и отгрузки. FlexEe делает ранний выход практически осуществимым для LLM декодирование через слоёвный надзор за выводом для надежного промежуточного прогнозирования, самоспекулятивного дешифрования по местному словарю Top-K для принятия решений о малозатратном выходе и динамического скрытого государственного управления для KV-cach- корректирования и обеспечения памяти. Помимо задач, связанных с регенеративностью и поступлением вниз по течению, FlexEE позволяет эффективно досрочно выйти из системы при минимальной точности: до 1,27 долл. США/времени 3,16 долл. Загрузка ссылок и цитат... Библиографический и цитационно-инструментальный библиолог (Что является Исследовательом?) Подключённые документы (что такое подсоединенные бумаги?) Litmaps (Литмпапс?) Skite Smart…
FlexEE: Самосохраняющаяся и кВ-сопоставимая ранняя подача для выгрузки LLM
arXiv: 2609.17008v1 Annuales Type: New Humber Brieflook: Большой языковая модель (LLM) вывод часто ограничивается как расчетами, так и памятью, особенно при разгрузке на основе загрузки, когда модели весов переносятся через иерархию памяти во время авторегрессивного декодирования. В этой ситуации сокращение числа выполненных слоев может снизить погрешность запоздалости и в то же время избежать дорогостоящего перемещения веса. Исходя из этого наблюдения, мы представляем FlexEE - первые рамки для вывода на основе LLM с учетом ограниченных ресурсов и отгрузки. FlexEe делает ранний выход практически осуществимым для LLM декодирование через слоёвный надзор за выводом для надежного промежуточного прогнозирования, самоспекулятивного дешифрования по местному словарю Top-K для принятия решений о малозатратном выходе и динамического скрытого государственного управления для KV-cach- корректирования и обеспечения памяти. В рамках деятельности по обеспечению производительности и на выходе из нее FlexE позволяет эффективно досрочно выходить с минимальными значениями точности, обеспечивая при этом до 1,27 долл. США/время 3,16 долл.