JustFit: 200K-Token LLM обслуживается на 24 Гибовом ноутбуке с управлением штата в срок

#JustFit #Token #Гибовом #Annuales #Type

arXiv:2609.174775v1 Annuales Type: New Hable Stravision: Модели с открытым весом делают местные коды и рассуждения привлекательными, но их контекст и исполнение штаммов в состоянии ноутбука. Мы представляем JustFit, основанное на MLX время запуска, которое сочетает KVExec для выполнения сжатого KV, фазовой Swap в качестве жильца компонента и State Trans в качестве государства-защитника переходных процессов. Эти механизмы взрывают процесс реконструкции и координируют материализацию и высвобождение, независимо от квантизации модели. В ходе проверки полной пропускной способности 24 GB M4 Pro MacBook, выполняющий Qwen3.8-27B MXPF4, три независимых прогона завершают 196 608 вводных и 16 384 выводимых символа, увеличивая число заполненных запросов в контексте одного запроса с 30 720 позиций по исходному уровню Мллекс-влкм до 212 992 (6.93x); отдельный двухпробег сохраняет 229 376 должностей в совокупности. При проведении отдельных испытаний на эффективность 32К-вход, 64 выходной зонд достигает 19,11 символов/звуковых знаков и повторяющийся объем работы 32K+6K имеет медианный пиковый отпечаток 1

Компьютерная наука > Искусственный интеллект [представлен 15 сентября 2026 года] Название: JustFit: 200K-Token LLM, обслуживающий на 24 ГиБ ноутбуке с True-Time Guide Management View PDF HTML (экспериментальное) резюме: Capable Opportive- timage модели делают местные коды и рассуждения привлекательными, но их контекст и исполнение штаммового компьютера. Мы представляем JustFit, основанное на MLX время запуска, которое сочетает KVExec для выполнения сжатого KV, фазовой Swap в качестве жильца компонента и State Trans в качестве государства-защитника переходных процессов. Эти механизмы взрывают процесс реконструкции и координируют материализацию и высвобождение, независимо от квантизации модели. В ходе проверки полной пропускной способности 24 GB M4 Pro MacBook, выполняющий Qwen3.8-27B MXPF4, три независимых прогона завершают 196 608 вводных и 16 384 выводимых символа, увеличивая число заполненных запросов в контексте одного запроса с 30 720 позиций по исходному уровню Мллекс-влкм до 212 992 (6.93x); отдельный двухпробег сохраняет 229 376 должностей в совокупности. В отдельных испытаниях на эффективность 32К-вход, 64 выходной зонд достигает 19,11 символов/звуковых знаков и повторяющийся объем работы 32K+6K имеет медианный пиковый отпечаток процесса 16 374 МиБ. Комплексный рабочий график дает правильный ответ на 29 из 30 проблем AIME 2026, показав как компактное исполнение в состоянии и пожизненное выполнение расширяет локальную сервисную мощность при поддержке расширенных…