Стабильное расписание без сервера
arXiv: 2610.17689v1 Аннонс Тип: новое резюме: бессерверные выводы появляются в качестве эффективной модели внедрения моделей большого языка (МЖЛ) благодаря его способности эластически масштабировать ресурсы, совершенствовать использование ГПСП за счет совместного использования ресурсов и сокращать расходы на инфраструктуру. Вместе с тем существующие подходы в первую очередь позволяют оптимизировать время для первого символа (TTFT) и при этом не учитывают межтоненную запоздалость (ITL), которая является ключевым фактором, определяющим опыт пользователей в процессе подготовки ответов. Мы отмечаем, что вывод LLM включает в себя стадию предварительного заполнения с интенсивным расчетом и этап декода с использованием пропускной способности, когда прием новых запросов может нарушить текущее расшифровку и повысить степень запоздалости. Для решения этой проблемы мы предлагаем Token Window Pacing (TWP) — систему составления графиков работы в закрытом режиме, которая позволяет использовать время обратной связи с МРЖО, глубину очереди и характеристики рабочей нагрузки для регулирования допуска запроса на уровне символа вместо уровня партии. ТРД динамическо корректирует саморегулирующееся окно символа и включает в себя предварительную подготовку на основе кусков
