Переносные субстраты для производства LLM

arXiv: 2609.06128v1 Annuales Type: New Express: Production LLM-агенты выполняют петли вызова инструментов, цепочки поиска и составные рабочие процессы в нескольких режимах, однако выполнение семантики часто сопровождается одним запуском. Мы столкнулись с проблемой переносимости в Руфусе, в разговорном помощнике АИ с большим каталогом инструментов, который обслуживает миллионы клиентов Амазонки. Руфус поддерживает работу в режиме реального времени, асинхронные справочные задачи и большой объем работы по обработке партий, такой как оценка и подготовка контента. Каждый вид транспорта имеет отдельные цели уровня обслуживания и, как правило, использует отдельный график работы. Переиспользование оркестров потоков делает асинхронный и пакетный объем работы блокирующими и предотвращающим использование результатов анализа партии API, которые предлагают 50-процентную скидку по опубликованным ценам. Мы представляем обязательную платформу для исполнения агента, которая отделяет определение рабочего потока от субстрата. Разработчики определяют рабочий поток один раз как набранный график потока данных. Платформа составляет график в рамках процесса s