Тишина и затраты: определение характеристик и выявление случаев неадекватной интеграции в агентах ЛМЗ

arXiv: 261 030,34817v2 Annuales Type: заменить перекрестное резюме: услуги большой языковой модели (LLM) обрабатывают массивные объемы запросов пользователей, что приводит к значительным затратам на выводы. Для сокращения как затрат, так и задержек поставщики услуг ввели быструю засаду. Вместе с тем правильное интегрирование быстрых кэшов не является тривиальным из-за неоднородности ИПЦ для конкретных поставщиков и постоянного развития семантики. Для того чтобы понять, как быстро испорчена интеграция в прикладных программах низового уровня, мы проводим первое эмпирическое исследование 120 заявок на быстрое вытягивание из 10 популярных систем агентов с открытым исходным кодом. Наши выводы свидетельствуют о том, что неправильная интеграция происходит как при неправильном учете запросов и ошибок в использовании чтения. Что еще более важно, большинство неудачных процессов интеграции не удается безмолвно избежать видимых сбоев в работе. Исходя из этих выводов, мы проектируем CACHELINT, который моделирует быструю неудачную интеграцию в качестве объекта для ссылки вместе с предварительными условиями, необходимыми для исправления c