Реклама

ReCache: эффективное повторное использование и сжатие кэша KV для агентов LLM с инструментальным расширением

#ReCache #Анонсирован #Ресурсное #КВ-блоки #KV-head-group

arXiv:2608.19662v1 Анонсирован тип: новый реферат: модели агентных языков неоднократно кодируют схемы инструментов и навыков, которые повторяются по запросам в разных комбинациях и порядках, предотвращая кэширование стандартного префикса от повторного использования их состояний ключ-значение (KV).…