ReCache: эффективное повторное использование и сжатие кэша KV для агентов LLM с инструментальным расширением
arXiv:2608.19662v1 Анонсирован тип: новый реферат: модели агентных языков неоднократно кодируют схемы инструментов и навыков, которые повторяются по запросам в разных комбинациях и порядках, предотвращая кэширование стандартного префикса от повторного использования их состояний ключ-значение (KV).…