Кэш-каша: прямая семантическая связь между МЛМ (2025 год)

Компьютерные науки > Расчеты и язык [представлен 3 октября 2025 года (v1), последний пересмотренный вариант 2 марта 2026 года (эта версия, v2)) Название: Cache-to-Cache: Прямая семантическая связь между крупными языковыми моделями Взгляд PDF HTML (экспериментальный) резюме: системы Multili-LLM используют дополнительные преимущества различных моделей большого языка для достижения результатов и повышения эффективности, которые не могут быть реализованы одной моделью. В существующих конструкциях LMS общаются через текст, вынуждая внутренние представления преобразовываться в символы вывода. Этот процесс теряет богатую семантичную информацию и влечет за собой символическую опоздание поколения. Под влиянием этих ограничений мы задаемся вопросом: могут ли МЛМ общаться не только с текстом? Эксперименты Oracle показывают, что обогащение семантики KV-Cach может повысить качество реакции без увеличения размера кэша, поддерживая KV/Kache в качестве эффективного средства межмодельной связи. Таким образом, мы предлагаем Cach-to-Cache (C2C) — новую парадигму прямой семантической связи между МЛМ. C2C использует нейронную сеть для проецирования и смешения кэша исходной модели с кешами целевой модели, чтобы создать возможность прямой семантичной передачи. Усвоенный механизм манипулирования выбирает целевые слои, которые получают пользу от кэш-сообщения. По сравнению с текстовой связью C2C использует глубокую, специализированную семантику из обеих моделей, избегая при этом явного…