Матрьошка Хаш (Matryoska Hash) представительств для семантического ретриваля, посвященного типовому соглашению

arXiv: 26009,0727676v1 Annuales Type: кросс-бюллетень: Retrieval-Augmented Generation (RAG) зависит от плотного поиска: каждый документ хранится как вектор знаний, и на вопрос дается ответ, когда он находит своих ближайших соседей в этом пространстве. Сохранение одного вектора полной точности на документ является доминирующей стоимостью индекса в шкале корпусов, так что системы поиска заменяют каждый вектор коротким кодом из нескольких байт - шаг под названием квантизация. Стандартные квантизеры, такие как квартизация продукта (Q), выбирают код, который наиболее близко восстанавливает первоначальный вектор. Единый код является еще более полезным, если он обслуживает несколько байт-бюджетов одновременно: когда его короткие префиксы могут быть непосредственно найдены, развертывание может установить свою эффективность - качественный операционный пункт без перекодирования состава. Но тренировка всех префиксов под одной целью делает первые биты компромиссом между бюджетами - короткие коды улучшаются, в то время как полный код деградирует. Количественная оценка представления с низким коэффициентом, например двоичных кодов