EigenLI: спектральные приспособления для последующего взаимодействия

arXiv: 2609.07561v1 Annualce Type: cross Brieft: Rector-review: модели с запоздалым взаимодействием, такие как ColBERT, достигают высокой эффективности путем представления каждого документа многими векторами символического уровня, но эта экспрессивность приводит к значительной стоимости индексации, следам хранения и дорогостоящему баллированию MaxSim. Мы показываем, что в представлениях о запоздалом соперничестве присутствует структура низкого ранга: символы, размещаемые в низкомерном подпространстве, которое сохраняет большую часть сигнала поиска. Используя это наблюдение, мы введем AigenLI — спектральную аппроксимацию, которая сжимает представления о запоздалом взаимодействии через низкомерные подпространства по конкретным документам. В отличие от методов группирования или объединения, EigenLI определяет доминирующие эигендирекции каждого документа и использует их для построения ограниченного представления взаимодействия. Эмпирически, $k-EigenLI с показателем k * 32 долл.