LiteTopK: Эксплуатация Проклятия измерений для ядро сложенного индексера-Топка в длинноконтексте

arXiv:2607.176 v4 Annuales Type: заменить резюме: Indexer-TopK, который вычисляет и выбирает кандидатов с верхних чисел в долл. США, является ключевым примитивным элементом длинноконтекстного слабого внимания к крупным языковым моделям и поискам векторов для систем рекомендаций и баз данных о переносчиках. Однако существующие ядра, основанные на GPU Indexer-TopK, такие как DeepSeek Sparse Election (DSA), обычно отделяют очки от выбора и материализуют полную матрицу баллов в высокодиапазонной памяти. Эта стратегия неэффективна для матриц больших баллов, таких как те, которые встречаются в длительном тексте, из-за чрезмерного глобального движения, дорогостоящей синхронизации и непомерно высоких накладных расходов на память. В этом исследовании, мотивированном проклятием масштабности, мы отмечаем, что малое внимание проявляется в явлении концентрации, а оценки попадают в узкий диапазон. Исходя из этого наблюдения, мы предлагаем LiteTopK - эффективное ядро сплавленного индексера-Топка. LiteTopK представляет собой небольшой поднабор данных для оценки запроса-da