Составьте таблицу: запрос калибрированного оператора для обучения в табло in-контексте

arXiv: 261.10.11784v1 Annuate Type: New Habrit: Tabular in-context Untering (ICL) стала бесплатной и точной парадигмой для табличных прогнозов, однако нынешние подходы к сжиманию своих примеров в тексте сталкиваются с компромиссом по точности пропусков: фиксированные подмножества могут жертвовать точностью, а пределы поиска по конкретным запросам могут повторно использоваться и группироваться между запросами, уменьшая пропускную способность. Мы предлагаем QCOC (Query-Calibrate Opertor Compication), который использует обмен и неоднократное использование примеров в тексте, скомпилируя их полный KV-каш один раз в компактную память, распространяемую во всех последующих запросах. Вместо того, чтобы сохранить исходные примеры, QCOC соединяет свои состояния в прототипы совместного KV-прототипов, сохраняет по каждому блоку мультипликации и первоначальное число примеров, а также калибрует значения прототипа с помощью векторов внимания, полученных при помощи примера внутриконтекста через закрытое решение. Прототип сжатия приводит к ускорению, в то время как привязка значения помогает сохранить аккумулирование