Длинноконтекстовая демонстрационная выборка с использованием государственных космических моделей

Компьютерные науки > Машинное обучение [представлено 15 сентября 2026 года] Название: Dond-Context Demotion Action с использованием государственной космической модели HTML View (экспериментальный) Резюме: Мы изучаем проблему демонстрационного отбора, что предполагает выбор подмножества примеров для предварительного запроса на языковую модель. Эта проблема тесно связана с изучением в тексте и выводом из языковой модели. Поскольку стоимость построения модели трансформатора четырехкратно зависит от длины последовательности, проблема выбора становится особенно сложной в долгосрочном сценарии. В настоящем документе мы занимаемся решением этой проблемы, опираясь на государственные космические модели (SSM), которые требуют лишь линейного вывода времени с учетом входных данных. Наш подход включает два алгоритма. Первый из них изучает небольшой набор SSM через дистилляцию (подготовленной) трансформаторной модели. Мы разделим все слои на группы. Затем для каждой группы мы оцениваем отдельную космическую модель состояния, чтобы воспроизвести поведение вход-выпуск в соседних слоях. Во-вторых, мы картируем результаты дистиллированной модели на небольшой набор символов и применяем эти вставки для демонстрационного отбора в прикладных программах внизу. Мы проводим обширные эксперименты как в синтетических, так и реальных наборах данных для подтверждения нашего подхода. Мы показываем, что дистиллированная SSMS имеет аппроксимацию менее 0,7% от реальной величины. США и повышает точность на…