FlashBack: Эффективная модель языка с последующим возвратом для быстрого наступления
arXiv:2405,04065v5 Тип уведомления: заменить резюме: " Ретровалентно-усиливаемая модель языка (RALM) путем интеграции крупных языковых моделей (LLD) с соответствующими документами внешнего корпуса является доказанным методом, позволяющим LLM генерировать информацию за пределами его предварительного набора. Предыдущая работа с использованием извлеченного контента, просто предвосхищая его до ввода данных, создает проблему высокой продолжительности рабочего времени, что снижает эффективность выводов МЛМ, поскольку они не используют эффективно кэш " Кей-Валю (KV) &qt; . В этом документе мы предлагаем FlashBack — модульный RALM, предназначенный для повышения эффективности РАЗМ с добавлением контекстной схемы при сохранении достойных результатов после уточнения с помощью адаптации с низким уровнем риска. FlashBack apples извлечены документы в конце контекста для эффективного использования кэша KV вместо их предварительного оформления. И мы введем Маркировку Токена как два специальных знака для обозначения границы прилагающего контекста во время отладки. Наша экспресс
