Интернализатор: Переносное картирование в контекст-параметр для очень больших языковых моделей
arXiv: 261.10.11715v1 Annuate Type: New Higendral: Giper Networks, которые набросают контекст непосредственно на адаптер LORA, позволяют большой языковой модели учитывать этот контекст в своих весах, но предыдущая работа показала их только на базовых моделях до 14 миллиардов параметров. Мы представляем Internationalizer, современную переносную гиперсетю картографирования с точки зрения контекст-параметров, которая генерирует специфические для документов адаптаторы LORA для замороженного 284B-paramemetre DeepSek v4 Flash, цель на два порядка величины больше чем в любой предыдущей работе. Большинство его параметров живут в танке модели-агноза, где только тонкие слои входов и выхода на основу модели, поэтому они дешевле обучаются небольшим моделям перед тем как быть портированными на большую модель. В невиданных документах, содержащих до 4096 жетонов, генерируемые адаптаторы достигают 84,9 процента топ-1 и 97,8 процента точности, связанной с учителями, против 63,4 процента и 83,5% для базовой модели, при этом в контекстном окне нет ничего, кроме трехсловной инструкции. После подготовки гиперсети, один передний проход