Компьютерные науки > Машинное обучение [представлено 27 октября 2026 года] Название: SimpllexLoRA: Dynamic Rank Updatement through Applementation with Simperx Projection View PDF HTML (экспериментальное) Резюме: Успех крупных языковых моделей в реальных прикладных программах зависит от таких эффективных параметров, как адаптация с низким уровнем риска (LORA), которые включают компактные и поддающиеся обучению адаптаторы в отдельные слои. В этом документе мы предлагаем вариант SimedxLoRA, который адаптивно корректирует рейтинг адаптационного устройства во время его отладки с учетом приобретенной им важности. В отличие от стандартной LORA, в которой используется фиксированное звание по всем слоям, SimplexLora оптимистически корректирует веса для каждого адаптора на размер суперпрокс в долл. США во время короткого прогрева и затем заморозит их, динамическо распределяя пропускную способность там, где она наиболее полезна без увеличения общего бюджета параметров или затрат на выводы. Мы оцениваем SimperxLoRA в 12 лингвистических задачах понимания, суммирования и рассуждения с использованием DeBERTaV3, BART-mass, Llama 3.1 8B и Qwen3-8B. Наши результаты показывают, что SimperxLoRA последовательно соответствует стандарту LORA и последним адаптивным исходным условиям или превышает их, причем наибольшие успехи достигаются на низких ступенях. Наш код доступен на этом https URL. История представления от: Grigorii Davydenko [видеть по электронной почте] [V1] Tue, 27 октября 2026…
SimplexLoRA: Динамическое обновление рейтинга посредством сведение к минимуму с помощью проекции Simperx
arXiv: 261 030,37206v1 Annualce Type: New Humber Abstract: Успех моделей большого языка в реальных прикладных программах зависит от таких эффективных методов настройки параметров, как адаптация с низким уклоном (LoRA), которые включают компактные и поддающиеся обучению адаптаторы в отдельные слои. В этом документе мы предлагаем вариант SimedxLoRA, который адаптивно корректирует рейтинг адаптационного устройства во время его отладки с учетом приобретенной им важности. В отличие от стандартной LORA, в которой используется фиксированное звание по всем слоям, SimplexLora оптимистически корректирует веса для каждого адаптора на размер суперпрокс в долл. США во время короткого прогрева и затем заморозит их, динамическо распределяя пропускную способность там, где она наиболее полезна без увеличения общего бюджета параметров или затрат на выводы. Мы оцениваем SimperxLoRA в 12 лингвистических задачах понимания, суммирования и рассуждения с использованием DeBERTaV3, BART-mass, Llama 3.1 8B и Qwen3-8B. Наши результаты показывают, что SimperxLoRA последовательно соответствует стандарту LORA и последним адаптивным исходным условиям или превышает их.