Компьютерная наука > Расчет и язык [представлен 8 октября 2026 года] Название: One Model to Lop Them All: Elastic Latent Rexication for Language Modes View PDF HTML (экспериментальный) Резюме: Скрытая повторяющаяся модель языка применяется несколько раз, так что один контрольно-пропускной пункт может подсчитать точность путем изменения числа циклов. Однако на одном цикле такие модели обычно не соответствуют одноразовой модели одинакового размера - налогу одного уровня, который делает отдельную разовую модель более оптимальным выбором в тех случаях, когда имеет значение запоздание. Мы представляем Elastic Latent Recordance (ELR) — рецепт для тренировки петли языковых моделей без этого налога. На одном цикле модель ELR стоит того же, чтобы служить в качестве разовой модели одного размера и при подготовке на основе одних и тех же данных достигает аналогичной точности. Каждая дополнительная петля затем покупает больше точности для большего числа вычислений. Три варианта делают эту работу: вводное обновление состояния с усвоенным размером ступеней, переплетение петлей в рамках каждого обновления оптимизатора и выдерживание каждого патча на индексе цикла и бюджете. Первые две сохраняют точность в один замок, а третья уменьшает потерю на каждой дополнительной петле. В целях ограничения дополнительных расходов на подготовку можно вводить смешанные глубины, а при нулевом первоначальном кондиционировании в выключателе этот поздний график с нуля приводит к меньшим потерям по сравнению…
Одна модель для того, чтобы раскрутить их все: Эластичная Скрытая периодика языковых моделей
arXiv: 2610.12582v1 Annuales Type: New Habrit: Slan recurrent Language Model использует общий блок слоев неоднократно, так что один контрольно-пропускной пункт может заменить вывод на точность путем изменения числа циклов. Однако на одном цикле такие модели обычно не соответствуют одноразовой модели одинакового размера - налогу одного уровня, который делает отдельную разовую модель более оптимальным выбором в тех случаях, когда имеет значение запоздание. Мы представляем Elastic Latent Recordance (ELR) — рецепт для тренировки петли языковых моделей без этого налога. На одном цикле модель ELR стоит того же, чтобы служить в качестве разовой модели одного размера и при подготовке на основе одних и тех же данных достигает аналогичной точности. Каждая дополнительная петля затем покупает больше точности для большего числа вычислений. Три варианта делают эту работу: вводное обновление состояния с усвоенным размером ступеней, переплетение петлей в рамках каждого обновления оптимизатора и выдерживание каждого патча на индексе цикла и бюджете. Первые два сохраняют точность в одном углу, а третья уменьшает потери на