Flash RNN-T: Совместная сеть памяти и эффективности и расчет потери провайдера

arXiv: 2610.23409v1 Annualce Type: New Humber Abstractive: Периодический нейронный трансдуктор (RNN-T) остается практическим выбором для распознавания речи, но тренировка требует больших промежуточных дюймов. Мы представляем Flash RNN-T, совместное осуществление и реализацию в случае потери, сочетающее специализированные ядра с факультативным перекомпьютером по всему регулировочному пространству и словарю. Завязанный и дополняемый Флэш представляет собой весь измеряемый уровень пропускной способности при средней и большой нагрузке. На H100, до того как Флэш достигнет 24-39% более высокой пропускной способности при 26-56% меньше памяти чем самый быстрый исходный показатель в этой работе где бы он ни подходил. Привязка еще больше уменьшает память благодаря повторной компьютеризации. В среднем, решетчатый Флэш использует в девять раз меньше памяти чем эта базовая при 16% более низкой пропускной способности, когда оба используют один обратный вызов за партию. В конце концов, она подходит под все испытанные альтернативы с тем обратным графиком, что заканчивается памятью 80 ГБ. В этих сопоставлениях используется самая низкая конфигурация каждого проекта, достигающая