Ошибки в определении количества: перспектива изменения концентрации

arXiv: 2603.043599v2 Тип уведомления: заменить перекрестное резюме: Квалификация может резко повысить эффективность моделей большого языка и зрения, но обычно приводит к снижению точности. В последнее время для уменьшения ошибки в квантизации после прохождения подготовки успешно применяются преобразования, связанные с сохранением функций (например, ротация, преобразование Хадамарда, масштабирование по каналу), однако принципиальные разъяснения остаются неясными. Мы анализируем квантизацию линейного слоя с помощью соотношения " сигнал-количественный шум > (SQNR), показывая, что в случае единообразной целых квадратов при фиксированной ширине бита SQPR разлагается на i) концентрацию весов и активаций (расстояние и разброс значений) и ii) согласование их доминирующих направлений изменения. Это свидетельствует о наличии практически осуществимого понимания: помимо концентрации - фокус большинства предыдущих трансформаций (например, вращения или Хадамар) - улучшение увязки между весом и активацией может еще больше уменьшить погрешность квантизации. Под влиянием этого мы введем блок Концентрацию-Алиг