Грязь или глядя? Как низкоскоростная скорость приводит к потере снимков

arXiv: 2605.06152v4 Тип уведомления: заменить перекрестное резюме: Глубокие нейронные сети демонстрируют периодические всплески потерь в ходе нерегулярного долгосрочного обучения, явления, известного как "Механизм смен". Настоящий документ доказывает, что это явление является результатом установления арифметических пределов точности в плавающей точке. По мере того как подготовка вступает в стадию высокой уверенности, разница между нормальным уклоном и другими логарифмами может превышать пороговый уровень поглощения. Затем в ходе обратного размножения градиент правильного класса округляется точно до нуля, тогда как градии неправильных классов остаются неизменными. Это нарушает ограничение градиента в нулевой сумме между классами и приводит к систематическому дрейфу при обновлении параметров слоя классификации. Мы доказываем, что этот дрейф представляет собой позитивный цикл обратной связи с этой характеристикой, вызывая глобальный классификатор и глобальное первенство