Динамика вероятностности и подписания: распаковка модульного дополнительного обучения в двухрейных сетях

arXiv: 261.10.11833v 1 Annualce Type: New Humber: Neural Networks, обученные модульным дополнительным заданиям, часто разрабатывают структурированные Fourier представления в поддержку точной обобщения. Хотя в ходе предыдущей работы были выявлены эти схемы Фурье, механизм, с помощью которого обучение на основе градиента отбирает их из распределения данных, остается неясным. Мы рассматриваем этот вопрос с использованием вероятностных подписей, которые выражают основные градиентные взаимосвязи посредством условной статистики распределения учебных материалов. Для модульного добавления эти подписи являются циклическими операторами сдвига и диагонализованы дискретным преобразованием Fourier, что дает приблизительно разукрупненную динамику режима Фурье. Это объясняет появление спайдера Фурье, совпадение частот и фазовое согласование. Те же рамки решают головоломку под знаком шума: коррумпированные примеры могут продемонстрировать более быстрое сокращение потерь, чем чистые примеры, несмотря на отсутствие последовательного правила обобщения. Мы показываем, что шум увеличивает условный знак