Глобальный Эмпирический NTK: самостоятельная предвзятость и значимость обучения по вопросам происхождения

arXiv: 2605.08746v2 Annualce Type: заменить резюме: при обучении нейронной сети с градиентным спуском (GD) каждая итерация вызывает линейного оператора, который регулирует обновление первого порядка к переменным внутреннего состояния модели. Мы называем этого оператора Global Empirical Neural Tangent Kernel (GeNTK). В конечных сетях GeNTK, как правило, не поддается формированию, что ведет к предварительной работе с акцентом на ограничительные параметры, такие как отслеживание только выходов или бесконечных границ. Здесь мы восполним этот пробел, изучая структуру ГНТК по многим моделям. Формируя модельное состояние в качестве решения глобального имплицитного ограничения, мы получаем GeNTK как продукт двух операторов: K, учет непосредственных взаимодействий между параметром и государством, и P, описывая внутренние зависимости от государства. Для широкого класса "моделей на основе веса", таких как RNN и трансформаторы, мы доказываем универсальную теорему Kronecker-core, показавшую, что K признает точную, передовую-компьютерную форму, полученную из матрицы Gram