Улучшает ли минимальный драйв гениализацию? Алгоритмическое разделение в Гроккинге

arXiv: 2610.11206v1 Аннонс Тип: новое резюме: Плоские ландшафты потерь уже давно связаны с улучшением обобщения в нейронных сетях. Однако его роль в качестве причинно-следственного механизма для обобщения является менее очевидной. Для понимания этого различия гректинг представляет собой уникальный тест: модели склонны подбирать наблюдаемые данные с использованием необщей структуры и остаются в этом режиме на протяжении длительных периодов времени, переходя к обобщению только при определенных условиях подготовки. В этой работе мы изучаем вопрос о том, могут ли плоские ландшафты потерь служить в качестве движущей силы этого перехода. Несмотря на то, что в ходе недавно проведенной работы было высказано мнение о том, что постоянство является необходимым геометрическим условием для такого перехода, мы считаем недостаточно склоняться к использованию льстких решений при помощи умения минимизировать остроту (САМ), чтобы надежно стимулировать этот переход, несмотря на наличие правильных решений. Однако, когда SAM в паре с механизмами, которые стимулируют обобщение, например гниль веса, появляется интересная собственность: MAM может ac