Ранние подписки о запоминании в дисфузионных моделях с помощью геометрии бассейна и циклической денозиации

arXiv: 2610.11670v1 Аннонс Тип: новое резюме: модели диффузии обобщают на ранних этапах обучения и затем воспроизводить отдельные учебные образцы. Стандартные тесты обнаруживают запоминание только после того, как одноразовое поколение производит около копий, оставляя выпущенную модель непроверенной до тех пор, пока ее результаты не откажутся. Мы показываем, что запоминание кодируется в геометрии изученного энергетического ландшафта до того как оно появляется в собранных образцах - состоянии, которое мы называем латентным запоминаниям. Используя расхождения в оценках и объем бассейнов, мы обнаруживаем, что локальные бассейны образуются вокруг учебных образцов и отделяют их от проб, хранящихся на запомненной основе до появления первой пробы с началом, которое следует тому же масштабу в $O(n) долл., как время запоминания. Мы проверим эти бассейны циклически денозирующими, которые часто применяют частичный ноутинг и денузу. Под точным эмпирическим показателем мы доказываем, что велосипедное движение началось рядом с изолированной выборкой тренировок восстанавливает его и возвращается к нему в течение любого ограниченного числа циклов с высокой вероятностью. В Трэ