Компьютерные науки > Искусственный интеллект [представлен 14 сентября 2026 года] Название: Optimal Prunning for Neural Architectures с использованием Fisher Information View PDF HTML (экспериментальный) Резюме: Вводится новая схема для конвергенции параметров, разработанная на основе дифференциально-геометрического расстояния в пространстве модели. Очистка параметра определяет его значение до нуля, что представляет смещение модели в гиперповерхность, на которой этот параметр исчезает. Минимальное расстояние от нескрученной модели до этой гиперповерхности рассчитывается естественным образом по геодезическому расстоянию в пространстве модели, определяемому на основе информационной метрики Фишера. Это расстояние определяет подлинное изменение модели и ее эффективность под срезом. Путем постепенного анализа более верного приближения этого геодезического расстояния определяется естественная иерархия оптимального характера методов серфинга. Это начинается с традиционного сокращения масштабов, а затем превращается в новые более сложные и эффективные схемы. Этот метод продемонстрирован как для полностью подключенных сетей, так и трансформаторов зрения на MNIST и CIFAR-10, в полном диапазоне 0-100 долл. Она превосходит уровень параметров по величине и локальной информации Фишера в каждой рассматриваемой архитектуре и совокупности данных как с точностью, так и коэффициентом корреляции Мэтьюса. Кроме того, анализ различных уровней геодезической аппроксимации позволяет получить…
Оптимальная доза для нейронных архитектур с использованием расстояний информации Фишера
arXiv:2609.16129v1 Аннонс Тип: новое резюме: вводится новая схема срезки параметров, полученная на основе дифференциально-геометрического расстояния в пространстве модели. Очистка параметра определяет его значение до нуля, что представляет смещение модели в гиперповерхность, на которой этот параметр исчезает. Минимальное расстояние от нескрученной модели до этой гиперповерхности рассчитывается естественным образом по геодезическому расстоянию в пространстве модели, определяемому на основе информационной метрики Фишера. Это расстояние определяет подлинное изменение модели и ее эффективность под срезом. Путем постепенного анализа более верного приближения этого геодезического расстояния определяется естественная иерархия оптимального характера методов серфинга. Это начинается с традиционного сокращения масштабов, а затем превращается в новые более сложные и эффективные схемы. Этот метод продемонстрирован как для полностью подключенных сетей, так и трансформаторов зрения на MNIST и CIRFAR-10 в течение всего периода стыковки 0-100 долл. США
