Невральные сети являются более модульными, чем один нейроны предполагают

arXiv: 261.10.12842v1 Annualce Type: New Humber Abstract: Neural Networks регулярно разрабатывает представления, в которых отдельные нейроны вносят вклад в различные функции, что приводит к широко распространенному мнению о том, что таким сетям не хватает модульной организации. Мы опротестуем этот вывод, введя официально установленную иерархию модульности: уровень единицы, которая требует различных вычислений для того, чтобы занимать диссоциированные нейроны; ортогональный метод, который задается вопросом, обнаруживает ли ротация функционально независимые подпространственные пространства; и линейный, где возникает вопрос о том, может ли ограниченная линейная карта отделять расчеты, имеющие отношение к задаче, от независимых подпространств. Мы разрабатываем единую систему для изучения разложения на каждом уровне и оценки его причинно-следственной связи путем селективного абляции. В рамках моделей зрения, языковых моделей и многоцелевых периодических Нейронных сетей (RNN) мы обнаруживаем, что сети, которым недостает модульного уровня единиц, тем не менее часто демонстрируют четкую функциональную модульность на подпространственном уровне. В видении и языковых моделях, конт