Мяч и коробка: две геометрии вычислений в суперпозиции

arXiv: 2610.11744v1 Аннонс Тип: новое резюме: Нейронные представления могут кодировать больше характеристик, чем они имеют размеры - явление известное как суперпозиция. Мы изучаем измерение, необходимое для вычисления ворот Булеана из таких представлений. Для единого порогового слоя с гауссианским случайным словарем и равномерно случайными случайными булевыми вложениями мы вычисляем резкие пороговые значения размеров при двух критериях погрешности. Исчезающее ожидаемое число ошибок может потребовать больше размеров, чем правильность каждого вывода с высокой вероятностью. Разъяснение этого пробела объясняется общими текстами: редкие достижения могут привести к многим ошибкам одновременно. Предпорог ожидаемого числа имеет геометрию шара, в то время как географическая надежность суставов - геометрия коробки при оценке входной части на каждой определённой оси. Оптимизация общих весов считывания и отклонений дает четкие пороговые значения для соединения, разглашения и большинства. В случае спаренных связей анализ также описывает переход к пороговому уровню в соответствии с точными моделями.