Симметрия разрыва - цена финита

arXiv:2610.36138v1 Annualce Type: New Humber Abstract: Если ротация проблемы никогда не изменит ответ, можно ожидать, что ее лучшая модель будет несрабатывающей; мы показываем, что она провалится прогнозируемо и на точную сумму в случае ограниченности возможностей. Симметрия группирует направление модели в блоки одинаково сильных направлений, симметричная модель должна использовать каждый блок целиком, и когда бюджет сокращает блок каждой оптимальной модели нарушает симметрию. Для гауссианской проблемы с двулинейным прогнозором в размере $k-c, цена логарифмической потери симметрии точно составляет $(U_K-I_k)/(2\sigma>2, сигнал наилучших направлений $K$ минус стоимость лучших целых блоков. Потому что голова внимания сравнивает символы с помощью сходства рангов в большинстве своих размеров головы, независимо от того, какие вычисления предшествуют ему, та же цена управляет головами, прикрепляемыми к симметричному сходству по квадратной ошибке, и головы тренируются таким образом на трехмерных направлениях разрывают симметрию точно прогнозируемого размера головы с предсказанным поворотом s