Когда несбалансированность данных помогает: крепкая обобщенность через короткое вырезание

arXiv:2607.101116v2 Annualce Type: заменить резюме: мы изучаем надежную обобщению под ложными корреляциями: задачи, в которых функция сокращения времени соотносится с истинной этикеткой в тренировке, но связанной с антикором при состязательном разделе. Различая ложный коэффициент $r долларов (немного тренировочных примеров, где сокращение числа случаев = подлинная маркировка) и пропускную способность моделей, мы находим обратный результат: дисбаланс данных способствует обобщению в достаточно способных моделях. На синтетической задаче, где истинной этикеткой является суммарная паритет целой последовательности и короче - это равенство максимально ценного элемента, двухслойный трансформатор с двумя головами (дозвонил на 100%) в 0% семян при $r=0.50 долларов но 77 % семян при r { =}0,90 долл. США. Эффект отсутствует в однослойных моделях, где несбалансированность вместо этого ловит модель на коротком пути. С помощью механистического анализа -- градиентная динамика конфликта, циклическая эволюция и QK/OV абляции цепи — мы характеризуем механистический путь, состоящий из