Коллективная динамика самоподкрепления: Как перекрестное взаимодействие движет политикой в неконтролируемых РЛВР

arXiv: 261 030.37553v 1 Annuales Type: New Humber: Free-Rapporting Upduction with поддающееся проверке вознаграждение (RLVR) награждает языковую модель за согласие с собственным большинством голосов. Она улучшает рассуждения сначала, но в конце концов рушится: самооцененная награда идет к одному, а точность снижается часто до тех пор, пока модель не даст одинакового ответа на каждую проблему. Коллапс появляется только в тех случаях, когда обучение сопряжено с многочисленными проблемами. Мы объясняем эту зависимость от массива данных как коллективную нестабильность. В улаженной многопроблемной модели, в которой проблемы делятся параметрами, население, чьи проблемы предпочитают разные ответы, усиливает любое общее возмущение до тех пор, пока среднестатистический градус населения в размере $\langle F'rgle долларов от одного проблемного дрифта самовосстановления в долл. США является положительным. Это продолжается, пока проблемы в отношении их ответов остаются неопределенными. Заострение на каждой проблеме, замедление роста на 1 долл. США/н. долл. для решения проблем в области профессиональной подготовки в размере $N, борьба против совместного режима, который растет по курсу $\пропто#ламбда2 долл.