Можно ли научить маленькую LLM учиться без роста весов? Замеры, баги и честная статистика

Это статья о двух месяцах исследовательской работы над одним вопросом: может ли языковая модель 3B накапливать компетентность не за счёт роста весов. Здесь есть числа, код и баги. Все результаты воспроизводимы: сиды, хеши и протоколы заморожены до прогонов.

- Доставка верифицированного решения похожей задачи в контекст 3B‑модели даёт +30 п.п. к решаемости (53% → 83%), повторено на 3 сидах

- Обучение на верифицированных решениях (LoRA‑дистилляция, 1 цикл) даёт β = +0.145 (CI95 [+0.0575, +0.250]) — эффект есть, но это одна точка, а не кривая

- Сейчас идёт эксперимент: 4 цикла переучивания × 2 траектории × 200 задач — первый замер формы кривой (рост / плато / затухание)