Продолжительность Генерализации для трансформаторов через компрессию

arXiv: 2609.08851v1 Annualce Type: New Humber Brieflow: Последние достижения в теории обобщения трансформаторов позволяют нам надежно предсказывать, когда трансформатор может научиться решать задачу. В частности, гипотеза C-RASP (формализованная версия так называемой РАСП-л догадки) указывает на то, что трансформаторы имеют большую длину по задаче, если и только в том случае, когда решение является экспрессивным в языке С-РАСП. Хотя эта гипотеза имеет мощную эмпирическую проверку, теоретические проблемы возникают в связи с тем фактом, что для C-RASP не существует пределов обобщений расчетной длины наряду с открытием кажущихся противоречивыми экспериментов. Для решения этих проблем мы уточняем гипотезу С-РАСП с использованием недавно предложенных фрагментов C-RASP+ и С-RAP1. Эти фрагменты имеют расчетные границы обобщения, хотя в худшем случае требуется чрезвычайно большой (двойной экспоненциальный) размер пробы. Остается открытым вопрос о том, являются ли эти пределы размера выборки жесткими. В этом документе мы решим эту проблему.