Непараметрическое внутриконтекстовое обучение в условиях растущей геометрической сложности: минимаксная оптимальность и локальная геометрия-акадентность трансформаторов
arXiv: 26009,31458v1 Annualce Type: New Habstrate: Transformers стали центральной архитектурой для изучения in-context (ICL), в частности благодаря своим современным представлениям на больших языковых моделях. Этот успех стимулирует понимание того, каким образом трансформаторы используют в…