Что происходит с трансформаторами и государственными космическими моделями?

arXiv:2609.16537v1 Annualce Type: New Humber: Transformers and State-Space Models (SSM) — две доминирующие семьи последовательности моделей, и центральный открытый вопрос заключается в том, насколько аналитические знания, созданные для трансформаторов, переносятся на SMS. Мы решим эту проблему сквозь призму значимости слоя, которая лежит в основе сжатия, селективной доработки и интерпретируемости между двумя семьями. Мы делим значение слоя на два разных понятия. mode mhaph {fault} фиксирует, насколько предготовленная модель зависит от существующего вклада слоя, измеряемого увеличением потерь в обход него. mph {Plasticity} регистрирует место, где модель поглощает новую информацию во время усовершенствования, измеряемую масштабом обновления веса конкретной задачи. Наш анализ показывает, что эти две семьи ведут себя по-разному: в каждом оцениваемом остаточном трансформаторе до 14 долл.