ЭМ-альгоритм и метод механов в моделях софтмаксных смесях

arXiv:2409,09903v3 Annualce Type: заменить резюме: Softmax Mixture Models (SMM) являются дискретными моделями смеси компонентов в размере $K$ для вероятностей выбора одного из потенциальных векторов характеристик x_1, \ldots, X_p\in\mathbb {R} __L$ в разнородных группах населения и широко используются в эконометрическом и научном применении. В современных архитектурах LLM также имеются соответствующие механизмы мягких максимальных смесей. Мы проводим теоретическое и методологическое исследование по вопросам МРМ с уделением особого внимания алгоритму ожидаемого-максимализации (ЭМ) и методу действий (ММ). Мы показываем, что ЭМ восстанавливает атомы смеси с параметрической скоростью вплоть до логарифмических коэффициентов после итераций в $\mathcal {O}(log N) долларов при условии, что атомное разделение является как минимум заказом $log K$. Это улучшает условия разделения в рамках существующих анализов ЭМ для высокомерных гауссианских смесей. Мы также разрабатываем процедуры МО для оценки параметров и подпространственных параметров. Хотя оценки параметров MOM сходятся медленнее EM и могут ухудшиться при долларовом