Внимание к гауссианским смесям: линейное, когда оно может быть сделано, избирательное, когда необходимо

arXiv: 2610.11798v1 Annuate Type: New Habstractive: Softmax внимание в центре трансформеров продемонстрировали замечательные способности. Тем не менее его основополагающие механизмы остаются лишь частично понятными. Недавние теоретические исследования Gaussian supps, в которых бесконечно-скоростное ограничение уменьшает мягкий максимум внимания к линейной карте, но также удаляет выбор, зависящий от запроса, который отличает его от линейного внимания. В ходе этой работы изучается бесконечное быстродействующее ограничение мягких максимальных значений внимания к гауссианским смесям, которые сохраняют регулировку данных Гауссии при одновременном внедрении скрытой структуры, мультимодальной и нелинейной зависимости. Мы показываем, что мягкий макс. внимание может представлять собой оптимальные решения целого ряда статистических задач с использованием градиентных методов и изучать их, включая контролируемую классификацию и денонсацию. Наши результаты свидетельствуют о двух взаимодополняющих возможностях мягкого максимума внимания: он может восстановить линейные задачи так же эффективно, как и его более простой линейный контрагент, используя также запрос-