SPD-MetaFormer - это то, что нужно для расшифровки мозга с небольшими данными

arXiv:2610–2052v1 Annualce Type: кросс-бюллетень: Декодирование сигнала мозга сопряжено с трудностями, поскольку нейронные записи шумят и различаются в зависимости от отдельных лиц, а помеченные данные часто ограничены. Тем не менее последние модели, основанные на учете симметричного позитивного ряда (СДП), позволили добиться высоких показателей с использованием ковариантов и представительства связи, однако по-прежнему остается неясной роль накопленного символического взвешивания. Мы изучаем две репрезентативные архитектуры: Мэтт (на основе геометрии log-Euclidean) и GBWATТ (основанные на общей геотермии Bures-Wasserstein), а также обнаруживаем, что полученные ими результаты остаются близки к однородным весам после обучения. Мы соотносим это поведение с ограничёнными параметризацией сходства, которые при первоначальном мягком максимальном масштабе ограничивают контраст между вниманием и весом. Кроме того, замена приобретенных весов единообразными весами на протяжении всей подготовки и оценки мало влияет на среднюю прогнозную эффективность при сохранении первоначального агрегирования каждой модели