Семантическое согласование ЭЭГ и текста: Противоположная основа обучения для декодирования воображаемой речи

arXiv: 2610.20.20766v1 Annuate Type: кросс-бюллетень: воображаемая декодация речи из ЭЭГ предлагает многообещающий путь к натуралистичным интерфейсам мозга и компьютера. Традиционные замкнутые классификации рассматривают семантические категории в качестве независимых ярлыков и не используют открыто связи между языковыми намерениями, ограничивая гибкость выпуска. Мы адаптируем мультимодальную противопоказательную систему обучения к воображаемой речи, увязывая испытания ЭЭГ с языковыми представлениями в месте размещения замороженного предварительно подготовленного текстового энкодера. Подготовка энкодера по ЭЕГ осуществляется с использованием комплексной цели, сочетающей в себе согласование семантически перевзвешенных ГЭО-составление и классовую дискриминацию на основе текстового прототипа, что способствует созданию семантической структуры при сохранении раздельности между 39 категориями намерений. Мы оцениваем подход, применяемый к чиско воображаемого набора речевых данных по пяти предметам: точность топ-к, макроF1 и сбалансированная двуличная точность (2v2). Мы также исследуем максимальное сходство ЭЭГ-текста косинуса (MaxCosine)