Нелинейность комплексного электрооптического внимания к трансформаторам

arXiv:2604.09512v2 Тип уведомления: заменить резюме: трансформаторы достигают самых современных результатов в языковой обработке и компьютерном зрение. Их вычисления все больше зависят от аппаратных средств, которые могут идти в ногу не только с большим умножением матричных значений, но и с такими нелинейными операциями как Softmax внутри основного механизма внимания. Что касается цифровых ускорителей, то на Softmax приходится лишь небольшая часть всех операций, однако она может оказывать несоразмерное воздействие на общую запоздалость. Здесь мы используем тонкие литиевые ниобаты Mach-Zehnder модуляторы (MZM) в качестве аналоговых вычислительных элементов для низколатного внимания Трансформера. Наши высокоскоростные нелинейности, основанные на внутренней синусоидальной реакции MZM, достигают эффективности вблизи цифровых исходных линий в Vision Transformers и GPT-2 даже при 4-битной входной и выходной квантизации. Экспериментально мы характеризуем реакцию электрооптического устройства с частотой действия символов до 10 ГБо и оцениваем надежность модели при соответствующих шумовых условиях. Акко