TurboPairFormer: Быстрая и стабильная модель протеина с оптимизированным Треугольником Внимание
arXiv: 2610,05854v1 Annualce Type: New Humber: Triangular measure — это базовая вычисления в биомолекулярных моделях типа AlphaFold3, с кубической стоимостью в символическом подсчете. Его общая парная сбой добавляет градиентное снижение по всем кусочкам внимания к обычному сокращению по сравнению с запросами и ключами. Мы исследуем, что эти сокращения можно преодолеть с помощью многократной рекомпьютации вероятности, атомов с плавающей точкой или полного хранения данных. Помимо этого, расчет мягких максимальных значений поправки в обратном направлении на основе результатов с округленной по направлению BF16 теряет количественную точность. Мы представляем TurboPairFormer, тройственную программу по привлечению внимания к NVIDIA Hopper GUS, которая касается обоих вопросов. Наш алгоритм отката ключей-параллельных плиток пересчитывает каждый случайный градиент для запроса, ключа, значения и паробитальных градиентов с использованием заказанных частичных сокращений для детерминистского накопления без атомных атомов или полного хранения баллов. Остаточная компенсация по результатам деятельности сохраняет приблизительную величину BF16
