ProtmodernBERT: Вычисление и эффективное моделирование языка протеина
arXiv: 2610.10.19738v1 Annualce Type: New Humber Abstract: Models Крупные белково-язычные модели обеспечивают мощную основу для изучения связей последовательности и функций и руководства экспериментальным дизайном. Однако архитектурные усовершенствования недостаточно изучены, особенно в низкоэффективных режимах, которые актуальны для исследовательских лабораторий с ограниченными ресурсами. Мы показываем, что расходы на подготовку трансформаторов только для энкодеров можно снизить за счет использования современных архитектурных усовершенствований, которые могут стать обнадеживающими с точки зрения производительности/вычисления эффективности. Мы представляем ProtModernBERT, модернизированную модель в стиле BERТ, предварительно обученную последовательности аминокислот и сравниваем ее с Протбертом, Амплитиром и ЭСМ2 в рамках ряда контролируемых структурных задач - всеобъемлющий вторичный структурный прогноз прогнозирования, предсказание расстройства и подклеточная локализация - и нулевой функциональный контрольный параметр ПротеинГим. Мы считаем, что ProtModernBERT соответствует или тщательно отслеживает исполнение Amplify-120M и Протберта с 80-90/% редукцио