BioBigBird: Модель разрозненного внимания для обработки данных о зависимости на большие расстояния в биомедицинском тексте

arXiv:2610.11430v1 Annuate Type: New Humber Abstract: Хотя модели Большого Языка (LMS) для конкретного домена закодировали обширные биомедицинские знания, их ограниченные окна контекстов часто препятствуют глубокому пониманию нюансируемых взаимоотношений внутри и между текстами. Для устранения этого ограничения мы введем BioBigBird, двухнаправленную языковую модель, предварительно обученную обширной биомедицинской литературе и клиническим данным, специально предназначенную для обработки зависимости на большие расстояния. BioBigBird использует механизм с ограниченным вниманием для обработки последовательности до 4 096 символов, и его подготовка включает многоэтапный процесс снижения шума от крупномасштабного предподготовительного корпуса. Мы далее повышаем эффективность ее работы путем использования многоцелевой системы обучения (МПЛ), которая совместно оптимизирует процесс распознавания и извлечения информации о названных образованиях. Всеобъемлющие оценки контрольного показателя БЛЮРБ свидетельствуют о том, что наша биобигбердная компания с повышенным уровнем выбросов ТЛ добивается весьма конкурентоспособных результатов в сравнении с современными моделями. Наша работа