Адаптация домена российского " ModernBERT &qt; для длинных правовых документов

arXiv: 2610,06715v1 Анонс: новое резюме: мы расследуем, улучшит ли продолжение предварительной подготовки по российским законодательным документам российской модернистки по правовым текстам. Адаптированная модель " Румодернберт ruLaw &qt; была подготовлена по корпусу, который, согласно сообщениям, содержит 304 382 законодательных документа и 194 425 905 жетонов. Значения символов корпуса отличаются от позиций, созданных типовым символиком. Мы сравниваем оригинальные и адаптированные кодеры на фиксированной внешней коллекции из 1031 сегмента судебных решений. Обе модели имеют одинаковые скрытые позиции в каждом из пяти замаскированных представлений. При максимальной длине ввода в 512, 2 048 и 8 192 символа среднее количество замаскированных перекрестных патрубков уменьшается соответственно на 0 10942, 0.07052 и 0,06604 натурально-логичных единиц. По сообщениям, 95% интервалов суммируют чувствительность к маскировке этой фиксированной коллекции; они не дают количественной оценки степени неопределенности в ряде документов. Вторая оценка касается извлечения юридических ценностей. Оригинальная и адаптированная мода