За пределами IceBERT: открытые кодеры ModernBert для исландцев с 12М до 1В

arXiv:2610.36230v1 Annuate Type: New Humber: IceBERT, справочный энкодер для исландского языка, обнаружила, что очищенного веб ползания достаточно для подготовки сильной модели и что начало многоязычной модели может помочь в выполнении некоторых задач. Мы пересматриваем оба вывода с архитектурой ModernBERT. Мы обучаем исландских кодировщиков от 12М до 1В параметров 9B символам открытых данных, а также перепроверим контрольные показатели IceBERT и пять новых задач для 30 кодеров в рамках одного протокола с надежными интервалами. Наша модель 1B, тренированная с нуля, по нашим знаниям первый моноязычный исландский энкодер такого размера, значительно лучше чем IceBERT во всех 11 задачах; теплое начало от английского заказчика Эттин той же формы имеет лучший балл для всех кодировщиков в каждой задачи нашего ранга. Поскольку наши формы модели соответствуют английским кодерам Эттин и многоязычным ммBERT, мы также можем проверить запуск тепла в контролируемых условиях на шести размерах моделей и четырех символических бюджетах. С нашим словарным пересадкой, теплой