Вопросы размера: основа для чешских документов HTML

arXiv:2609.18494v1 Сообщение типа: новое резюме: создание универсальных высококачественных форматов веб-документов в условиях высокой интенсивности движения на промышленных предприятиях требует моделей, которые являются как эффективными, так и экономическими. Вместе с тем существующие подходы зачастую зависят от крупных моделей, игнорируют структурную информацию, присущую HTML, или ограничиваются короткими окнами контекста, что ограничивает их способность обрабатывать вебстраницы реального мира. Мы представляем HTML-LM, компактную модель фундамента с 154 миллионами параметров, которые устраняют эти ограничения посредством обучения на основе знаний HTМL и архитектуры на базе ModernBERT. Он был подготовлен на 100 миллионов веб-документов с использованием различных целей, включая моделирование языка в масках, прогнозирование мешка слов и контрастную дистилляцию из больших языковых моделей. В этой связи HTML-LM устанавливает новое современное положение в области классификации и регрессивных прикладных программ в чешском интернете, превысив как более крупные кодеры, так и малые МЛМ. Модель используется в продуктахi