Веб-ползание по серверу для данных о предварительной подготовке LLM

arXiv: 2610.13321v1 Annualce Type: New Humber: Web ползание является одним из основных источников данных, полученных в ходе предварительного обучения с использованием большой языковой модели (LLM), однако трубопроводы для отбора данных выбрасывают значительную долю страниц. Мы исследуем, как ползунок должен распределять свой бюджет между хозяинами и внутри них для сбора более качественных предварительных данных. Сочетание оценок качества документов, центральных показателей веб-графии и данных об общем ползучем ползении в каждом приёме мы видим, что примерно половина разницы в оценках классификации имеет место между хостами. В исследованных нами ползаниях несколько страниц от одного из носителей также дают полезную оценку качества остальных страниц. "Обычный ползок" использует гармоническое центральное значение, графическую ключевую метрику, чтобы управлять его распределением. В наших симуляциях использование центральной роли для выбора хозяек приносит ограниченные выгоды по сравнению со случайными заказами и хуже для некоторых классиков. Чтобы решить, как глубоко ползти по каждому носителю, отобрать несколько страниц и затем получить больше от хозяина