Форма избыточного содержания в методах атрибуции данных на основе градиента

arXiv: 2609.19589v1 Annualce Type: cross rectraview: Методы атрибуции данных с использованием градиентного сходства широко используются для анализа и отбора данных о подготовке моделей большого языка, но какие показатели градиентов на самом деле обсуждаются. Некоторые рассматривают его как определение навыков, имеющих отношение к выполнению задач, а другие участники работы сообщают о том, что основным фактором является поверхностная форма. Мы решим эту дискуссию на предмет контролируемой доработки примеров путем решения различных задач и представления ответов независимо друг от друга. Если говорить конкретно, то мы представляем контрольные показатели в различных форматах ответов таким образом, чтобы наборы данных могли совместно решать задачи без какого-либо формата или формата. Мы находим, что градиентное согласование соответствует формату ответа, поскольку пары контрольных показателей, разделяющие формат ответов, сильно сходятся (дезатенированный косинус около 0,4), в то время как те же контрольные показатели, которые были сделаны с различными классами в формате ответов, не показывают никакой согласованности (около 0.0). Мы демонстрируем, что этот приказ действует на самых ранних пунктах предварительного обучения в период после прохождения профессиональной подготовки и между типовыми шкалами и семьями