Компьютерные науки > Расчеты и язык [представлен 27 апреля 2026 (v1), последний пересмотренный вариант от 27 октября 2026 года (эта версия v2)) Название: " Применение через Causal Attribution serves Rasing Presentification Effective in Major Language Models View PDF HTML (экспериментальное рассмотрение): Большие языковые модели (LMS) превосходят многоэтапную аргументацию, но сопряжены со значительными затратами. Мы внедряем метод бесподготовки (CAP), который позволяет определить важнейшие головы внимания путем измерения их причинно-следственного воздействия на задачи по обоснованию и использовать эти оценки уровня головы для управления серфингом тонкозернистых весов. Для каждой головки, на которой внимание обращается, ПСД оценивает ожидаемую деградацию эффективности в случае маскировки головы во время переднего прохода при небольшом наборе проблем с калибровкой. Затем эти причинно-следственные показатели преобразуются в значения значимости по весу для соответствующих матриц прогнозов. В отличие от критериев, основанных только на величине или активации, измерение ПСД непосредственно отражает функциональный вклад каждой головы, что дает относительный прирост точности до 61% по сравнению с Вандой в ARC-Callenge при 20% упругости. Мы оцениваем ПСД по GSM8K, стратегииQA и ARC-Callenge с использованием Llama-3-8B-инструкции и Mistral-7B-руководство на 10%, 20% и 50%. При умеренной спаржи (10-20%) ПСД улучшает по сравнению с Вандой в большинстве моделей с особенно большими…
Причем при помощи каузальных атрибуций сохраняется разумная производительность в крупных языковых моделях
arXiv:2606.19350v2 Annuales Type: заменить резюме: Большие языковые модели (LMS) являются эффективными при многоэтапных рассуждениях, но сопряжены со значительными затратами на выводы. Мы внедряем метод бесподготовки (CAP), который позволяет определить важнейшие головы внимания путем измерения их причинно-следственного воздействия на задачи по обоснованию и использовать эти оценки уровня головы для управления серфингом тонкозернистых весов. Для каждой головки, на которой внимание обращается, ПСД оценивает ожидаемую деградацию эффективности в случае маскировки головы во время переднего прохода при небольшом наборе проблем с калибровкой. Затем эти причинно-следственные показатели преобразуются в значения значимости по весу для соответствующих матриц прогнозов. В отличие от критериев, основанных только на величине или активации, измерение ПСД непосредственно отражает функциональный вклад каждой головы, что дает относительный прирост точности до 61% по сравнению с Вандой в ARC-Callenge при 20% упругости. Мы оцениваем ПСД по ГСМ8К, стратегииQA и АРЦ-Проблеме с использованием Llama-3-8B-Guidance and Mistral-7B