Разумное обучение в системе для толкования моделей большого языка

arXiv:2606.16939v2 Annuales Type: заменить перекрестное резюме: Заметным направлением исследований в механистической интерпретируемости является изучение ограниченных схем по компонентам LLM, чтобы показать, как они совместно производят модельное поведение. Однако сырые нейроны полисемантические, что затрудняет интерпретацию обучаемых цепей. Спарсе автоенкодер (SAE) это облегчает, но их высокая размерность делает существующие методы обучения на основе вмешательств, вычислительно недоступными. Мы предлагаем Circularso, масштабируемый подход к обучению по схеме на основе слабой линейной регрессии. Circuso восстанавливает схемы, структурная точность которых соответствует конструкционной точности современных методов вмешательства на основе исходных данных при определенной доле вычислительной стоимости. Для интерпретируемости CircuarLasso эффективно открывает связи между элементами SAE, демонстрируя то, как семантические характеристики, которые можно толковать для человека, распространяются через модель и влияют на ее прогнозы. И наконец, мы подтверждаем полезность нашего наученного цирка