Компьютерные науки > Искусственный интеллект [представлен 12 октября 2026 года] Название: The Sharp Directs Are Against Your: Curvature Analysis of Actionation Government View PDF HTML (экспериментальный) Резюме: Активация рулевого управления добавляет вектор к внутреннему представлению модели языка во время вывода. Это легкая альтернатива отладке для контроля за поведением. Стандартная конструкция, контрастное добавление активации (CAA), хрупкая, так как на многих вводимых данных она меняет поведение не в том направлении. Чтобы объяснить эту хрупкость, мы сначала изучаем геометрию вектора управления. Мы введём рулевое управление Гессиана, матрицу второго порядка производной поведенческой потери модели по отношению к рулевому векторам. Он отражает чувствительность реакции модели к выходному поведению под небольшими возмущениями вектора рулевого управления в каждом направлении. Его верхние эйговидители - это острые направления: крошечные возмущения вдоль них могут вызвать большие, нестабильные и зависящие от ввода поведенческих перемены. Нижние зависти - это плоские направления: поведение вдоль них прочное. Удаление острого компонента рулевого вектора приблизительно сохраняет направление и величину (косину > 0,974, нормальное сокращение <3% для типичных параметров) при одновременном сокращении направления вектора до 12x (средний 4 x на 36 условиях). Мы оцениваем три модели семейства (Qwen2.5-7B, Llama-3.1-8B, Mistral7B) с четырьмя поведенческими задачами и 36 символических…
Острые направления против тебя: анализ кривизны управления активацией
arXiv: 2610.16084v1 Annuales Type: New Habstratement: Activation рулевое управление добавляет вектор к внутреннему представлению модели языка во время вывода. Это легкая альтернатива отладке для контроля за поведением. Стандартная конструкция, контрастное добавление активации (CAA), хрупкая, так как на многих вводимых данных она меняет поведение не в том направлении. Чтобы объяснить эту хрупкость, мы сначала изучаем геометрию вектора управления. Мы введём рулевое управление Гессиана, матрицу второго порядка производной поведенческой потери модели по отношению к рулевому векторам. Он отражает чувствительность реакции модели к выходному поведению под небольшими возмущениями вектора рулевого управления в каждом направлении. Его верхние эйговидители - это острые направления: крошечные возмущения вдоль них могут вызывать большие, нестабильные и зависящие от ввода поведенческих перемены. Нижние зависти - это плоские направления: поведение вдоль них прочное. Удаление острого компонента вектора рулевого управления приблизительно сохраняет его хрустяк