Запрос-адаптивное нейронное управление для МЛМ

arXiv: 2610.14519v1 Тип уведомления: новое резюме: эффективное выявление возможностей крупных языковых моделей (МЛМ) в момент вывода остается важной задачей. В рамках существующих исследований эта задача решается с помощью контекстной инженерии, которая определяет запросы пользователей или стационарное рулевое управление, непосредственно влияющее на расчеты моделей. Вместе с тем предопределенные контексты и стратегии фиксированного вмешательства могут не в полной мере учитывать различные потребности отдельных запросов в знаниях и аргументации. В связи с этим возникает естественный вопрос: можно ли сделать внутреннее рулевое управление в МЛМ адаптированным к запросам? В рамках этой работы мы изучаем вопрос о том, могут ли внутренние активации, вызванные запросами, направлять адаптивное рулевое управление в МЛМ. Наши экспериментальные исследования выявляют модели активации нейронов в зависимости от предмета и слоя и показывают, что усиление связанных с тем или иным предметом нейронных процессов может улучшить эффективность моделей. На основе этих выводов мы предлагаем Q-NeuS, систему управления с адаптивным нейроном, которая динамическо определяет, какие нейроны должны модифицироваться и