Могут ли крупные языковые модели вновь создать основные алгоритмы?
arXiv: 2604.05716v2 Annuales Type: заменить резюме: MLM продемонстрировали большой потенциал для продвижения научных открытий. Однако остается открытым вопрос о том, обладают ли они потенциалом для фундаментальных инноваций. В этой работе мы сосредоточимся на предпосылке фундаментальной инновации: \текстит {CAN LMS изобретает базовые алгоритмы в компьютерной науке?} Мы используем методы отучения LLM для подавления прямого отзыва целевого алготипа и позволяем модели объяснить остающиеся знания, чтобы восстановить его. Несмотря на то, что необучение не гарантирует полного удаления знаний, МЛМ не могут восстановить почти половину алгоритмов цели. В частности, даже сдерживание упоминания имени алгоритма во время декодирования без изучения делает скорость восстановления моделей резко падать (19-39/%), что предполагает их чрезмерную зависимость от запоминаемых знаний. Мы отмечаем, что извлекаемые алгоритмы обычно просты по структуре или основным идеям, в то время как другие менее простые. Мы также введем генерати.
