ИИ не смог заново открыть почти половину базовых алгоритмов информатики
Когда модели лишили возможности напрямую воспроизводить знакомые решения, 9 из 20 алгоритмов не удалось восстановить ни одной из 3 проверенных систем без подсказок
Большие языковые модели (LLM) пока испытывают трудности с самостоятельным восстановлением фундаментальных алгоритмов информатики, если подавить доступ к знакомым решениям. В работе "Can Large Language Models Reinvent Foundational Algorithms?" («Могут ли большие языковые модели заново изобрести фундаментальные алгоритмы?») авторы проверили 3 модели с открытыми весами на 20 алгоритмах. В условиях без подсказок 9 алгоритмов не удалось успешно восстановить ни одной из трёх систем. Результат указывает на разрыв между умением решать задачи с использованием усвоенных знаний и способностью самостоятельно находить базовые алгоритмические решения.
Для проверки авторы использовали метод «машинного забывания» — специальную настройку модели, которая подавляет воспроизведение определённых знаний, не требуя полного переобучения с нуля. После этого модели предлагали программные задачи, для решения которых требовался соответствующий алгоритм, и позволяли писать код на Python, запускать его и исправлять ошибки по результатам проверки. Среди примеров — алгоритм Дейкстры для поиска кратчайших путей в графе и алгоритм Евклида для нахождения наибольшего общего делителя. Важное ограничение эксперимента: «машинное забывание» не гарантирует полного удаления знаний,…
