[Перевод] Мы могли бы изобрести трансформеры из памяти

Современные языковые модели могут запоминать нишевые факты из всех уголков мира. Недавно я опаздывал на вечер настолок у друзей, поэтому попросил Astra напомнить мне правила игры Dune: Imperium. Она с готовностью продиктовала мне их, пока я вёл машину, и это помогло мне вспомнить правила настолько, чтобы сыграть снова. Мы так привыкли спрашивать модели обо всём, что воспринимаем их обширные знания как нечто само собой разумеющееся.

Но как же модели запоминают такие объёмы информации? И какой объём они могут хранить?

В этом посте я понятным языком расскажу о линейных отображениях, MLP и самовнимании как о типах хранения памяти. Из этого понимания мы сможем вывести эвристики о том, какой объём памяти может храниться в каждом из слоёв.

Ключевое свойство, характеризующее качество хранилища памяти, — способность извлекать хранимое. В конце концов, даже если мы можем хранить бесконечное число фактов, это будет не особо полезно, если не получится извлекать их при необходимости. Чем больший объём памяти мы храним, тем сильнее он мешает извлечению информации. В этом посте мы рассмотрим одну величину — соотношение помех к сигналу, определяющее, насколько другие воспоминания препятствуют при извлечении информации. Количество воспоминаний, которое может содержаться в хранилище, прежде чем величина помех станет равной величине сигнала, называется ёмкостью.