Как устроен агент: архитектура поверх LLM

Про архитектуру трансформеров написано уже немало, поэтому опишу работу LLM с прикладной точки зрения.

Контекст

На вход LLM подаётся блок текста, который называется контекстом. Размер контекста ограничен: когда всё начиналось, прорывом считались 32К, сейчас 1М — индустриальный стандарт.

На основе этого текста LLM генерирует его продолжение. Современные модели выдают логически законченный фрагмент (на уровне модели он завершается специальным токеном <stop>).