На NLP/LLM собеседованиях все чаще проверяют не только знание трансформеров, но и понимание того, как устроены современные GPT-like модели: почему большинство генеративных LLM используют decoder-only архитектуру, чем LLaMA отличается от ванильного Transformer, зачем нужны RoPE, RMSNorm, SwiGLU и GQA. Почему инференс LLM дорогой и какие оптимизации помогают его ускорять: fused kernels, FlashAttention, KV-cache и PagedAttention, continuous batching, speculative decoding, квантизация и дистилляция. Много схем и картинок, а также полный список вопросов с собесов в конце. Читать далее
На NLP/LLM собеседованиях все чаще проверяют не только знание трансформеров, но и понимание того, как устроены современные GPT-like модели: почему большинство генеративных LLM используют decoder-only архитектуру, чем LLaMA отличается от ванильного Transformer, зачем нужны RoPE, RMSNorm, SwiGLU и GQA. Почему инференс LLM дорогой и какие оптимизации помогают его ускорять.
В этой статье - чеклист по архитектурам LLM и оптимизации инференса с картинками и схемами. Это не полноценная лекция с нуля, а тренажёр перед техническим интервью: пройтись по ключевым определениям, увидеть типовые вопросы и закрыть пробелы в формулировках.
Содержание:
- Современные архитектуры LLM и их особенности
Похожие статьи
Хабр
Хабр
Когда ИИ пора перестать верить учебнику?
Представим, что при запуске ИИ получает доступ к архиву тысяч предыдущих попыток: удачные методы, ошибки, споры, опровержения и нерешённые вопросы. Очевидно, что способность системы может расти, даже ...
Потом будет поздно: Ритуальный агент — о том, как не ошибиться с местом на кладбище
Руководитель и основатель Центра похоронных услуг «Вознесение» Елена Шевченко рассказала Life.ru, что важно учесть при выборе места на кладбище — как для себя, так и для своих близких. Первое, на что ...
FT узнала об ожидании инвесторов IPO Anthropic при оценке в $2 трлн
Инвесторы Anthropic рассчитывают на то, что компания проведет IPO уже осенью с оценкой в $2 трлн, пишет FT. В этом случае она обгонит SpaceX, которая в июне провела крупнейшее размещение в истории при...
