Многие разработчики рано или поздно задумываются о том, чтобы перенести AI-ассистента к себе на локальную машину. Причины разные: корпоративные политики безопасности, нежелание "сливать" свой код в облако или просто спортивный интерес.
Если вы еще ни разу не пробовали развернуть оффлайн-референс, сейчас — самое время. Спойлер: вам не нужен суперкомпьютер. Если у вас есть 32 ГБ оперативной памяти и относительно свежее железо, этого более чем достаточно для комфортной работы.
В этой статье мы возьмем модель класса 20B (например, gpt-oss:20b). Звучит тяжело, но благодаря архитектуре MoE (Mixture of Experts) модель активирует только часть своих параметров для каждого токена, поэтому скорость генерации вас приятно удивит даже без топовой видеокарты.
А в качестве интерфейса мы будем использовать один из самых популярных и продвинутых плагинов для VS Code — Kilo Code App. Это мощный форк известного OpenCode (Continue), который включает в себя значительно больше изменений, новшеств и заточен под серьезную работу с агентами и тулами (tools).
