Мы давно присматривались к локальному ИИ— своей, изолированной LLM без облачных API.
Зачем вообще запускать языковую модель локально, если есть облачные API вроде OpenAI или Anthropic? Как минимум три причины.
- Данные клиентов не покидают периметр — это важно, когда работаешь с кодом, который передаешь клиентам, или документами с персональными данными.
- Не нужно платить за каждый токен подписки.