В этой статье мы рассмотрим открытые модели машинного обучения. Они не требуют обязательного подключения к интернету и подписки, никуда не передают ваши данные и достаточно компактные, чтобы их можно было запускать на ПК или ноутбуке. Эксперименты выполнялись на ПК с Core i5-14600, 32 ГБ DDR5 и RTX 3070Ti c 8 ГБ VRAM. Комментарии подготовлены экспертами лаборатории искусственного интеллекта российской ИТ-компании «Криптонит».
Быстрый старт
Есть множество оболочек для запуска моделей: Ollama, Open WebUI, GPT4All, Unsloth Desktop, AnythingLLM и десятки других. В качестве максимально простой и универсальной среды мы рассмотрим LM Studio Bionic для Windows. Она скачивается бесплатно и без VPN, устанавливается за минуту и не требует сложных настроек.
Локально — значит приватно!
