Кратко: Я собрал локального ИИ‑ассистента на базе двух видеокарт по 12 ГБ. Система объединяет языковую модель с RAG, графовой памятью, MCP инструментами, голосовым вводом/выводом и доступом к локальной инфраструктуре. Ассистент обрабатывает документы, почту, календарь, Telegram, умный дом и рутинные рабочие процессы. Главный вывод: моделей на 9B–27B параметров уже вполне достаточно для задач такого класса. Локальная модель становится действительно полезной не тогда, когда догоняет облачные сервисы по «чистому интеллекту», а когда получает долговременную память, доступ к инструментам и возможность взаимодействовать с реальным окружением пользователя.
В сезон свободного времени появилась идея создать персонального AI‑ассистента, заточённого под мои личные задачи и стиль общения. Главное требование — использование исключительно локальных решений: все данные должны оставаться у меня, от корпоративных документов, до личной переписки. Второй не менее важный фактор — экономия. Облачные сервисы обходятся дорого и могут быть недоступными, поэтому система должна работать на собственном железе. Оба этих фактора довольно актуальны для большого числа пользователей.
Что нужно уметь персональному агенту‑ассистенту:
- умение работать с документами разных форматов, междокументный анализ идей и взаимосвязей, их графическое представление;
