Разговор повторяется примерно раз в месяц, с небольшими вариациями.
— Мы за API платим уже прилично. Может, купим карту и будем гонять у себя? — Может. Сколько токенов в месяц жжете? — Ну... много.
Вот на этом месте всегда наступает пауза. Потому что «много» никто не считал, а без этой цифры весь разговор превращается в обмен ощущениями.
Я работаю CTO в ML-команде, у нас в проектах живут и локальные модели на своих картах, и облачные API, иногда в одном контуре. Считать, что дешевле, приходится регулярно, и я устал пересчитывать одно и то же. Поэтому сел и разложил все один раз целиком: цену часа собственной карты в рублях, пропускную способность по замерам, точку безубыточности против семи разных сервисов и полную смету года владения.
