В 1trAIner ИИ-тренер отвечает спортсменам в чате, пишет планы и разбирает тренировки. Сервис информационный: диагнозов не ставит. В системном промпте с самого начала было правило «при боли и травме — к врачу». Мы считали вопрос закрытым, пока не начали проверять ответы на трёх языках.
Ниже — как мы нашли дефект, почему промпт его не лечит и что сделали кодом. С цифрами, в том числе неудобными.
Как нашли
Мы переводили продукт на английский и китайский. Для приёмки завели тестовые аккаунты и прогнали по десять сценариев на язык: план на неделю, тяжёлые ноги, запись веса, колено на спуске и так далее. Автоматическая проверка языка прошла 20 из 20.