Промпт не удержал медицинскую границу. Как мы добавили LLM-тренеру страж на регулярках

#Промпт #LLM-тренеру #ИИ-тренер #Когда #Рассказываем
Промпт не удержал медицинскую границу. Как мы добавили LLM-тренеру страж на регулярках

В 1trAIner ИИ-тренер отвечает спортсменам в чате, пишет планы и разбирает тренировки. В системном промпте с самого начала было правило «при боли и травме — к врачу». Когда мы оценили ответы по рубрике, медицинская граница получила 2,8 из 5. Рассказываем, почему промпт не удержал правило, как устроен страж на регулярках для трёх языков, почему \b не видит кириллицу и почему сама оценка моделью шумит на полтора балла. Читать далее

В 1trAIner ИИ-тренер отвечает спортсменам в чате, пишет планы и разбирает тренировки. Сервис информационный: диагнозов не ставит. В системном промпте с самого начала было правило «при боли и травме — к врачу». Мы считали вопрос закрытым, пока не начали проверять ответы на трёх языках.

Ниже — как мы нашли дефект, почему промпт его не лечит и что сделали кодом. С цифрами, в том числе неудобными.

Как нашли

Мы переводили продукт на английский и китайский. Для приёмки завели тестовые аккаунты и прогнали по десять сценариев на язык: план на неделю, тяжёлые ноги, запись веса, колено на спуске и так далее. Автоматическая проверка языка прошла 20 из 20.