Реклама

Как ML‑модели ломаются в продакшене и что с этим делать

#Jupyter #Notebook #Причина #Разбираемся #Data
Как ML‑модели ломаются в продакшене и что с этим делать

В Jupyter Notebook модель показывает отличный ROC‑AUC, а через пару недель в продакшене её предсказания становятся хуже случайного выбора. Причина может скрываться в признаке, который при обучении и инференсе рассчитывается по‑разному, или в изменившемся поведении пользователей. Разбираемся, как Data Drift, Concept Drift и ошибки в работе с признаками влияют на качество моделей и какие практики ML System Design помогают избежать подобных проблем. Разобраться в MLOps

Привет, Хабр!

Меня зовут Андрей Бирюков. Я — независимый эксперт в области ИТ и ИБ, преподаю в учебных центрах и пишу статьи и книги.

Существует фундаментальное заблуждение, которое преследует индустрию машинного обучения с самого её зарождения, заключающееся в том, что успех ML‑проекта определяется только качеством модели.

Но на практике всё не так просто, потому что подавляющее большинство моделей, показавших блестящие результаты в Jupyter Notebook, либо никогда не доходят до пользователя, либо деградируют в течение нескольких недель после запуска.