Однажды мы решили сделать золотой датасет. Он был нам нужен для улучшения и масштабирования МВП, прошедшего пилот. Мы думали, что сделать его будет также просто как и МВП, и отправили первую версию в работу к нашим разметчикам.
Мы верили что это будет быстрое приключение на 15 минут туда и обратно (ведь мы хотели разметить всего 5000 диалогов), но никогда так не ошибались. Оказалось, что живые люди понимают ТЗ творчески, а я расскажу, с чем мы столкнулись, когда, наконец-то дождались своей разметки.
Первые шаги
Разметка данных — это процесс добавления меток к данным, впоследствии используемым для обучения моделей машинного обучения. Разметка необходима, чтобы модели могли различать классы объектов, выявлять закономерности и предсказывать результаты.