Магистранты ИТМО создали для IT Imperial прототип ИИ-сервиса, который может сократить ручную разметку видео на 80%
Магистранты AI Talent Hub ИТМО создали для компании IT Imperial прототип сервиса, который превращает видео с действиями человека в черновик разметки для обучения роботов. По оценке компании, ручная обработка короткого ролика занимает 15–30 минут. Во внутреннем тесте прототип примерно за 1 минуту подготовил черновик разметки 30-секундного ролика, а человеку потребовалось ещё около 3 минут на проверку и исправления. Об этом CNews сообщил представитель AI Talent Hub ИТМО.
Для обучения робота видео превращают в последовательность шагов: отмечают границы действий, объект и ключевой кадр. Praxis автоматически готовит такую разметку, а специалист проверяет её на временной шкале, исправляет отдельные поля и выгружает данные. В отдельном эксперименте команда сравнила разметку с нуля и проверку автоматического черновика в одном редакторе. В одинаковых условиях работа с черновиком оказалась в 2,2 раза быстрее. Прогноз модели и правки человека хранятся отдельно, чтобы пересчитывать качество и использовать исправления для дальнейшего обучения.
Команда проверила 30 конфигураций. В итоговой схеме одна модель находит смену действий, а другая определяет действие и объект. Такое разделение позволяет отдельно настраивать временные границы и распознавание содержания. Окончательную разметку подтверждает специалист.
