Вступление
Добрый день, Хабр! В рамках основной деятельности — проектирования витрин данных в корпоративных хранилищах, — неизбежно сталкиваюсь с вопросом происхождения данных. Проще говоря, необходимо понять, кто и когда, как, из чего и в чьих интересах собрал попавшийся под руку датасет. Обновляется ли срез данных и есть ли у него пользователи? Для такого процесса в мире DWH давно укоренилось название «построить Data Lineage». Предлагаю вместе со мной еще раз пройтись по определению и попробовать его уточнить, так сказать, донащупать.
Определение как концепция
А зачем вообще заниматься донащупыванием? Разве нет точного определения? Есть. Однако хадэшная литература и интернет-ресурсы раскрывают понятие Data Lineage не более чем на концептуальном уровне. Суть определения составляет требование к метаинформации — быть источником сведений о родословной рассматриваемого объекта. Практическое наполнение концепции, будь то редкая монография, частная корпоративная разработка или вендорский инструмент, носит авторский характер. Системность остается за кадром. Этот факт значительно усложняет унификацию работы с Data Lineage, особенно, когда кто-то из заказчиков приходит с формулировкой: «А давайте мы все-таки его построим».
