Всем привет! Меня зовут Муса. Наша команда занимается витринами данных по товарному учёту. Каждый день мы доставляем около 10 млрд записей в разных форматах. На этих данных строится различная аналитика, связанная с товарными запасами и движениями экземпляров. Перед нами встала задача: пять раз в день обогащать выгрузку из миллиардов экземплярных остатков дополнительными атрибутами для построения различного рода аналитики. История этих атрибутов уже измерялась десятками миллиардов записей. Первое решение выглядело просто: положить данные в ClickHouse и сделать JOIN. Но одна выгрузка считалась около 12 часов, а нам нужно было укладываться в десятки минут. В статье расскажу, про то, как мы смогли сократить время обработки примерно до 33 минут, про ключевой подход при работе с большими объёмами данных, а также попытаюсь донести важность локальности данных на примере реальной задачи. Читать далее
Всем привет! Меня зовут Муса. Наша команда занимается витринами данных по товарному учёту.
Каждый день мы доставляем около 10 млрд записей в разных форматах. На этих данных строится различная аналитика, связанная с товарными запасами и движениями экземпляров. Перед нами встала задача: пять раз в день обогащать выгрузку из миллиардов экземплярных остатков дополнительными атрибутами для построения различного рода аналитики. История этих атрибутов уже измерялась десятками миллиардов записей.
Первое решение выглядело просто: положить данные в ClickHouse и сделать JOIN. Но одна выгрузка считалась около 12 часов, а нам нужно было укладываться в десятки минут.
В статье расскажу, про то, как мы смогли сократить время обработки примерно до 33 минут, про ключевой подход при работе с большими объёмами данных, а также попытаюсь донести важность локальности данных на примере реальной задачи.
Похожие статьи
Российская газета
Российская газета
Как швейная фабрика в Мстиславле стала одним из индустриальных флагманов
Экономический потенциал белорусско-российского сотрудничества успешно реализуется не только на уровне промышленных гигантов и крупных административных единиц, но и раскрывается в малых районных центра...
Абсурд в законе. Собственник пытался вернуть свою землю, а стал обвиняемым
Известный спортивный деятель Яраги Гитаев стал фигурантом громкого судебного разбирательства после того, как его недвижимость попытались продать по поддельному паспорту. Мало того, вскоре он из истца ...
Как пестициды и фальсификат ставят российское пчеловодство под угрозу
Пчеловодство переживает кризис. Массовая гибель пчел из-за обработки полей пестицидами и наплыв фальсифицированного меда ставят отрасль на грань. В Красноярском крае из-за агрохимикатов погибло более ...
Москвичам объяснили, как и когда лучше менять батареи в квартире
Жителям столицы лучше менять радиаторы в квартирах в период с мая по сентябрь, чтобы не попадать на отопительный сезон, однако в случае срочной замены... РИА Новости, 13.08.2026
