Реклама

Больше кандидатов — без прироста Hit@20: разбор эксперимента

#LightGBM #Проект #Coveo #Разобрать
Больше кандидатов — без прироста Hit@20: разбор эксперимента

В моей рекомендательной системе товары из последующих зарегистрированных покупок чаще терялись до ранжирования. Я увеличила квоты кандидатов из описаний и изображений: общий предел вырос с 300 до 370. Затем пересчитала признаки и переобучила LightGBM на прежних данных. На 625 сессиях с зарегистрированной целью покрытие кандидатов выросло с 66,24% до 68,96%, но попаданий в первые 20 стало 388 вместо 389. В статье показываю разбор потерь, условия эксперимента и решение сохранить исходный вариант — без заявления о его статистическом превосходстве. Проект построен на данных Coveo. Код и инструкция воспроизведения открыты. Разобрать эксперимент

В моей рекомендательной системе LightGBM выбирает до 20 товаров из набора до 300 кандидатов. Разбор промахов показал: товары из последующих зарегистрированных покупок чаще терялись до ранжирования. Я расширила отбор до 370 кандидатов и проверила, даст ли это больше попаданий.

Система построена на Coveo SIGIR eCOM 2021, Public Data Release 1.0.0 — обезличенных данных интернет-магазина о просмотрах, поисковых запросах и покупках. Её устройство разобрано в предыдущей статье, код — в RecSys-Coveo.

Где терялись целевые товары

Цель — товары из зарегистрированных покупок после рекомендации. Если хотя бы один из них оказался в первых 20, засчитываю попадание. Hit@20 — доля попаданий среди сессий с целью. Отсутствие записи о покупке не считаю промахом. Момент рекомендации, окно цели и правила допуска описаны во второй статье; здесь они не менялись.