Два самых старых файла технического SEO — robots.txt и sitemap.xml — обросли ритуалами, как ни одна другая часть дисциплины. Их копируют с чужих сайтов, «настраивают» генераторами приоритетов, используют как замок для чувствительных данных и торжественно прописывают директивы, которые поисковики игнорируют уже лет десять.
Я руковожу SEO-агентством и регулярно смотрю чужие сайты на аудитах. Ниже — разбор самых живучих карго-культов вокруг этих двух файлов: что в них правда, что — ритуал, и как эти файлы работают на самом деле. С реальными случаями, включая сайт, который «продвигали» несколько месяцев при полностью закрытом от индексации домене.
Культ №1. «Робот сам разберётся, карта не нужна»
Совет «sitemap не нужен, робот и так ходит по ссылкам» кочует по форумам с нулевых. Как многие карго-культы, он вырос из правды: на сайте в 20–30 страниц карта действительно ничего не решает — робот обойдёт всё по внутренним ссылкам.
