Файл llms.txt предлагают класть в корень сайта с 2024 года: считается, что языковые модели прочитают его вместо того, чтобы разбирать вёрстку. Я написал для него генератор и валидатор, проделал 64 теста для отладки — и параллельно посмотрел, сколько раз ИИ-боты вообще запрашивают этот файл. Значения получились неутешительные, но валидатор всё равно оказался полезным. Ниже — устройство разбора, схема оценки и код.
Что такое llms.txt и чем он отличается от llms-full.txt
llms.txt — текстовый файл в корне домена, размеченный обычным Markdown. Замысел автора спецификации Джереми Ховарда простой: дать модели короткую карту сайта на естественном языке — что за проект, какие разделы, куда идти за документацией.
Структура задана жёстко:
