# Своего robots.txt у нас не было: запрос уходил на витрину и Streamlit
# отдавал html. Cloudflare дописывает СВЕРХУ свой managed-блок (в нём и
# закрыты ИИ-краулеры — настройка в панели Cloudflare, не здесь), так что
# наш файл нужен ровно ради строки Sitemap: без неё карту сайта видит
# только Search Console, а Bing и Яндекс её не находят.
User-agent: *
Allow: /

Sitemap: https://natgaslens.com/sitemap.xml