User-agent: *
Disallow: /admin

# Нежелательные краулеры — запрет
User-agent: Bytespider
Disallow: /

User-agent: CCBot
Disallow: /

Sitemap: https://parsing.uz/sitemap.xml
Sitemap: https://parsing.uz/sitemap-blog.xml