robots.txt 生成

勾选常用规则，生成robots.txt文本。在线免费的robots.txt生成工具

robots.txt

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /private/
Sitemap: https://example.com/sitemap.xml