Robots.txt生成器
生成标准 robots.txt 文件，适合 WordPress、企业站、内容站、工具站和测试站使用，支持禁止目录、允许目录、Sitemap 和 Crawl-delay。
robots.txt 只是爬虫抓取建议，不能保护敏感内容。后台、订单、用户数据等敏感内容必须用登录权限、服务器规则或程序权限控制。
Robots.txt生成器适合哪些场景？
Robots.txt生成器适合WordPress站长、企业站、内容站、下载站、工具站和测试站使用。它可以快速生成基础爬虫规则，避免搜索引擎抓取后台、搜索页、测试目录和重复内容。
常见问题
生成的robots.txt放在哪里？
应放在网站根目录，例如 https://www.example.com/robots.txt。
robots.txt能隐藏敏感页面吗？
不能。robots.txt是公开文件，而且只是爬虫建议，不能代替权限控制。