Robots.txt 生成器
生成搜索引擎抓取规则本地处理 · 数据不上传
针对特定爬虫的规则
爬虫规则
robots.txt
这个工具还可以用来:robots.txt生成robots文件禁止爬虫
使用方法
- 1选择默认规则并填写禁止抓取的路径。
- 2按需添加特定爬虫规则和 Sitemap。
- 3下载 robots.txt 并放到网站根目录。
常见问题
robots.txt 放在哪里？
必须放在网站根目录，例如 https://www.example.com/robots.txt。
Disallow 能阻止页面被收录吗？
只能阻止抓取，被外链引用的页面仍可能出现在搜索结果中。要禁止收录请用 noindex。