Robots.txt测试

分类:站长工具
本工具是网站 Robots.txt 文件检测及页面验证工具。通过本工具,可以在线检测在网站 Robots.txt 设定的规则下,网站特定页面是否允许(或禁止)网络爬虫访问该URL。
输入页面URL:
正在检测网站 Robots.txt...