Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”(The Robots Exclusion Protocol)，网站通过Robots协议告诉网页爬虫哪些页面可以抓取，哪些页面不能抓取。
神箭手作为国内领先的爬虫开发平台，已全面支持Robots协议。神箭手希望营造一个更加和谐的网络环境，减少恶意爬虫的泛滥。
开发或者使用爬虫过程中，打开爬虫设置，就可以看到Robots协议的选项：
Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”(The Robots Exclusion Protocol)，网站通过Robots协议告诉网页爬虫哪些页面可以抓取，哪些页面不能抓取。
神箭手作为国内领先的爬虫开发平台，已全面支持Robots协议。神箭手希望营造一个更加和谐的网络环境，减少恶意爬虫的泛滥。
开发或者使用爬虫过程中，打开爬虫设置，就可以看到Robots协议的选项：