Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(The Robots Exclusion Protocol),网站通过Robots协议告诉网页爬虫哪些页面可以抓取,哪些页面不能抓取。
神箭手作为国内领先的爬虫开发平台,已全面支持Robots协议。神箭手希望营造一个更加和谐的网络环境,减少恶意爬虫的泛滥。
开发或者使用爬虫过程中,打开爬虫设置,就可以看到Robots协议的选项:
Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(The Robots Exclusion Protocol),网站通过Robots协议告诉网页爬虫哪些页面可以抓取,哪些页面不能抓取。
神箭手作为国内领先的爬虫开发平台,已全面支持Robots协议。神箭手希望营造一个更加和谐的网络环境,减少恶意爬虫的泛滥。
开发或者使用爬虫过程中,打开爬虫设置,就可以看到Robots协议的选项: