Robots（协议）及其与Robotmate的区别
1. Robots（协议）
概述
Robots是一个多义词，它可以指代网站和爬虫之间的协议，这个协议用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限。在搜索引擎中访问网站的时候，Robots（协议）是第一个需要查看的文件。当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt ，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将默认能够访问网站上所有没有被口令保护的页面。
2. Robotsmate
定义
Robotsmate是另一种控制搜索引擎爬虫抓取网页的方式，它主要针对特定页面。和其他META标签一样，robotsmate标记也被放置在页面的head中，这是为了告诉搜索引擎robots如何获取页面的内容。follow指令能够提醒搜索引擎继续沿着页面上的链接对内容进行爬行和抓取；robotsmate标签的默认值是index和follow；index指令可以提示搜索引擎抓取目标页面；robotsmate标签不用区分大小写,name=“robots”表示所有搜索引擎。对于一个特定的搜索引擎，它可以写成name=“Baiduspider”内容。有四个命令选项:index、Noindex、follow、nofollow，指令之间用“,”分隔开来。
3. Robots和robotsmate的区别
支持情况
目前来说，所有的搜索引擎都支持和遵守robots.txt 的规定，但是支持robotsmate的却比较少，所以我们可以酌情使用它们。
结论
总结来说，Robots（协议）是一个网站与搜索引擎爬虫之间的规则协议，通过一个文本文件，网站所有者可以定义哪些页面可以被爬取、哪些不可被访问，以及爬虫的访问速度等规则。而robotsmate是一种更精细的控制方式，主要针对特定页面，但并非所有搜索引擎都支持。在使用时，可以根据实际需求来决定使用哪种方式。
原创文章，作者：Ur47000，如若转载，请注明出处：https://wyc.retuba.cn/2881.html
