1. 什么是Robots协议？
Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（RobotsExclusionProtocol），它规定了搜索引擎爬虫在访问网站时的行为准则。简单来说，Robots协议是一个告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取的协议。这个协议通常以robots.txt 文件的形式存在于网站的根目录下。
2. Robots协议的主要作用
- 控制搜索引擎蜘蛛的访问：Robots协议可以帮助网站管理员控制搜索引擎蜘蛛的访问，以保护私有内容、减少服务器负载，或引导蜘蛛访问站点的特定部分。
- 维护网站内容的隐私和安全：通过Robots协议，网站管理员可以明确控制搜索引擎蜘蛛的访问，从而维护网站内容的隐私和安全。
- 提高火车头采集器伪原创插件工具网小编的整理结果的质量：Robots协议可以防止搜索引擎重复索引相同内容的多个副本，从而提高火车头采集器伪原创插件工具网小编的整理结果的质量。
3. Robots协议的正确书写格式
- User-agent：用于描述搜索引擎爬虫的名字。在Robots.txt 文件中，如果有多条User-agent记录，说明有多个搜索引擎爬虫会受到该协议的限制。对该文件来说，至少要有一条User-agent记录。如果该项的值设为*，则该协议对任何搜索引擎爬虫均有效。
- Disallow：用于描述不希望被访问到的一个URL。这个URL可以是一条完整的路径，也可以是部分路径，任何以Disallow开头的URL均不会被Robot访问到。
- Allow：用于描述允许被访问到的一个URL。通常默认就是允许抓取，故很少会用到该命令。
- **
：它是结束符，用于定义相同后缀名的文件的后面，例如不允许抓取所有的图片文件时就可以以
结束行。
4. 注意事项
- 不要随便地进行整站屏蔽：因为Robots协议的生效时间短的是几天，长的是一个月。
- 生效时间：Robots协议的生效时间应该在两个月以内。
- 避免用户直接访问被禁止索引的页面：Robots协议只是搜索引擎的一个指南，而不是真正的安全措施。它无法阻止用户直接访问被禁止索引的页面。
5. 如何使用Robots协议
- 设置合理的访问范围：通过Robots.txt 文件，可以指定搜索引擎爬虫只抓取指定的内容，或者是禁止搜索引擎爬虫抓取网站的部分或全部内容。
- 利用Sitemap功能：Robots.txt 文件里还可以直接包括在sitemap文件的链接。这样可以帮助搜索引擎更全面地抓取网站的网页。
总的来说，正确的使用Robots协议可以帮助网站更好地与搜索引擎进行交互，提高网站的收录率和排名，从而吸引更多的访问者。
mjx-container[jax=”SVG”] {
direction: ltr;
}
mjx-container[jax=”SVG”] > svg {
overflow: visible;
min-height: 1px;
min-width: 1px;
}
mjx-container[jax=”SVG”] > svg a {
fill: blue;
stroke: blue;
}
mjx-container[jax=”SVG”][display=”true”] {
display: block;
text-align: center;
margin: 1em 0;
}
mjx-container[jax=”SVG”][display=”true”][width=”full”] {
display: flex;
}
mjx-container[jax=”SVG”][justify=”left”] {
text-align: left;
}
mjx-container[jax=”SVG”][justify=”right”] {
text-align: right;
}
g[data-mml-node=”merror”] > g {
fill: red;
stroke: red;
}
g[data-mml-node=”merror”] > rect[data-background] {
fill: yellow;
stroke: none;
}
g[data-mml-node=”mtable”] > line[data-line], svg[data-table] > g > line[data-line] {
stroke-width: 70px;
fill: none;
}
g[data-mml-node=”mtable”] > rect[data-frame], svg[data-table] > g > rect[data-frame] {
stroke-width: 70px;
fill: none;
}
g[data-mml-node=”mtable”] > .mjx-dashed, svg[data-table] > g > .mjx-dashed {
stroke-dasharray: 140;
}
g[data-mml-node=”mtable”] > .mjx-dotted, svg[data-table] > g > .mjx-dotted {
stroke-linecap: round;
stroke-dasharray: 0,140;
}
g[data-mml-node=”mtable”] > g > svg {
overflow: visible;
}
[jax=”SVG”] mjx-tool {
display: inline-block;
position: relative;
width: 0;
height: 0;
}
[jax=”SVG”] mjx-tool > mjx-tip {
position: absolute;
top: 0;
left: 0;
}
mjx-tool > mjx-tip {
display: inline-block;
padding: .2em;
border: 1px solid #888;
font-size: 70%;
background-color: #F8F8F8;
color: black;
box-shadow: 2px 2px 5px #AAAAAA;
}
g[data-mml-node=”maction”][data-toggle] {
cursor: pointer;
}
mjx-status {
display: block;
position: fixed;
left: 1em;
bottom: 1em;
min-width: 25%;
padding: .2em .4em;
border: 1px solid #888;
font-size: 90%;
background-color: #F8F8F8;
color: black;
}
foreignObject[data-mjx-xml] {
font-family: initial;
line-height: normal;
overflow: visible;
}
mjx-container[jax=”SVG”] path[data-c], mjx-container[jax=”SVG”] use[data-c] {
stroke-width: 3;
}
原创文章，作者：Ur47000，如若转载，请注明出处：https://wyc.retuba.cn/16766.html
