Robots协议，也称为“网络爬虫排除标准”，对于每个网站的SEO（搜索引擎优化）来说都至关重要。它规定了搜索引擎抓取网站时所能抓取的内容，是网络爬虫爬行网站时第一个要访问的文件，位于网站的根目录下，文件名为robots.txt 。
Robots协议在SEO中的作用主要有以下几点：
-
保护网站隐私：通过robots协议，可以防止网站重要信息泄露，保护网站隐私。
-
合理抓取网站资源：通过设定robots协议，可以让网络爬虫屏蔽掉不想被抓取的隐私内容、后台、数据库文件、模板、插件文件、做了伪静态处理后的动态路径等，只抓取需要参与排名的页面。
-
节省服务器资源：通过设定robots协议，可以屏蔽一些网站中比较大的文件，如图片、音乐、视频等，节省服务器的带宽。
-
提高搜索引擎排名：通过合理的robots协议设置，可以让搜索引擎更好地理解网站结构，提高网站在搜索引擎中的排名。
编写robots协议时需要注意以下几点：
-
User-agent：指定robots协议定义的对象，即搜索引擎的名字。
-
Disallow：定义禁止爬行的网站内容，即不允许网络爬虫抓取的文件的名称。
-
Allow：定义允许爬行的网站内容，即允许网络爬虫抓取的文件的名称，一般不需要进行定义。
-
：结束符，用于定义相同后缀名的文件的后面，例如不允许抓取所有的图片文件时就可以以结束行。
总之，对于网站SEO来说，合理的robots协议设置是非常重要的，它可以保护网站隐私，合理抓取网站资源，节省服务器资源，并提高搜索引擎排名。
mjx-container[jax=”SVG”] {
direction: ltr;
}
mjx-container[jax=”SVG”] > svg {
overflow: visible;
min-height: 1px;
min-width: 1px;
}
mjx-container[jax=”SVG”] > svg a {
fill: blue;
stroke: blue;
}
mjx-container[jax=”SVG”][display=”true”] {
display: block;
text-align: center;
margin: 1em 0;
}
mjx-container[jax=”SVG”][display=”true”][width=”full”] {
display: flex;
}
mjx-container[jax=”SVG”][justify=”left”] {
text-align: left;
}
mjx-container[jax=”SVG”][justify=”right”] {
text-align: right;
}
g[data-mml-node=”merror”] > g {
fill: red;
stroke: red;
}
g[data-mml-node=”merror”] > rect[data-background] {
fill: yellow;
stroke: none;
}
g[data-mml-node=”mtable”] > line[data-line], svg[data-table] > g > line[data-line] {
stroke-width: 70px;
fill: none;
}
g[data-mml-node=”mtable”] > rect[data-frame], svg[data-table] > g > rect[data-frame] {
stroke-width: 70px;
fill: none;
}
g[data-mml-node=”mtable”] > .mjx-dashed, svg[data-table] > g > .mjx-dashed {
stroke-dasharray: 140;
}
g[data-mml-node=”mtable”] > .mjx-dotted, svg[data-table] > g > .mjx-dotted {
stroke-linecap: round;
stroke-dasharray: 0,140;
}
g[data-mml-node=”mtable”] > g > svg {
overflow: visible;
}
[jax=”SVG”] mjx-tool {
display: inline-block;
position: relative;
width: 0;
height: 0;
}
[jax=”SVG”] mjx-tool > mjx-tip {
position: absolute;
top: 0;
left: 0;
}
mjx-tool > mjx-tip {
display: inline-block;
padding: .2em;
border: 1px solid #888;
font-size: 70%;
background-color: #F8F8F8;
color: black;
box-shadow: 2px 2px 5px #AAAAAA;
}
g[data-mml-node=”maction”][data-toggle] {
cursor: pointer;
}
mjx-status {
display: block;
position: fixed;
left: 1em;
bottom: 1em;
min-width: 25%;
padding: .2em .4em;
border: 1px solid #888;
font-size: 90%;
background-color: #F8F8F8;
color: black;
}
foreignObject[data-mjx-xml] {
font-family: initial;
line-height: normal;
overflow: visible;
}
mjx-container[jax=”SVG”] path[data-c], mjx-container[jax=”SVG”] use[data-c] {
stroke-width: 3;
}
原创文章，作者：Ur47000，如若转载，请注明出处：https://wyc.retuba.cn/11377.html
