robots.txt 权威教程彻底屏蔽死链的妙招
robots.txt 的基本概念
robots.txt 的作用
- 告诉爬虫抓取网站上的指定路径文件或内容
- 网站改版或者URL重写优化时候屏蔽对搜索引擎不友好的链接
- 屏蔽死链接、404错误页面
- 屏蔽无内容、无价值页面，像后台管理页面等
- 屏蔽任何不想被收录的页面
- 引导爬虫抓取网站地图
robots.txt 的语法
-
只有三个关键词和2个通配符
-
Disallow:(用来定义禁止搜索引擎爬取的页面或路径)
-
Allow:/SEO/test/(允许蜘蛛爬取SEO下的test目录)
-
两个通配符通配符”
通配符:匹配行结束符。 Allow:/seo/*.jpg$上面这段代码就是允许爬虫爬取SEO目录下所有jpg结尾的文件
如何使用robots.txt 屏蔽死链
死链的概念
- 死链就是曾经存在的网页,因改版或其他原因而失去效用后就变成死链,也就是说看似一个正常的网页链接,但点击后不能打开相对应的网页页面
如何屏蔽死链
-
使用robots.txt 屏蔽死链，只需要把死链所在的链接放进去即可，搜索引擎自然就会屏蔽掉这些链接，就不会存在蜘蛛抓取并读取的情况
-
在网站的robots.txt 文件中加上如下内容:User-agent:BaiduspiderDisallow:/（这里的“/”需要替换为死链的实际路径）
总结
robots.txt 是一个重要的文件，它可以帮助我们管理和控制搜索引擎爬虫的行为。通过合理的设置，我们可以使用robots.txt 文件来屏蔽死链，从而提高网站的用户体验和搜索引擎的友好度。
mjx-container[jax=”SVG”] {
direction: ltr;
}
mjx-container[jax=”SVG”] > svg {
overflow: visible;
min-height: 1px;
min-width: 1px;
}
mjx-container[jax=”SVG”] > svg a {
fill: blue;
stroke: blue;
}
mjx-container[jax=”SVG”][display=”true”] {
display: block;
text-align: center;
margin: 1em 0;
}
mjx-container[jax=”SVG”][display=”true”][width=”full”] {
display: flex;
}
mjx-container[jax=”SVG”][justify=”left”] {
text-align: left;
}
mjx-container[jax=”SVG”][justify=”right”] {
text-align: right;
}
g[data-mml-node=”merror”] > g {
fill: red;
stroke: red;
}
g[data-mml-node=”merror”] > rect[data-background] {
fill: yellow;
stroke: none;
}
g[data-mml-node=”mtable”] > line[data-line], svg[data-table] > g > line[data-line] {
stroke-width: 70px;
fill: none;
}
g[data-mml-node=”mtable”] > rect[data-frame], svg[data-table] > g > rect[data-frame] {
stroke-width: 70px;
fill: none;
}
g[data-mml-node=”mtable”] > .mjx-dashed, svg[data-table] > g > .mjx-dashed {
stroke-dasharray: 140;
}
g[data-mml-node=”mtable”] > .mjx-dotted, svg[data-table] > g > .mjx-dotted {
stroke-linecap: round;
stroke-dasharray: 0,140;
}
g[data-mml-node=”mtable”] > g > svg {
overflow: visible;
}
[jax=”SVG”] mjx-tool {
display: inline-block;
position: relative;
width: 0;
height: 0;
}
[jax=”SVG”] mjx-tool > mjx-tip {
position: absolute;
top: 0;
left: 0;
}
mjx-tool > mjx-tip {
display: inline-block;
padding: .2em;
border: 1px solid #888;
font-size: 70%;
background-color: #F8F8F8;
color: black;
box-shadow: 2px 2px 5px #AAAAAA;
}
g[data-mml-node=”maction”][data-toggle] {
cursor: pointer;
}
mjx-status {
display: block;
position: fixed;
left: 1em;
bottom: 1em;
min-width: 25%;
padding: .2em .4em;
border: 1px solid #888;
font-size: 90%;
background-color: #F8F8F8;
color: black;
}
foreignObject[data-mjx-xml] {
font-family: initial;
line-height: normal;
overflow: visible;
}
mjx-container[jax=”SVG”] path[data-c], mjx-container[jax=”SVG”] use[data-c] {
stroke-width: 3;
}
原创文章，作者：Ur47000，如若转载，请注明出处：https://wyc.retuba.cn/11598.html
