1. 使用User-agent行指定爬虫
在robots.txt 文件中，可以通过User-agent行来指定要应用哪些规则的爬虫。例如，如果你想阻止Baiduspider抓取你的网站，你可以这样做：
User-agent: Baiduspider
Disallow: /
这行代码的意思是，对于用户代理为”Baiduspider”的规则，将禁止访问抓取全部内容。
2. 使用Disallow和Allow行指定抓取范围
通过在robots.txt 文件中使用Disallow和Allow行，你可以精确地控制哪些页面应该被爬虫抓取，哪些不应该。例如，如果你想允许所有爬虫访问网站的”/tmp”目录，但阻止它们访问”/admin”目录，你可以这样做：
User-agent: *
Allow: /tmp
Disallow: /admin/
这行代码的意思是，对于全部用户代理(*为通配符)，将允许对”/tmp”目录进行访问，但禁止访问”/admin/”目录下的所有内容。
3. 使用通配符匹配
robots.txt 文件支持使用通配符*和$来匹配 URL。*可以匹配0或多个任意字符，而$则匹配行结束符。例如，如果你想阻止所有爬虫访问以”.jpg”结尾的图片，你可以这样做：
User-agent: *
Disallow: /*.jpg$
这行代码的意思是，对于全部用户代理，将禁止访问网站中所有包含”.jpg”结尾的图片。
注意事项
- 避免过度使用Disallow：过长的
robots.txt文件可能会影响蜘蛛的爬取速度。对于不想被搜索引擎查看的文件，可以适度地使用”NoFollow”标记，使其不对该网站传递权重。 - 确保robots.txt 文件的有效性：
robots.txt文件必须位于网站的根目录下。不同的搜索引擎可能会有不同的行为，如果你想要某个特定的网页不被搜索引擎收录，可能需要针对不同的搜索引擎编写不同的规则。 - 定期更新robots.txt 文件：网站的结构可能会发生变化，因此需要定期更新
robots.txt文件，以确保它仍然符合你的需求。
原创文章，作者：Ur47000，如若转载，请注明出处：https://wyc.retuba.cn/17230.html
