Apache、IIS规则屏蔽拦截蜘蛛抓取
在设置Apache和IIS规则以屏蔽拦截蜘蛛抓取时,您需要根据您的服务器类型和操作系统版本来选择相应的配置文件。以下是基于搜索结果的详细步骤:
Linux系统下的Apache环境
- 创建规则文件:在您的站点根目录下手工创建一个
.htaccess
文件]。 - 添加屏蔽规则:在
.htaccess
文件中添加以下代码:)$">
Order allow,deny
Deny from env=USER_AGENT
SetEnvIfNoCase USER_AGENT "googlebot|baiduspider|slurp|ia_archiver|msnbot|bingbot|scooter|lycos_spider_|fast-webcrawler|slurp|YodaoBot|OutfoxBot" is_robot
这段代码会阻止所有带有特定蜘蛛名称的用户代理访问您的图像文件。您可以根据需要添加或删除蜘蛛名称]。
Windows 2008或更高系统下的IIS环境
- 创建规则文件:在您的站点根目录下手工创建一个
web.config
文件]。 - 添加屏蔽规则:在
web.config
文件中添加以下代码:xml
原创文章,作者:Ur47000,如若转载,请注明出处:https://wyc.retuba.cn/3921.html