添加Nginx规则,屏蔽营销蜘蛛,省点服务器资源

最近给网站加了个蜘蛛分析的插件,主要是删了不少文章,看看哪些404然后提交一下死链,没想到发现一堆营销蜘蛛每天疯狂的爬页面,我这羸弱的服务器哪里受得了,难怪有时候感觉卡,果断屏蔽。

添加Nginx规则,屏蔽营销蜘蛛,省点服务器资源

先通过了常规的robots协议进行屏蔽,没想到这些外国的蜘蛛也不讲武德,搞偷袭,你协议归协议,人家就是不遵守啊,爬的更欢了。

既然如此,那就别说我欺负老同志,祭出大杀器!

if ($http_user_agent ~* (YandexBot|spbot|DnyzBot|Researchscan|semrushbot|yahoo|AhrefsBot|DotBot|Uptimebot|MJ12bot|MegaIndex.ru|ZoominfoBot|Mail.Ru|SeznamBot|BLEXBot|ExtLinksBot|aiHitBot|Barkrowler)){

return 403;

}

直接在服务器Nginx规则里面添加上了。

如上代码覆盖了常见的大部分营销蜘蛛,如果有漏掉的还可以自己添加,非常方便,这些蜘蛛爬的时候直接提示403错误,也就是没有权限访问。

这就叫我的地盘我做主。

游乐星球 点此下载

相关推荐