添加Nginx规则,屏蔽营销蜘蛛,省点服务器资源

最近给网站加了个蜘蛛分析的插件,主要是删了不少文章,看看哪些404然后提交一下死链,没想到发现一堆营销蜘蛛每天疯狂的爬页面,我这羸弱的服务器哪里受得了,难怪有时候感觉卡,果断屏蔽。

添加Nginx规则,屏蔽营销蜘蛛,省点服务器资源

先通过了常规的robots协议进行屏蔽,没想到这些外国的蜘蛛也不讲武德,搞偷袭,你协议归协议,人家就是不遵守啊,爬的更欢了。

既然如此,那就别说我欺负老同志,祭出大杀器!

if ($http_user_agent ~* (YandexBot|spbot|DnyzBot|Researchscan|semrushbot|yahoo|AhrefsBot|DotBot|Uptimebot|MJ12bot|MegaIndex.ru|ZoominfoBot|Mail.Ru|SeznamBot|BLEXBot|ExtLinksBot|aiHitBot|Barkrowler)){

return 403;

}

直接在服务器Nginx规则里面添加上了。

如上代码覆盖了常见的大部分营销蜘蛛,如果有漏掉的还可以自己添加,非常方便,这些蜘蛛爬的时候直接提示403错误,也就是没有权限访问。

这就叫我的地盘我做主。

相关推荐

2021年315晚会回顾

昨天破天荒的完整看完了315晚会,有点触目惊心的感觉。 1、部分企业门店安装人脸采集识别摄像头,在用户不知情的情况下进行 …

今日夏至:你好,盛夏!

“日长之至,日影短至,至者,极也,故曰夏至”。 夏至通常会在每年 6 月 21 日或 22 日这两天。夏至,顾名思义就是最炎热的 …

微信扫一扫

微信扫一扫

微信扫一扫,分享到朋友圈

添加Nginx规则,屏蔽营销蜘蛛,省点服务器资源