SemrushBot、MJ12bot等垃圾蜘蛛经常占用服务器资源，用了很多方法都不奏效。这些垃圾蜘蛛根本不遵循robots协议，有点流氓的感觉。
这一次用了一种新的方法，彻底屏蔽了他们。
通过宝塔面板网站设置粘贴有代码：
#禁止垃圾蜘蛛抓取
if ($http_user_agent ~* (SemrushBot|python|Linespider|crawler|DingTalkBot|simplecrawler|ZoominfoBot|zoombot|Neevabot|coccocbot|Facebot|YandexBot|Adsbot|DotBot|Applebot|DataForSeoBot|MJ12bot|BLEXBot|trendictionbot0|trendictionbot|AhrefsBot|hubspot|opensiteexplorer|leiki|webmeup)) { return 444;
}把这组代码粘贴保存即可。
经过几天的测试观察，这些蜘蛛完全屏蔽了。
