欧美一级特黄级AAA片

nginx封禁垃圾爬蟲,例如SemrushBot

一些網站,特別是放在國外的VPS上面的網站,經常被一些垃圾爬蟲騷擾,比較典型的例子就是semrush,總是幾十個IP不停
后來找到一個比較好的辦法,直接在nginx的location模塊中添加if判斷header,返回410錯誤,如下:


if ($http_user_agent ~* (SemrushBot|Semrush) ) {
    return 410;
}

下文是國外github上面的源文,國內的搜索引擎基本全覆蓋,所以不要按源文添加:

https://gist.github.com/hans2103/733b8eef30e89c759335017863bd721d

聊城興企網絡

專注于網絡推廣服務,為企業提供快速建站,小程序、網站seo優化一站式服務方案,為企業快速提高網站排名,獲取新客戶。!

| 北京 天津 河北 山西 內蒙古 遼寧 吉林 黑龍江 上海 江蘇 浙江 安徽 福建 江西 山東 河南 湖北 湖南 廣東 廣西 海南 重慶 四川 貴州 云南 西藏 陜西 甘肅 青海 寧夏 新疆 臺灣
18963523858 掃描微信