最近，一位做文庫(kù)的站長(zhǎng)反饋，網(wǎng)站服務(wù)器經(jīng)常無(wú)緣無(wú)故的宕機(jī)，CPU被占滿。

主機(jī)邦查詢后發(fā)現(xiàn)客戶網(wǎng)站出現(xiàn)大量爬蟲(chóng)訪問(wèn)，最多的是gptbot、amazonbot、PanguBot、BLEXBot、DataForSeoBot、SemrushBot這幾個(gè)訪問(wèn)最多，一天能請(qǐng)求進(jìn)來(lái)幾十萬(wàn)次，簡(jiǎn)直瘋狂。

這些爬蟲(chóng)大多是一些AI爬蟲(chóng)或者數(shù)據(jù)分析網(wǎng)站的爬蟲(chóng)，對(duì)網(wǎng)站沒(méi)有任何用處，因此，可以利用百度云防護(hù)進(jìn)行攔截。

操作方法如下：

1.登陸Web防護(hù)規(guī)則-創(chuàng)建Web防護(hù)規(guī)則

2.開(kāi)啟自定義防護(hù)策略，并添加策略

3.策略如

User-Agent 包含 gptbot 攔截并追加封禁 1440分鐘

把上面的爬蟲(chóng)名字全添加上去

然后保存，并關(guān)聯(lián)相關(guān)域名。

我們?cè)賮?lái)看效果：

成功攔截，客戶服務(wù)器恢復(fù)穩(wěn)定！