近日，烏克蘭一家專注于人體3D模型的網站 Trilegangers 遭遇了嚴重的流量攻擊，導致其服務器癱瘓。該網站為3D藝術家和游戲開發(fā)者提供豐富的人體3D模型數(shù)據(jù)，但因 OpenAI 的爬蟲 GPTBot 的頻繁抓取而陷入困境。

據(jù) Trilegangers 的工作人員透露，盡管網站在使用協(xié)議中明確禁止未經授權的抓取和使用，但由于未正確設置 robots.txt 文件來阻止爬蟲的訪問，最終導致服務器負荷過重。根據(jù)服務器日志，OpenAI 的 GPTBot 爬蟲通過600多個不同的IP地址發(fā)起了數(shù)以萬計的請求，使得網站無法正常運作，類似于遭遇了分布式拒絕服務（DDoS）攻擊。

OpenAI 在其爬蟲說明中提到，若網站不希望 GPTBot 抓取內容，需在 robots.txt 文件中進行設置。然而，Trilegangers 并未意識到這一點，從而導致了當前的窘境。盡管 robots.txt 文件并不是法律要求，但如果網站已經聲明禁止未經授權使用，GPTBot 的抓取行為仍可能違反相關規(guī)定。

此外，由于使用亞馬遜 AWS 服務器，Trilegangers 在帶寬和流量上的消耗也急劇上升，給其帶來了額外的費用壓力。為應對這一突發(fā)事件，Trilegangers 已經采取措施，設置了正確的 robots.txt 文件，并通過 Web應用防火墻 屏蔽了包括 GPTBot 在內的多種爬蟲的訪問，這一做法預計將有效緩解服務器負擔，保障網站的正常運作。

OpenAI 爬蟲的UA為：

Mozilla/5.0 (compatible; GPTBot/1.0; https://openai.com/gptbot)

我們可以利用百度云防護Web應用防火墻，攔截包含gptbot的UA。