前言

筆者所在單位是一家小型創(chuàng)業(yè)公司，目前產(chǎn)品正在成長(zhǎng)階段，日活躍用戶(hù)只有區(qū)區(qū)幾萬(wàn)人次，并發(fā)只有日均 85/QPS，自建機(jī)房，帶寬 100MB。在這樣的背景下，完全沒(méi)想過(guò)一個(gè)小產(chǎn)品會(huì)招來(lái)黑客的光顧，而且一來(lái)就是好幾天。

起因

事情的起因來(lái)源于某個(gè)愜意的下午，從市場(chǎng)接收到客戶(hù)反饋，部分地區(qū)客戶(hù)無(wú)法打開(kāi)產(chǎn)品頁(yè)面，由于是周末且之前也發(fā)生過(guò)機(jī)房網(wǎng)絡(luò)故障，運(yùn)維并未引起重視，以為是網(wǎng)絡(luò)問(wèn)題，放置不管。但是到傍晚19點(diǎn)左右，情況突然變得很?chē)?yán)重，90%的客戶(hù)都在反饋無(wú)法打開(kāi)產(chǎn)品頁(yè)面；
這一下子就炸鍋了。

首先，馬上安排運(yùn)維人員排查機(jī)房網(wǎng)絡(luò)問(wèn)題，然后技術(shù)人員查看服務(wù)日志、流量監(jiān)控是否正常。馬上就發(fā)現(xiàn)了問(wèn)題，服務(wù)器CPU運(yùn)行平穩(wěn)，流量只有 3次/s，很明顯，流量未進(jìn)入服務(wù)器，被攔截在防火墻外面了；過(guò)了5分鐘，收到運(yùn)維人員反饋：機(jī)房反饋，突然收到大量數(shù)據(jù)包請(qǐng)求，
流量高達(dá)30GB，目前已啟動(dòng)限流措施！
事情非常明了，服務(wù)遭到了 DDOS 攻擊！
怎么辦，怎么辦，怎么辦！

防御

大家都在干等著，什么也做不了，等機(jī)房處理，這是運(yùn)維人員的處理意見(jiàn)。等機(jī)房處理是非常愚蠢的想法，后面會(huì)講到。

攻擊持續(xù)了大約 3 個(gè)小時(shí)，晚上 22：00 左右，攻擊停止，服務(wù)恢復(fù)，這期間，市場(chǎng)只能一直安撫客戶(hù)，而大家也一致認(rèn)為這是一場(chǎng)隨機(jī)的攻擊，居然也都洗洗睡了，事實(shí)證明大錯(cuò)特錯(cuò)。
第二天白天流量恢復(fù)正常，大家還認(rèn)為這就是個(gè)惡作劇，然后傍晚 17 點(diǎn)左右，又有部分客戶(hù)反饋無(wú)法打開(kāi)產(chǎn)品頁(yè)面，這次持續(xù)了 10 分鐘后停止，機(jī)房也未收到任何警報(bào)（小機(jī)房坑爹?。?br /> 晚上 19：00 又準(zhǔn)時(shí)開(kāi)始攻擊，這次持續(xù)了 10 個(gè)小時(shí)，整個(gè)產(chǎn)品線幾乎癱瘓，只有微信端很小的流量進(jìn)來(lái)。

這次情況就很難受了，大家都不好過(guò)，我的建議是馬上上高防IP，聯(lián)系機(jī)房，說(shuō)是提供 3000RMB/月 的流量防御，最高 30GB，我說(shuō)好，先上著，寥勝于無(wú)吧。第二天，馬上安排財(cái)務(wù)付款購(gòu)買(mǎi)，上了機(jī)房自帶的高防IP后，果然奏效了，產(chǎn)品瀏覽正常，好事多磨，這是誰(shuí)說(shuō)的，
下午的攻擊又準(zhǔn)時(shí)的出現(xiàn)，這次高防IP發(fā)揮了左右，扛住了 10 分鐘，然后也癱瘓了！??！

換IP!

馬上安排運(yùn)維人員更換 IP 地址，然后扛住了 30 分鐘，新IP也宣告淪陷，我就奇怪了，黑客也太厲害了，這么快就找到新 IP 了？，機(jī)房告知：更換 IP 只支持更換 C 段，我….
流量不夠，IP暴露，事情的發(fā)展對(duì)我方很不利。

這個(gè)時(shí)候我在想，要是認(rèn)了個(gè)爸爸該多好！爸爸，哎爸爸，馬爸爸啊，找阿里云啊，此時(shí)已是周四了，距離收到攻擊報(bào)告已過(guò)去了3天了。

哈，我的天啊。財(cái)務(wù)外出，無(wú)法續(xù)費(fèi)。
聯(lián)系阿里高防IP服務(wù)技術(shù)專(zhuān)家，說(shuō)可以?xún)?nèi)部提供加速服務(wù)（不收費(fèi)），我說(shuō)好，你們溝通一下，我馬上去提個(gè)工單，把工單號(hào)發(fā)給技術(shù)專(zhuān)家內(nèi)部安排溝通，備案問(wèn)題得以順利解決。
接下來(lái)就是接入高防IP服務(wù)。

不得不說(shuō)，阿里的敬業(yè)精神，對(duì)接群里面分別拉了技術(shù)、商務(wù)、運(yùn)維、客服，各種問(wèn)題全方位快速響應(yīng)，在周五下班前，完美接入了高防IP服務(wù)，基礎(chǔ) 30GB，彈性 60GB。

波瀾又起

下班后，我坐在電腦前想，IP暴露的問(wèn)題還是沒(méi)有解決，這個(gè)是非常大的隱患啊，還沒(méi)來(lái)得及細(xì)想，攻擊就來(lái)了 還是 30GB流量，不過(guò)，高防IP服務(wù)全部都清洗過(guò)去了，只造成了些許困擾，大家認(rèn)為，肯定是沒(méi)有問(wèn)題了，都下班走人。到了晚上，部分客戶(hù)反饋，安卓客戶(hù)端無(wú)法瀏覽部分網(wǎng)頁(yè)，報(bào)證書(shū)鏈不完整的問(wèn)題，釘釘電話(huà)聯(lián)系阿里技術(shù)專(zhuān)家，彼時(shí)技術(shù)專(zhuān)家已下班，從電話(huà)里依稀聽(tīng)到孩子嬉戲的聲音。

經(jīng)過(guò)詳細(xì)溝通后，重新上傳 https 證書(shū)，合并證書(shū)鏈后解決。
第二天周六，一如往常的平靜，到下午 14：00 ，突然收到阿里高防IP服務(wù)警報(bào)，服務(wù)黑洞中….登錄云盾查看流量，收到DDOS流量包超過(guò) 60GB，最高達(dá)到 100 GB，高防IP服務(wù)自動(dòng)停止防御，發(fā)送警報(bào)短信，聯(lián)系技術(shù)專(zhuān)家后，解決方案是提示防御彈性到 300GB，手動(dòng)解除黑洞，故障解除，接下來(lái)的周日、周一，又收到幾波攻擊，最高達(dá)到 150GB，但是都有驚無(wú)險(xiǎn)的安全度過(guò)。

轉(zhuǎn)機(jī)

事情的轉(zhuǎn)機(jī)出現(xiàn)在某個(gè)夜深人靜的晚上，從遙遠(yuǎn)的華中地區(qū)來(lái)的一個(gè)電話(huà)，某個(gè)市場(chǎng)區(qū)域代理反饋，接到一個(gè)自稱(chēng)黑客要求合作的電話(huà)，已將錄音發(fā)送給技術(shù)團(tuán)隊(duì)，我們一聽(tīng)，就是勒索啊，說(shuō)這幾天都在由于他們?cè)凇皽y(cè)試”，幫我們產(chǎn)品找漏洞，如果付錢(qián)給他們，他們可以保證我們的產(chǎn)品在“全球”范圍內(nèi)不會(huì)再發(fā)生這種事情，我們商量了一下，覺(jué)得和他進(jìn)一步的接觸。

經(jīng)過(guò)兩天的溝通，還是無(wú)法得到對(duì)方的有效信息，就此作罷，黑客約定第二天“展示實(shí)力”，第二天，預(yù)約的時(shí)間，攻擊沒(méi)有到來(lái)，1個(gè)小時(shí)后，收到阿里高防IP服務(wù)短信反饋，監(jiān)控到一波 30GB的流量攻擊，已平穩(wěn)度過(guò)，截至發(fā)文時(shí)，服務(wù)運(yùn)行平穩(wěn)，流量穩(wěn)定，無(wú)攻擊，阿門(mén)！

總結(jié)

• 從此事件中可以看出，我方對(duì)安全問(wèn)題不重視，這也是初創(chuàng)企業(yè)普遍存在的問(wèn)題，運(yùn)維人員意識(shí)出現(xiàn)幸存者偏差，有僥幸心里。
• 在攻擊初始出現(xiàn)的時(shí)候，沒(méi)有預(yù)案，無(wú)法應(yīng)對(duì)，被動(dòng)等待機(jī)房處理，而機(jī)房能力和服務(wù)水平較弱，無(wú)法應(yīng)對(duì)這種小規(guī)模的攻擊。
  唯一能做的就是將我方業(yè)務(wù)下線，俗稱(chēng)“拔線”，完全不理我方感受，簡(jiǎn)單粗暴，所以在初創(chuàng)時(shí)期，千萬(wàn)不要作死自建機(jī)房，除非有成熟的機(jī)房運(yùn)作經(jīng)驗(yàn)
• 我方只有單機(jī)房，無(wú)法更換B段以上IP，IP地址直接暴露，更是自己找死。
• 經(jīng)此事件后，我方?jīng)Q定部分業(yè)務(wù)上云，特別要建立堡壘機(jī)方案，全面排查系統(tǒng)、業(yè)務(wù)、應(yīng)用級(jí)別漏洞。
• 建立多機(jī)房備災(zāi)和故障轉(zhuǎn)移方案，建立應(yīng)對(duì)突發(fā)事件的預(yù)案，建立預(yù)警方案。
• 在事故處理期間還檢測(cè)出防火墻老化產(chǎn)生的問(wèn)題，更換了防火墻、IP地址，加強(qiáng)運(yùn)維人員管理意識(shí)，提升業(yè)務(wù)水平。

結(jié)語(yǔ)

系統(tǒng)的升級(jí)非一朝一夕，意識(shí)最重要，不怕事故，就怕沒(méi)有處理方案，出了事情千萬(wàn)不能瞞報(bào)、誤報(bào)，主管領(lǐng)導(dǎo)要全方位的了解各種情況，深挖問(wèn)題，結(jié)合實(shí)際，做出最快、最優(yōu)的處理決定。
從業(yè)者都應(yīng)該保持對(duì)這份職業(yè)的敬重。