華為安全產(chǎn)品領域總經(jīng)理 左文樹/
伴隨著互聯(lián)網(wǎng)的發(fā)展,黑客網(wǎng)絡攻擊也在不斷增加和發(fā)展,在眾多的網(wǎng)絡攻擊中,拒絕服務攻擊DDoS(Distributed Denial of Service)始終被認為是黑客攻擊的終極武器,在互聯(lián)網(wǎng)發(fā)展不同階段均能掀起血雨腥風。
當前,DDoS攻擊產(chǎn)生了革命性的變化,由純粹的黑客技術炫耀逐漸形成了完整的黑客產(chǎn)業(yè)鏈,進而以惡意競爭、黑色產(chǎn)業(yè)鏈為目的的DDoS攻擊越來越多,攻擊流量也越來越高,2013年3月,針對歐洲反垃圾郵件公司Spamhaus的300G DDoS攻擊創(chuàng)歷史新高。DDoS攻擊,可謂互聯(lián)網(wǎng)揮之不去的夢魘。
防御技術面臨新挑戰(zhàn)在開始談DDoS流量清洗或者防護技術之前,先一起來看看DDoS攻擊發(fā)展趨勢:一方面,以SYN Flood、UDP Flood、DNS Flood為代表的虛假源攻擊,大部分僵尸主機都來自IDC服務器,因此攻擊峰值流量帶寬越來越大,直接威脅網(wǎng)絡基礎設施,如網(wǎng)絡帶寬擁塞導致網(wǎng)絡訪問變慢、DNS服務器癱瘓造成網(wǎng)絡業(yè)務大面積癱瘓;另一方面,針對具體應用的真實源攻擊越來越多,典型代表如針對電子商務、網(wǎng)頁游戲的CC攻擊,此類攻擊因需要僵尸主機和被攻擊服務器建立TCP連接,為了隱藏僵尸網(wǎng)絡,攻擊流量越來越小,仿真程度越來越高,以有效躲避安全設備的識別。
2013年3月,歐洲反垃圾郵件公司Spamhaus的網(wǎng)站遭遇史上最大流量DDoS攻擊,攻擊流量峰值高達300G。同樣從業(yè)界最大Anti-DDoS服務提供商Prolexic于2013年Q2發(fā)布的《Prolexic Quarterly Global DDoS Attack Report》可看到,有17%的DDoS攻擊流量平均帶寬超過60G。大流量DDoS攻擊相對容易檢測,但直接挑戰(zhàn)防御系統(tǒng)的處理性能及對攻擊的快速響應能力,否則攻擊流量如決堤的洪水般會瞬間涌至被攻擊網(wǎng)絡,導致網(wǎng)絡鏈路完全擁塞,部署在接入側的安全設備完全失效。此類攻擊必須依靠部署在網(wǎng)絡上游的超大容量防御系統(tǒng)阻斷,可見對超大帶寬DDoS攻擊的清洗系統(tǒng)比較適合由運營商或專業(yè)Anti-DDoS服務提供商構筑。業(yè)界針對大流量DDoS攻擊的檢測技術比較成熟,采用低成本的flow流分析技術即可。但清洗系統(tǒng)必須由高性能的硬件平臺構成,單機可提供上百G的防御能力,否則防御設備本身就會成為網(wǎng)絡瓶頸。
從DDoS攻擊技術發(fā)展趨勢看,攻擊手段越來越復雜,應用層攻擊越來越像客戶端訪問,直接威脅業(yè)務可用性。針對業(yè)務的應用層DDoS攻擊,最大特點是攻擊目標經(jīng)過精心挑選,攻擊流量小,攻擊流量速度慢、持續(xù)時間長、手段隱蔽、攻擊源分散等,最終形成的攻擊效果是服務器IP可達,業(yè)務不可用。
DDoS攻擊檢測系統(tǒng)主要依靠流量模型識別攻擊,流量模型越精確,越容易發(fā)現(xiàn)攻擊。應用層小流量攻擊檢測難點在于小流量的攻擊報文淹沒在大流量的網(wǎng)絡訪問報文中,直接挑戰(zhàn)檢測設備流量模型的精準度。以10G訪問背景流量下,針對移動Web應用的DDoS攻擊為例,攻擊流量峰值僅有250kbps(50QPS,平均包長600字節(jié)),但只要攻擊目標選擇合理,比如請求不存在的資源,每次查詢都需要查詢數(shù)據(jù)庫,即可導致被攻擊URI無法響應正常用戶請求。當采用傳統(tǒng)flow檢測技術時,為了減少flow流日志對路由器轉發(fā)性能的影響,一般抽樣比設置為10000:1,而250k的攻擊流量隱藏在10G的正常訪問流量中,攻擊報文僅占三十萬分之一,這么大的抽樣比,很難抽取到攻擊報文。因此對flow流分析設備而言,攻擊流量越小,越難反映到流量基線的變化。此外,flow流技術描述流量基線的模型僅限于pps和bps,無法深入到應用層,無法用QPS描述業(yè)務訪問流量模型。由此可見,flow流技術確實不適合做應用層攻擊檢測。
而且針對應用層的攻擊高度模擬業(yè)務訪問行為,攻擊源分散,每個源的訪問流量甚至還小于正常客戶端的訪問流量。尤其是針對移動Web應用的DDoS攻擊,導致傳統(tǒng)防御系統(tǒng)重定向防御技術失效,傳統(tǒng)防御系統(tǒng)則只能采取類似限制源的連接數(shù)以緩解攻擊。但對移動應用而言,正常訪問源即智能終端來自大量移動網(wǎng)關,最終體現(xiàn)為每個正常源IP(移動網(wǎng)關IP)的連接數(shù)比攻擊源的連接數(shù)還高,因此限制連接數(shù)的做法會直接導致訪問中斷。
引入大數(shù)據(jù)分析華為率先把“大數(shù)據(jù)”技術應用到DDoS檢測和防御中,從而在高仿真、高隱蔽性DDoS攻擊檢測與防御方面走在了業(yè)界前列。
為什么要大數(shù)據(jù)?
RSA執(zhí)行主席Art Coviello在2013年RSA大會上談到他對安全行業(yè)中大數(shù)據(jù)應用的觀點:“我看好大數(shù)據(jù)。從大數(shù)據(jù)分析中獲取情報意味著我們不再只是響應攻擊。黑客將如何攻擊我們,這并不重要。重點在于從預防模式跳出來,大數(shù)據(jù)將讓你更快速地檢測和響應攻擊。”
快速發(fā)現(xiàn)和響應應用層攻擊的首要條件是防御系統(tǒng)能夠多維度地精確描述流量模型。流量模型又可分為業(yè)務訪問的流量模型和攻擊的流量模型兩種,業(yè)務訪問的流量模型用于描述沒有攻擊時的網(wǎng)絡狀態(tài),一旦業(yè)務訪問流量模型發(fā)生變化,說明網(wǎng)絡有異常。對于一次50QPS的CC攻擊,250k的攻擊流量隱藏在10G的正常訪問流量中,攻擊報文僅占30萬分之一,僅僅用針對80端口的TCP報文的pps顯然難以描述出業(yè)務訪問模型的變化。事實上,用于檢測攻擊的業(yè)務訪問模型必須用到目的IP的http get報文速率即QPS描述。為了防止正常訪問流量突變,比如“雙11”網(wǎng)絡購物熱潮引起的QPS突變引入檢測誤判,還可以依靠高危URI訪問流量模型變化監(jiān)控攻擊。而對攻擊的流量模型則比較適合各類針對會話缺陷或應用缺陷的慢速攻擊檢測,比如TCP retransmission attack、socktress、SSL-DoS/DDoS、http slow headers/post attack,此類攻擊流量更小,隱蔽性更強,但攻擊效果非常明顯。此類攻擊必須基于源+會話的維度描述,由此可見,針對攻擊的流量模型的描述是否準確是快速檢測慢速攻擊的關鍵。
由以上分析可以看出,防御系統(tǒng)要想快速發(fā)現(xiàn)和響應攻擊,必須具備完整、無誤地描述防護網(wǎng)絡的各種流量模型的能力,這就要求防御系統(tǒng)能夠對防護網(wǎng)絡做全流量拷貝,基于大數(shù)據(jù)逐包統(tǒng)計、分析、對比。
華為擁有一個超過300人的專業(yè)攻防團隊,實時監(jiān)控和分析全球安全事件,針對每一類新型DDoS構建數(shù)據(jù)模型、開發(fā)關聯(lián)分析算法,以確保高檢出率。
大數(shù)據(jù)全流量采集及分析
- 全流量采集:首先從流量選取上一定要“全”,大數(shù)據(jù)的核心理念之一就是只有提取全面,后續(xù)的分析才能精準。華為Anti-DDoS方案采用旁路部署方式,對1:1鏡像或者分光過來的流量進行全流量分析,以確保防護網(wǎng)絡流量模型學習及攻擊檢測的精準度。以數(shù)據(jù)中心邊界防護為例進行說明,要以低成本部署實現(xiàn)對來自外部的DDoS攻擊的防御能力,僅對入數(shù)據(jù)中心的流量進行全流量采集。以百G帶寬數(shù)據(jù)中心為例,假設數(shù)據(jù)中心入和出的流量比例為1:10,進入檢測系統(tǒng)的流量,1秒鐘10G,1分鐘600G,1天高達864T,1周的數(shù)據(jù)就更大得驚人——756TB!
華為Anti-DDoS方案對從防護網(wǎng)絡鏈路拷貝到的流量,從3/4/7層分60多種維度建立流量模型,進行關聯(lián)分析,生成業(yè)務訪問動態(tài)流量基線,然后基于動態(tài)流量基線自動生成攻擊防護策略檢測閾值。動態(tài)流量基線的學習周期默認為1周,為適應網(wǎng)絡流量模型因業(yè)務變化而發(fā)生變化,流量基線學習也是以學習周期為一個循環(huán),不斷學習不斷調(diào)整、更新檢測閾值。因此,對一個10G帶寬網(wǎng)絡鏈路,華為Anti-DDoS方案每建立一套DDoS檢測閾值,就必須處理高達756TB的數(shù)據(jù)。帶寬越大,需要處理的數(shù)據(jù)就越多。
- 大數(shù)據(jù)關聯(lián)分析技術,提升檢測和防御精度:華為Anti-DDoS方案對防護網(wǎng)絡進行60多種維度的流量基線模型學習時,基于高性能多核CPU并行處理硬件,采用大數(shù)據(jù)處理技術,以確;學習的高效性;竟ぷ髟硎牵毫髁窟M入Anti-DDoS系統(tǒng)的接口板,進行并發(fā)分流處理,到達各業(yè)務板的每個CPU,一個CPU又可分為多個微處理器,各微處理器同一時間并行處理采集到的流量,以提升處理性能。整個系統(tǒng)采用“MapReduce”大數(shù)據(jù)處理思想,將學習的60多種維度的流量模型定義成層次化的數(shù)據(jù)結構,根據(jù)報文類型有針對性地分解、統(tǒng)計、分析,最后將分析結果記錄到相應的數(shù)據(jù)結構。
動態(tài)基線學習結束后,攻擊檢測流程實質(zhì)上就是不斷將進入設備的報文按3/4/7層逐層解析,以1秒為計算單位,按照這60多種維度進行精細化統(tǒng)計,然后將統(tǒng)計結果和攻擊檢測閾值相比較,當流量統(tǒng)計值大于攻擊檢測閾值,則認為流量異常,觸發(fā)防御流程,這個響應時間在秒級。一般現(xiàn)網(wǎng)DDoS攻擊在5分鐘之內(nèi),可輕松升至20G,可見,秒級的響應攻擊延遲是領先的Anti-DDoS系統(tǒng)的必備條件。
由此可見,Anti-DDoS系統(tǒng)要做到輕松應對網(wǎng)絡層攻擊、應用層攻擊、會話層威脅及各類慢速攻擊,且做到秒級攻擊響應延遲,必須依托高性能的硬件平臺,在大數(shù)據(jù)全流量采集的前提下,實施多維度的統(tǒng)計和檢測,真正有能力做到不漏判、不誤判。
精準與實時性缺一不可
攻擊檢測的精準度完全取決于流量模型的精細化程度。華為Anti-DDoS系統(tǒng)可實現(xiàn)從防護網(wǎng)段、防護目標IP、及源IP這3個維度展開學習,按網(wǎng)絡層次不同又可將統(tǒng)計點分為網(wǎng)絡層、會話層、應用層3大縱向維度,統(tǒng)計點又可以進一步細分為pps、bps、QPS、訪問比例。為了提升檢測精度和降低防御誤判,系統(tǒng)還分別從網(wǎng)絡層、會話層及應用層對TOP N訪問源IP及訪問資源進行學習,這些業(yè)務訪問TOP N流量模型,不僅可用來快速發(fā)現(xiàn)攻擊,還可用于檢驗防御效果。其中基于會話的多維度統(tǒng)計分析,并結合行為分析技術進行關聯(lián)分析發(fā)現(xiàn)和防御各類慢速攻擊是華為Anti-DDoS解決方案的特有技術。
同時為提升防御時的客戶體驗,華為Anti-DDoS系統(tǒng)采用會話維度建立業(yè)務訪問IP信譽體系,當攻擊發(fā)生時,直接作為白名單,快速轉發(fā)業(yè)務訪問流量。業(yè)務訪問IP信譽的數(shù)量最大最高可達40M,足以滿足攻擊發(fā)生時業(yè)務訪問流量快速轉發(fā)需求。
從以上分析可以看出,為了應對越來越像正常用戶業(yè)務訪問的DDoS攻擊,基于大數(shù)據(jù)的DDoS攻擊檢測,必須保證攻擊檢測的精準以確?焖夙憫,同時又要保證防御的精準,以確保防御不影響用戶體驗。
歷經(jīng)考驗,表現(xiàn)卓越2013年11月11日——“雙11”網(wǎng)絡購物節(jié)當天,國內(nèi)著名的電子商務網(wǎng)站阿里巴巴的網(wǎng)上流量峰值達到了數(shù)Tbps,與此同時阿里巴巴的業(yè)務系統(tǒng)也遭受著多輪DDoS攻擊,有近20Gbps的大流量攻擊,也有小于500Mbps的應用層攻擊,每輪攻擊華為的清洗方案均在2秒內(nèi)成功阻斷,無漏報誤報現(xiàn)象,有力地保障了阿里巴巴“雙11”的業(yè)務正常運轉,充分驗證了大數(shù)據(jù)時代華為Anti-DDoS技術的優(yōu)勢。
除此之外,華為Anti-DDoS系統(tǒng)在全球多個國家的數(shù)據(jù)中心均有成功部署,每天成功抵御攻擊次數(shù)上萬次,防護效果獲得客戶的一致好評。