DAL是X國一家大型遠洋運輸公司，業(yè)務包含航運、倉儲、陸運、貨物裝卸、船舶管理等。白天營業(yè)時間，大約處理10W筆左右的貨物交易訂單。夜間非營業(yè)時間，需要進行數(shù)據(jù)整合、數(shù)據(jù)備份等操作，用于制定倉儲計劃、船舶調度計劃。為了不影響第二天的日間營業(yè)，夜間操作必須在凌晨6點之前全部完成。2013年初，DAL計劃增加至北美的航線，預計每天交易訂單數(shù)量會增長到15W筆。當前系統(tǒng)無法在規(guī)定時間內消化15W筆交易數(shù)據(jù)，而交易數(shù)據(jù)每延遲一天，DAL將損失近10萬歐元。通過分析，主要性能瓶頸出現(xiàn)在數(shù)據(jù)庫與磁盤的并發(fā)訪問量和響應時延上。在業(yè)務壓力增大時，原存儲系統(tǒng)IO時延急劇上升，在峰值時期IOPS達到20W左右，此時存儲IO平均時延高達8ms。高時延IO導致數(shù)據(jù)庫運行中80%的時間被用于IO等待，從而導致批處理時間過長。要徹底解決數(shù)據(jù)庫性能問題，必須讓存儲系統(tǒng)在高IOPS壓力的同時將時延控制在一個比較低的水平。最終，將15W筆交易訂數(shù)據(jù)處理時間縮短至規(guī)定時間內，支撐業(yè)務順利擴張。

　　尋找IT效率提升的最佳途徑

　　隨著企業(yè)數(shù)據(jù)中心所承載的業(yè)務越來越多，數(shù)據(jù)越來越頻繁的流動和使用，對更低時延，更高服務級別保證等特性的訴求也將愈發(fā)明顯。各行各業(yè)的應用千差萬別，無論是全面的企業(yè)資源計劃，還是用戶關系管理，抑或是企業(yè)生產過程中的采購、生產、分銷等流程，企業(yè)管理中的財務、人事、分析決策，都離不開成熟度的高性能IT系統(tǒng)支撐。在公共事務領域，同樣也經歷著這樣的變化。隨著云計算和服務器虛擬化進程的加速，IT設備需要從滿足從單一應用走向面向多業(yè)務整合。用戶對等待的時間和結果的可獲得性都有越來越高的要求，這對企業(yè)IT系統(tǒng)的事務響應時間、并發(fā)處理能力、查詢作業(yè)的時間長度提出了苛刻挑戰(zhàn)，越來越多的用戶開始關心IT系統(tǒng)的效率優(yōu)化。總是想盡各種辦法提升性能，比如增加服務器的數(shù)量、提升服務器配置、讓服務器的負載低于10%等等。這些手段無一例外都是習慣性加強服務器以滿足應用數(shù)據(jù)庫性能需求的思維定勢，使得大部分用戶環(huán)境中計算能力超出存儲能力，卻沒有真正消除性能瓶頸。華為通過對近百個有類似問題的用戶系統(tǒng)的調查顯示，約87%的系統(tǒng)性能問題出現(xiàn)在存儲子系統(tǒng)與應用數(shù)據(jù)庫的交互上。換言之，存儲子系統(tǒng)的響應時延、并發(fā)訪問量決定了應用系統(tǒng)的響應時延與并發(fā)量，成為整個系統(tǒng)的性能瓶頸。

　　存儲系統(tǒng)響應時間，即時延，正變成一個用戶關注的指標，特別是對于很多企業(yè)關鍵應用（mission-critical business）來講，決定最終用戶的體驗，不僅僅看IO吞吐量，時延也是非常關鍵的指標。通過提供穩(wěn)定的低時延保證，一方面可以保證和改善用戶體驗，另一方面能夠減少服務器的數(shù)量，還會在空間、能耗等方面給用戶帶來更多價值。反過來，時延的改善能促進應用系統(tǒng)對IOPS的需求。對于一個數(shù)據(jù)密集型的應用，如果數(shù)據(jù)訪問的時延降低了90%，那么客戶對IOPS的需求就可能會最多提升10倍。特別是針對OLTP、OLAP這些應用，這樣的情況會表現(xiàn)得非常明顯，收益也會是巨大的。另外，高性能計算、虛擬桌面等領域對高IOPS也有很大的需求。

　　特別強調一點，這里講的是時延保證，即應用響應的最大時延，換算成專業(yè)術語是99%以上I/O的時延。而非傳統(tǒng)意義上的平均時延。99%的時延比平均時延對應用有更大的價值，原因在于當前大多數(shù)應用都是在線數(shù)據(jù)密集型應用，一個用戶的請求會產生多個并發(fā)的訪問，影響最終對用戶應用的是這些并發(fā)訪問中最慢的那個響應。99%的時延正好可以體現(xiàn)這一要求，而平均時延則顯得沒有多少意義。這就是業(yè)界對99%的時延強烈關注的主要原因。如下圖所示，隨著業(yè)務壓力不斷增長，存儲系統(tǒng)處理的IO數(shù)目不斷增多，而在面對大IO壓力（如百萬級IOPS）的情況下仍能保持持續(xù)穩(wěn)定的低時延才是支撐應用快速響應的關鍵因素。

　　<1ms穩(wěn)定時延--一扇即將開啟的大門

　　那么對用戶來說，時延究竟要低到什么程度才能更好的滿足應用的需求？1ms的時延已經成為一個分水嶺，成為閃存存儲系統(tǒng)和磁盤存儲系統(tǒng)的重要差異，系統(tǒng)必須要設計提供一種良好的分布式并發(fā)機制，解決大規(guī)模并發(fā)訪問下低時延的保證問題。當我們將時延降低1-2個數(shù)量級時，我們仿佛進入了一個全新的世界。原來感覺很快的處理，現(xiàn)在可能已經變得慢起來。就像汽車與飛機，速度也就差1個數(shù)量級，但它們在設計中關注完全不同的問題。當我們將存儲時延降低至300-500us時， iscsi協(xié)議帶來的接近100us的延遲已經變得難以接受，而這在傳統(tǒng)的10ms總時延的設備上根本無需關注。微秒級時延讓我們進入了新的世界，我們需要以探索的精神，重新審視一下請求處理的各個環(huán)節(jié)，硬件和軟件、架構和協(xié)議，使得每一個處理達到us級的精準控制。

　　傳統(tǒng)以磁盤為中心的存儲，時延最大出現(xiàn)在磁盤數(shù)據(jù)的訪問，要想實現(xiàn)微秒級的時延目標，是完全不可能的事情。但隨著閃存的規(guī)模應用，大量關鍵數(shù)據(jù)可以放置到SSD上，完全可以使得數(shù)據(jù)的訪問小于1ms。SSD是依靠低時延來支撐高IOPS的，這與堆砌HDD來增加并發(fā)能力進而提高IOPS的做法，是完全不同的，而事實上低時延更能夠幫助業(yè)務系統(tǒng)提升性能，并減少在存儲基礎設施上的投資。SSD內部的控制器支持多通道并發(fā)訪問后端的NAND Flash，所以SSD在支持低響應時延的同時也支持真正的多并發(fā)，從而將性能發(fā)揮出來。

　　時延問題的本質是存儲介質的問題，如果選擇HDD，時延就只能到達10ms水平；如果選擇閃存，則可以控制在1ms，乃至300us水平；如果選擇DRAM，則可以控制在100us，最佳可以控制的10us。盡管介質是最為本質的選擇，但最終結果往往并不是僅僅選擇合適的介質就能完全決定的。時延的問題是一個相當復雜的問題，介質只是里面最關鍵的一個環(huán)節(jié)，一個存儲請求，從IO接口進入存儲系統(tǒng)，到最后從IO接口返回給用戶，要經過多個臨界資源的處理（CPU、鎖、Cache、存儲介質、內聯(lián)網絡、IO接口等等），要進入多個隊列排隊，每次排隊和處理都會帶來時延。再加上優(yōu)先級的爭奪，OS調度帶來的干擾，特別是在要求越來越高的時延要求下，軟件處理和協(xié)議棧開銷也將成為被重點關注的對象。

　　閃存與系統(tǒng)深度融合--微秒級時延的設計思想

　　首先，必須要針對閃存的特性設計，而不僅僅是在傳統(tǒng)陣列的設計上更新閃存盤。眾所周知，傳統(tǒng)陣列是圍繞著緩存（Cache）展開的，一般使用比較節(jié)省內存、但是操作相對較為耗時的樹形數(shù)據(jù)結構來作為cache的索引表，由于HDD的速度并不夠快，通過Cache技術，傳統(tǒng)陣列能夠提供讀命中，以降低讀時延；能夠提供回寫，以降低寫時延。這種設計思路導致如果我們直接將SSD插入傳統(tǒng)陣列，只能發(fā)揮SSD的一小部分性能。而對于閃存陣列，情況則發(fā)生了變化。SSD的時延大約只有數(shù)十到數(shù)百us，比HDD低出1個數(shù)量級以上。在這種情況下，針對傳統(tǒng)存儲陣列所設計的索引表所引入的時延，變得突出起來，會極大地影響SSD性能的發(fā)揮。于是在閃存陣列系統(tǒng)中，必須要選擇一種不同于傳統(tǒng)存儲陣列的數(shù)據(jù)結構來作為cache索引表。新的數(shù)據(jù)結構可以適當多占一些內存，但是操作（查找、插入、刪除）時延一定要很低。雖然這會導致較高的CPU占用率和內存占用率，但為了得到更好的性能，我們不能也無需在閃存陣列上設計復雜的Cache，應盡量釋放CPU來處理更多的IO。由此看來，系統(tǒng)的瓶頸點在不同的系統(tǒng)上發(fā)生了遷移，于是在設計和開發(fā)時，需要向關鍵路徑要時間、向非關鍵路徑要資源。傳統(tǒng)存儲陣列是拿時間換空間，而閃存陣列是拿空間換時間。

　　另一方面，對于HDD，隨機訪問和順序訪問的數(shù)據(jù)吞吐量差異超過100倍，而對于SSD，其隨機訪問和順序訪問的吞吐量差異只有2-4倍。因為HDD的順序訪問和隨機訪問之間存在巨大的數(shù)據(jù)交換速率差異，因此傳統(tǒng)存儲陣列中的各種各樣cache算法，都是圍繞如何盡量順序訪問HDD來設計的。而SSD的順序訪問和隨機訪問之間，數(shù)據(jù)交換速率差異沒有那么大，情況發(fā)生了巨大的變化。這反映了一個事實：適用于HDD的cache淘汰算法，不一定適用于SSD。實際上，在閃存陣列中，我們更關心的問題是，cache中的數(shù)據(jù)是否做到了按閃存頁面對齊和補滿、是否有效防止了一次性訪問數(shù)據(jù)對cache造成了污染、選擇淘汰對象時的開銷是否合理。通過基于SSD的專利淘汰算法，能夠有效識別并區(qū)分順序訪問產生的數(shù)據(jù)、臨時訪問產生的數(shù)據(jù)、熱數(shù)據(jù)，并迅速找出低價值數(shù)據(jù)進行淘汰，同時深度配合華為自研SSD顆粒特性，選擇臟數(shù)據(jù)下刷到SSD時，盡量匹配SSD的閃存頁面粒度和ECC校驗，從而有效減小SSD的寫懲罰和寫放大。

　　隨著云計算和服務器虛擬化進程的加速，前端服務器的整合帶來了后端存儲網絡和存儲設備的整合，整合的背后，導致存儲設備需要從滿足單一應用走向面向多業(yè)務的整合。存儲行業(yè)正在發(fā)生深刻地革命性的變化，云計算推動了數(shù)據(jù)中心的整合，也將推動存儲走向融合和統(tǒng)一。閃存作為新介質，正在承擔主存的使命，驅動著存儲架構的變化，向用戶和應用提供新的存儲評價指標——一致性的低時延。華為通過將閃存與系統(tǒng)深度融合，完全圍繞著閃存特點來設計，充分發(fā)揮閃存高IOPS、低時延的優(yōu)勢、規(guī)避閃存擦寫次數(shù)有限的劣勢，力求為企業(yè)用戶提供百萬級IOPS、微秒級穩(wěn)定時延的存儲服務，滿足企業(yè)數(shù)據(jù)中心的長期需求。