京東第一個(gè)自建數(shù)據(jù)中心是位于宿遷的京東云華東數(shù)據(jù)中心，整體由4個(gè)模塊和1棟綜合大樓組成，總占地面積將近6萬平方米，總投資30億元，可以提供20萬臺(tái)的服務(wù)器安裝和運(yùn)營(yíng)能力，存儲(chǔ)能力不小于32EB，計(jì)算能力不小于128千萬億次每秒。
作為京東的標(biāo)桿項(xiàng)目之一，京東集團(tuán)CTO張晨曾多次在業(yè)界大會(huì)上講到：宿遷自建數(shù)據(jù)中心的綠色環(huán)保技術(shù)，貫穿于其整個(gè)生命周期。從最初的概念設(shè)計(jì)到施工建造，一直到投產(chǎn)后的運(yùn)營(yíng)管理，保證數(shù)據(jù)中心年均PUE≤1.3（實(shí)測(cè)），在華東地區(qū)達(dá)到領(lǐng)先水平。
接下來我們將為大家揭秘京東自建數(shù)據(jù)中心的核心技術(shù)，通過《基礎(chǔ)設(shè)施篇》和《數(shù)據(jù)中心運(yùn)營(yíng)篇》，揭開它創(chuàng)新技術(shù)的神秘面紗。
一、制冷系統(tǒng)的技術(shù)創(chuàng)新
隨著數(shù)據(jù)中心需求和規(guī)模的不斷擴(kuò)大，建設(shè)成本和運(yùn)行成本不可避免的會(huì)成為企業(yè)的考量指標(biāo)。數(shù)據(jù)中心不僅耗電量巨大，耗冷量也不可小覷。據(jù)統(tǒng)計(jì)，數(shù)據(jù)中心空調(diào)系統(tǒng)的能耗一般占總能耗的20%-40%左右，其中制冷壓縮機(jī)的能耗又占到空調(diào)系統(tǒng)總能耗的70%-90%。
降低空調(diào)制冷系統(tǒng)的能耗，將會(huì)是提高數(shù)據(jù)中心能源利用率最直接和有效的措施。因此，利用自然冷源來解決數(shù)據(jù)中心的散熱問題，成為京東自建數(shù)據(jù)中心創(chuàng)新技術(shù)的核心考量之一。
1、Freecooling自然冷卻系統(tǒng)
京東自建數(shù)據(jù)中心選址在江蘇宿遷地區(qū)，一年中大部分時(shí)間的溫度在-5~35℃之間，水資源豐富，屬于暖溫帶季風(fēng)氣候區(qū)。年均氣溫14.2℃，四季分明，初霜期一般在10月下旬。相對(duì)于嚴(yán)寒地區(qū)，室外設(shè)備被凍結(jié)故障的可能性較小，而利用的室外自然冷源的條件又比較充足。為了充分利用冬季室外天然冷源進(jìn)行自然冷卻，冷凍水系統(tǒng)設(shè)置了水-水不銹鋼板式換熱器，與冷水機(jī)組并聯(lián)。
系統(tǒng)中設(shè)計(jì)冷凍水供水溫度為10℃，實(shí)際運(yùn)行中可以提高水溫，來提高系統(tǒng)運(yùn)行整體效率并延長(zhǎng)自然冷卻時(shí)間。實(shí)際運(yùn)行中，冷凍水系統(tǒng)在室外日平均溫度持續(xù)5天以上低于10度時(shí)，切換到自然冷卻系統(tǒng)使用，日平均溫度持續(xù)5天以上高于10度時(shí)，開始退出。全年基本可以分為免費(fèi)制冷季和常規(guī)制冷季。
京東IDC建設(shè)部技術(shù)專家黃軼彪談到：“我們?cè)趥鹘y(tǒng)的Freecooling技術(shù)基礎(chǔ)上，增加了一套自主設(shè)計(jì)的氣候環(huán)境采集控制系統(tǒng)，我們叫“平滑的連續(xù)調(diào)整”的Freecooling技術(shù)。利用這套技術(shù)，完全實(shí)現(xiàn)了制冷系統(tǒng)根據(jù)室內(nèi)外環(huán)境溫度、濕度、系統(tǒng)負(fù)荷大小、平滑連續(xù)的調(diào)節(jié)各組件運(yùn)行狀態(tài)，始終保持系統(tǒng)在最佳的效率區(qū)間。而且全年可以“免費(fèi)”使用自然冷源的時(shí)間高達(dá)180天以上，直接節(jié)約電費(fèi)數(shù)百萬元以上。”
2、制冷系統(tǒng)
制冷系統(tǒng)是數(shù)據(jù)中心的重要組成部分，擔(dān)負(fù)著為數(shù)據(jù)中心提供可靠生產(chǎn)環(huán)境的任務(wù)。京東在宿遷的自建數(shù)據(jù)中心，采用三級(jí)壓縮式冷水機(jī)組，結(jié)合水泵，冷塔變頻控制帶來很好的節(jié)能效果�？照{(diào)制冷系統(tǒng)由冷源系統(tǒng)、管路系統(tǒng)、末端空調(diào)系統(tǒng)和輔助系統(tǒng)等構(gòu)成，數(shù)據(jù)中心專門設(shè)置有制冷機(jī)房。
制冷設(shè)備采用4臺(tái)水冷離心式冷水機(jī)組，3+1配備。壓縮機(jī)形式為三級(jí)離心式，三級(jí)壓縮具有轉(zhuǎn)速低、運(yùn)行平穩(wěn)、低負(fù)荷工況好的特點(diǎn)，加大了機(jī)組制冷量的調(diào)節(jié)范圍，同時(shí)，在三級(jí)壓縮的過程中設(shè)置兩級(jí)節(jié)能器，與不帶經(jīng)濟(jì)器的冷水機(jī)組相比，相同制冷工況下節(jié)電量達(dá)到8-10%。
冷凍水系統(tǒng)的設(shè)計(jì)供回水溫度為10~16℃，主要設(shè)備采用N+1冗余配備，保證系統(tǒng)不會(huì)由于某一設(shè)備故障而受到影響。整個(gè)水系統(tǒng)管路采用環(huán)狀管路，設(shè)備之間設(shè)置雙閥門，保障系統(tǒng)可用性。并配備有在線式蓄冷罐，可以無間斷的為系統(tǒng)提供15mins備用冷源�？照{(diào)制冷系統(tǒng)的整體設(shè)計(jì)滿足并高于Uptime Tier Ⅲ級(jí)別的要求。
3、空調(diào)末端系統(tǒng)
在京東宿遷自建數(shù)據(jù)中心的一期模塊中，主機(jī)房?jī)?nèi)架空地板高度為1.2米。這種較高的架空層有利于空氣靜壓的形成，使通風(fēng)地板的出口風(fēng)速平穩(wěn)。同時(shí)也為地下保溫層和管線的維護(hù)提供了較大的空間。對(duì)于不同負(fù)荷的機(jī)柜，可調(diào)整通風(fēng)地板的開孔面積分配冷量。機(jī)柜采用冷通道封閉的形式，使得空調(diào)送風(fēng)冷卻效率更高。
每個(gè)機(jī)房模塊配有獨(dú)立的直膨式新風(fēng)機(jī)組，室外新風(fēng)經(jīng)初效和中效過濾，并經(jīng)冷卻處理后送入房間，保證機(jī)房正壓需求。主機(jī)房、變配電室、電池室、UPS配電室等均采用水冷式精密空調(diào)，采用N+1配置方式。精密空調(diào)全部采用“UPS+市電”雙路供電，UPS電源為主用；同時(shí)為避免大量空調(diào)同時(shí)啟動(dòng)對(duì)電網(wǎng)造成沖擊，空調(diào)采取了延時(shí)策略。
京東IDC建設(shè)團(tuán)隊(duì)對(duì)所選用的精密空調(diào)，采用了具備節(jié)能設(shè)計(jì)的產(chǎn)品，包括：
- 空調(diào)EC風(fēng)機(jī)葉輪采用航空級(jí)新型工程復(fù)合材料，質(zhì)量更輕，強(qiáng)度更高，也更加節(jié)能；
- 通過控制器根據(jù)實(shí)際冷負(fù)荷按比例設(shè)定送風(fēng)量，滿足外部變化的冷負(fù)荷，降低風(fēng)機(jī)消耗功率，進(jìn)一步實(shí)現(xiàn)節(jié)能；
- 優(yōu)化氣流通道，擴(kuò)大回風(fēng)過濾器面積，減小內(nèi)部壓強(qiáng)，降低風(fēng)機(jī)的功耗；
- 機(jī)組超大面積換熱器，將風(fēng)機(jī)模塊安裝在架空地板下，更好的利用機(jī)組的內(nèi)部空間；
- 精密空調(diào)內(nèi)置電極式加濕器，具有水處理系統(tǒng)，自動(dòng)檢測(cè)加濕罐中的雜質(zhì)含量并清除，減少了氧化結(jié)垢現(xiàn)象。
二、高可靠性的技術(shù)保障
京東在宿遷的自建數(shù)據(jù)中心，核心目標(biāo)之一是全力保證負(fù)荷用電的高可靠性。服務(wù)器電源是整個(gè)數(shù)據(jù)中心供配電系統(tǒng)建設(shè)的重點(diǎn)，了解服務(wù)器電源的相關(guān)特性對(duì)于數(shù)據(jù)中心的供配電系統(tǒng)建設(shè)具有重要的意義。充分了解服務(wù)器電源的容量、冗余方式、制冷要求和能效設(shè)計(jì)等主要指標(biāo)對(duì)于數(shù)據(jù)中心供配電系統(tǒng)的設(shè)計(jì)是十分必要的。
服務(wù)器冗余電源系統(tǒng)最終都可以歸結(jié)到雙電源系統(tǒng)上，如果雙電源服務(wù)器的每一路電源都能通過獨(dú)立的供電路由從獨(dú)立的電源取電，就能夠獲得最高的可靠性。
1、市電專線的供電系統(tǒng)保障
建立京東專屬的110KV開關(guān)站成為達(dá)成高可靠性這一目標(biāo)的絕佳途徑。110KV開關(guān)站緊鄰京東宿遷自建數(shù)據(jù)中心園區(qū)，其上一級(jí)來自兩個(gè)不同的220KV變電站專線。在110KV開關(guān)站內(nèi)設(shè)2臺(tái)變壓器，容量滿足整個(gè)數(shù)據(jù)中心園區(qū)的最大用電量。當(dāng)兩臺(tái)變壓器任意一臺(tái)檢修或發(fā)生故障時(shí)，另一臺(tái)完全滿足園區(qū)內(nèi)所有設(shè)備的正常用電需求。
數(shù)據(jù)中心自建變電站
機(jī)房?jī)?nèi)所有電子信息設(shè)備都采用UPS供電，其中兩個(gè)生產(chǎn)機(jī)房和兩個(gè)網(wǎng)絡(luò)機(jī)房電子的供電模式為2N，其余六個(gè)生產(chǎn)機(jī)房的供電模式則為N+1。輔助設(shè)備電源采用“UPS+市電”的供電模式，單臺(tái)UPS后備蓄電池支撐時(shí)間不小于15分鐘。當(dāng)一路市電電源故障時(shí)，故障回路負(fù)荷自動(dòng)切換給另一回路承擔(dān)。即使當(dāng)兩路市電電源都發(fā)生故障，機(jī)房模塊內(nèi)負(fù)荷由UPS蓄電池供電，同時(shí)備用柴油發(fā)電機(jī)組啟動(dòng)，向機(jī)房模塊、空調(diào)冷源、照明等負(fù)荷供電。
2、后備柴油發(fā)電系統(tǒng)
如果市電發(fā)生斷電，數(shù)據(jù)中心的發(fā)電系統(tǒng)會(huì)自動(dòng)投入運(yùn)行，與市電自動(dòng)切換。并在限定時(shí)間內(nèi)，由發(fā)電機(jī)組啟動(dòng)確保重要負(fù)載的緊急供電。油罐儲(chǔ)油量在無外部支援情況下滿足發(fā)電機(jī)組大于12h帶載連續(xù)運(yùn)行，并有緊急供油協(xié)議作為后繼可靠保障，任意一套油路系統(tǒng)PLC控制出現(xiàn)故障時(shí)，自動(dòng)切換至另外一套PLC控制系統(tǒng)，保證系統(tǒng)供油的可靠性。當(dāng)市電恢復(fù)，經(jīng)過人工確認(rèn)后，手動(dòng)恢復(fù)市電供電。
京東在宿遷的自建數(shù)據(jù)中心，發(fā)電系統(tǒng)全部采用進(jìn)口一線品牌的柴油發(fā)電機(jī)組設(shè)備，具有良好的啟動(dòng)性能。配有發(fā)動(dòng)機(jī)缸套水加熱裝置，可以保證在低溫時(shí)，系統(tǒng)的快速啟動(dòng)和帶載能力。機(jī)組可以承受負(fù)載突加75%的突發(fā)狀況，保證發(fā)電機(jī)組快速啟動(dòng)后可以快速加載。對(duì)并機(jī)主控系統(tǒng)的冗余設(shè)計(jì)， 有效提高了并機(jī)系統(tǒng)的可靠性。發(fā)電機(jī)配置有防潮加熱器，防止因空氣濕度過高降低發(fā)電機(jī)絕緣性能而造成安全風(fēng)險(xiǎn)。
供儲(chǔ)油系統(tǒng)在每個(gè)數(shù)據(jù)中心模塊中獨(dú)立設(shè)置，物理隔離。每個(gè)模塊配置兩個(gè)25立方埋地柴油儲(chǔ)罐，每個(gè)柴油罐配置一用一備2臺(tái)供油泵，兩罐之間配置一臺(tái)倒油泵。儲(chǔ)罐區(qū)至機(jī)房日用油箱間輸油管路為雙環(huán)路設(shè)計(jì)，具備在線檢修及容錯(cuò)能力。
3、非晶合金變壓器
在宿遷自建數(shù)據(jù)中心項(xiàng)目中，IDC建設(shè)團(tuán)隊(duì)選擇采用了非晶合金變壓器，它既有普通干式變壓器阻燃自熄、防潮、耐裂的優(yōu)良性能，又具有非常優(yōu)異的導(dǎo)磁性能，去磁與被磁化的過程極易完成。有利于降低損耗，增加有效載荷，提高效率。與普通干式變壓器技術(shù)參數(shù)相比較，空載損耗下降65%-70%，節(jié)能效果非常顯著。
4、智能照明系統(tǒng)
京東在宿遷的自建數(shù)據(jù)中心，所有主機(jī)房都采用了分布式照明智能控制系統(tǒng)。人員進(jìn)入機(jī)房時(shí)，系統(tǒng)會(huì)根據(jù)感應(yīng)打開該部位的燈具，人員離開時(shí)燈具則按設(shè)定的延時(shí)時(shí)間自動(dòng)關(guān)閉。無人員進(jìn)入機(jī)房時(shí)燈具能滿足運(yùn)維監(jiān)控的最低亮度，達(dá)到節(jié)能與自動(dòng)控制的目的。
三、實(shí)驗(yàn)性技術(shù)創(chuàng)新—6sigma模擬仿真
京東IDC建設(shè)建設(shè)部負(fù)責(zé)人，首席技術(shù)專家張敬特別談到了在京東宿遷自建數(shù)據(jù)中心二期的建設(shè)中，IDC建設(shè)團(tuán)隊(duì)引入的更多更前沿的實(shí)驗(yàn)性項(xiàng)目，包括：“通過6sigma做CFD氣流仿真計(jì)算，了解IDC模塊內(nèi)的氣流組織，溫度分布情況，根據(jù)服務(wù)器的不同負(fù)荷狀態(tài)，推算溫度升高變化。”
“通過建立數(shù)學(xué)模型推算和6sigma CFD系統(tǒng)的驗(yàn)證，在確保服務(wù)器同等負(fù)荷狀態(tài)，以及滿負(fù)荷狀態(tài)，服務(wù)器的實(shí)際需求功耗不增加的前提下，逐步提高服務(wù)器的運(yùn)行溫度，也就是數(shù)據(jù)中心模塊內(nèi)的環(huán)境溫度。”張敬還談到：“于此同時(shí)，我們根據(jù)數(shù)學(xué)推算和CFD仿真驗(yàn)證的結(jié)果，將會(huì)在二期的實(shí)驗(yàn)?zāi)K里引入一些更節(jié)能的冷卻技術(shù)。”
京東IT資源服務(wù)部負(fù)責(zé)人呂科認(rèn)為：“數(shù)據(jù)中心行業(yè)是一個(gè)技術(shù)含量非常高的服務(wù)行業(yè)，它為企業(yè)大量的電子信息設(shè)備提供安全的場(chǎng)所、持續(xù)的電力、適宜的環(huán)境、穩(wěn)定的網(wǎng)絡(luò)以及專業(yè)的運(yùn)維服務(wù)。”
“這些表面看似簡(jiǎn)單的條件，背后卻需要一個(gè)龐大復(fù)雜的綜合系統(tǒng)來支撐。京東在人工智能，無人機(jī)，云計(jì)算等前沿科技領(lǐng)域，不斷推出提升億萬用戶購(gòu)物體驗(yàn)的場(chǎng)景應(yīng)用，正是基于我們持續(xù)技術(shù)創(chuàng)新的數(shù)據(jù)中心服務(wù)。數(shù)據(jù)中心在安全性和可靠性方面的不斷提高，一直會(huì)為這些創(chuàng)新技術(shù)的落地推廣、上線應(yīng)用、穩(wěn)定運(yùn)行保駕護(hù)航。”
