HPC與AI、大數(shù)據(jù)走向融合，HPDA應(yīng)運(yùn)而生
5G、云、AI等新ICT技術(shù)的快速發(fā)展使視頻、圖片等數(shù)據(jù)呈指數(shù)級(jí)增長(zhǎng)，從數(shù)據(jù)增長(zhǎng)軌跡中可以預(yù)測(cè)到，未來(lái)幾年數(shù)據(jù)量將達(dá)到百ZB的水平，從而促使HPC行業(yè)從計(jì)算驅(qū)動(dòng)演進(jìn)為數(shù)據(jù)驅(qū)動(dòng)�；厥走^(guò)往15年以來(lái)HPC存儲(chǔ)增長(zhǎng)的多種驅(qū)動(dòng)因素，可以發(fā)現(xiàn)它與AI、大數(shù)據(jù)的飛速發(fā)展密不可分，進(jìn)而催生出以數(shù)據(jù)分析生態(tài)為主的HPC解決方案，并在多個(gè)至關(guān)重要的科學(xué)領(lǐng)域中得到應(yīng)用，如計(jì)算科學(xué)建模和數(shù)據(jù)分析。計(jì)算科學(xué)建模和數(shù)據(jù)分析兩個(gè)生態(tài)在解決方案和技術(shù)上的融合是加速科學(xué)發(fā)現(xiàn)的關(guān)鍵因素。在此背景下，高性能數(shù)據(jù)分析（HPDA）應(yīng)運(yùn)而生并迅速發(fā)展。
從計(jì)算到數(shù)據(jù)，是HPC市場(chǎng)發(fā)展的必然。從傳統(tǒng)HPC建模/仿真應(yīng)用向新的HPDA/AI/ML/DL應(yīng)用演進(jìn)，其主要特點(diǎn)是從計(jì)算密集型負(fù)載向數(shù)據(jù)密集型負(fù)載轉(zhuǎn)變，有助于研究人員、工程師和業(yè)務(wù)數(shù)據(jù)分析師從最佳性能的HPC基礎(chǔ)設(shè)施中，更快地獲取研究結(jié)果并對(duì)其進(jìn)行分析總結(jié)。
HPDA/AI的快速發(fā)展推動(dòng)著傳統(tǒng)HPC建模/仿真應(yīng)用不斷轉(zhuǎn)型升級(jí)，然而HPDA/AI/ML/DL技術(shù)所產(chǎn)生的數(shù)據(jù)越來(lái)越多，給現(xiàn)有HPC存儲(chǔ)生態(tài)系統(tǒng)帶來(lái)巨大壓力，要解決和優(yōu)化這兩種類型的負(fù)載，就要高度重視并大力建設(shè)HPC存儲(chǔ)基礎(chǔ)設(shè)施。
科技強(qiáng)國(guó)政策的背景下，我國(guó)開始大力發(fā)展和推進(jìn)HPC事業(yè)，建立隸屬于科技部的國(guó) 國(guó)家超級(jí)計(jì)算濟(jì)南中心發(fā)展勢(shì)頭迅猛，構(gòu)建引領(lǐng)全球科技發(fā)展的“最強(qiáng)大腦”家超級(jí)計(jì)算中心，用于發(fā)展高性能計(jì)算相關(guān)產(chǎn)業(yè)與應(yīng)用。截至2021年，科技部批準(zhǔn)建立了國(guó)家超級(jí)計(jì)算濟(jì)南中心、國(guó)家超級(jí)計(jì)算天津中心、國(guó)家超級(jí)計(jì)算深圳中心等八所國(guó)家超級(jí)計(jì)算中心。
目前，濟(jì)南超算正在主導(dǎo)山東省“超級(jí)計(jì)算大科學(xué)工程”，研制建設(shè)全球算力領(lǐng)先的新一代超級(jí)計(jì)算機(jī)，通過(guò)根植山東、覆蓋全國(guó)、輻射全球的超算互聯(lián)網(wǎng)建設(shè)，構(gòu)建“E級(jí)超算、人工智能、大數(shù)據(jù)、工業(yè)互聯(lián)網(wǎng)”等大科學(xué)裝置集群，形成國(guó)際一流的“超算大腦”，力爭(zhēng)成為推動(dòng)國(guó)家基礎(chǔ)科學(xué)進(jìn)步和重大技術(shù)攻關(guān)，助力山東省走在“新動(dòng)能”的最前沿。
面對(duì)挑戰(zhàn)，濟(jì)南超算積極追求HPC存儲(chǔ)架構(gòu)轉(zhuǎn)型
人工智能、大數(shù)據(jù)等新型應(yīng)用進(jìn)入到超算科研領(lǐng)域，推動(dòng)濟(jì)南超算改革創(chuàng)新發(fā)展，由單一計(jì)算服務(wù)向計(jì)算加多元數(shù)據(jù)處理服務(wù)轉(zhuǎn)變。
濟(jì)南超算在創(chuàng)新改革中，正在面臨如下變化與挑戰(zhàn):
- 首先，數(shù)據(jù)量的激增帶來(lái)傳輸與存儲(chǔ)成本的挑戰(zhàn)。數(shù)據(jù)量的激增主要有兩個(gè)原因：一是參與計(jì)算的原始數(shù)據(jù)不僅多且雜；二是數(shù)據(jù)多環(huán)節(jié)處理計(jì)算帶來(lái)數(shù)據(jù)的過(guò)度膨脹。伴隨著人工智能和大數(shù)據(jù)等新興產(chǎn)業(yè)的爆炸式增長(zhǎng)，超算需要處理更多數(shù)據(jù)，既有結(jié)構(gòu)化數(shù)據(jù)又有非結(jié)構(gòu)化數(shù)據(jù)，而在線傳輸這些數(shù)據(jù)可能需耗費(fèi)數(shù)周，拷貝TB-PB級(jí)數(shù)據(jù)時(shí)更是要耗費(fèi)數(shù)月，這些都是超算中心在轉(zhuǎn)型過(guò)程中無(wú)法規(guī)避的難題。
- 其次，存儲(chǔ)資源搶占導(dǎo)致整體計(jì)算效率不高。當(dāng)前多數(shù)超算場(chǎng)景為多任務(wù)、多并發(fā)計(jì)算，一些作業(yè)對(duì)帶寬要求很高，另一些對(duì)IOPS要求高，多任務(wù)并發(fā)造成存儲(chǔ)資源搶占，則會(huì)導(dǎo)致整體計(jì)算效率被拉低。例如生命科學(xué)作業(yè)等大帶寬類作業(yè)增多時(shí)，整個(gè)計(jì)算效率會(huì)變得非常緩慢，從而影響整個(gè)超算中心的作業(yè)效率。
- 此外，濟(jì)南超算業(yè)務(wù)在與傳統(tǒng)數(shù)據(jù)中心類業(yè)務(wù)融合過(guò)程中，也面臨著數(shù)據(jù)管理及數(shù)據(jù)孤島的挑戰(zhàn)。在提供如人工計(jì)算、大數(shù)據(jù)、虛擬化和災(zāi)備等多元化服務(wù)時(shí)，面對(duì)萬(wàn)級(jí)用戶群體及各種數(shù)據(jù)形式的讀寫（如文件存儲(chǔ)、虛擬化的塊存儲(chǔ)、AI的對(duì)象存儲(chǔ)、大數(shù)據(jù)的HDFS存儲(chǔ)等），都會(huì)增加管理難度，且數(shù)據(jù)間易呈現(xiàn)割裂的孤島狀態(tài)。如何讓數(shù)據(jù)流動(dòng)起來(lái)進(jìn)而促進(jìn)跨域創(chuàng)新，是濟(jì)南超算急需解決的問(wèn)題。
濟(jì)南超算攜手華為OceanStor全閃存，打造標(biāo)桿級(jí)新型超算中心
華為OceanStor全閃存超高性能、超高吞吐量滿足多平臺(tái)、多類型作業(yè)需求，為濟(jì)南超算發(fā)展降本增效。為滿足濟(jì)南超算的HPC平臺(tái)、AI平臺(tái)及云平臺(tái)各集群間存儲(chǔ)需求的差異性，平臺(tái)規(guī)劃建設(shè)存儲(chǔ)系統(tǒng)容量220PB，涵蓋高性能存儲(chǔ)系統(tǒng)、對(duì)象存儲(chǔ)、塊存儲(chǔ)、NAS存儲(chǔ)，可滿足各類應(yīng)用對(duì)存儲(chǔ)的需求。其中高性能文件存儲(chǔ)系統(tǒng)配套的全閃存儲(chǔ)系統(tǒng)容量15PiB。華為OceanStor全閃存憑借TBps級(jí)帶寬，千萬(wàn)級(jí)IOPS超算主存系統(tǒng)，完全能滿足超算綜合場(chǎng)景高帶寬及高IOPS等性能需求，提升業(yè)務(wù)效率，加速業(yè)務(wù)創(chuàng)新，整體帶寬超1000GB/s，有效解決資源搶占拉低整體作業(yè)效率的問(wèn)題。同時(shí)，采用數(shù)據(jù)圖像壓縮算法，進(jìn)一步提升了存儲(chǔ)空間的利用率，大大降低了海量數(shù)據(jù)的存儲(chǔ)成本，為超算中心的持續(xù)發(fā)展降本增效。
華為OceanStor全閃存綠色節(jié)能，科技助力“碳達(dá)峰”。無(wú)論是基于國(guó)家政策的導(dǎo)向，還是超算中心降本增效的考量，綠色節(jié)能已逐步落地到生產(chǎn)和經(jīng)營(yíng)的方方面面。在數(shù)據(jù)中心層面，采用華為OceanStor全閃存是理想的解決方案，可以極大縮減數(shù)據(jù)中心空間和能耗的開支，由此帶來(lái)的高資源利用率和高成本效益是驅(qū)動(dòng)全閃存系統(tǒng)出貨量增長(zhǎng)的重要因素。
華為和客戶聯(lián)創(chuàng)主存、對(duì)象存儲(chǔ)等系統(tǒng)間數(shù)據(jù)流動(dòng)方案，解決客戶數(shù)據(jù)存儲(chǔ)難題。華為OceanStor全閃存已經(jīng)充分適配并能高效支撐起超算業(yè)務(wù)，面向未來(lái)的合作層面，濟(jì)南超算與華為成立了存儲(chǔ)創(chuàng)新中心，在數(shù)據(jù)流動(dòng)、數(shù)據(jù)服務(wù)、和數(shù)據(jù)安全等方面展開深入研究并孵化產(chǎn)業(yè)；面向超算領(lǐng)域?qū)用�，�?jì)南超算與華為提供了技術(shù)創(chuàng)新方向和解決方案，共同打造全球領(lǐng)先的智能數(shù)據(jù)與存儲(chǔ)的示范點(diǎn)、產(chǎn)業(yè)基地。依托華為OceanStor存儲(chǔ)存算占比1:1.5的數(shù)據(jù)流動(dòng)方案，濟(jì)南超算將具備國(guó)內(nèi)HPC領(lǐng)域容量最大、性能最高的全閃存陣列集群，可以解決濟(jì)南超算當(dāng)前面臨的塊、對(duì)象、文件互訪難題，打通數(shù)據(jù)流通，促進(jìn)數(shù)據(jù)跨域創(chuàng)新，為濟(jì)南超算未來(lái)創(chuàng)新業(yè)務(wù)探索持續(xù)助力。華為提供API接口并聯(lián)合濟(jì)南超算共同定制開發(fā)，實(shí)現(xiàn)基于數(shù)據(jù)流動(dòng)任務(wù)和策略，實(shí)現(xiàn)數(shù)據(jù)流動(dòng)的服務(wù)化和可視化。華為與濟(jì)南超算共同基于客戶數(shù)據(jù)屬性標(biāo)簽化進(jìn)行定制開發(fā)，實(shí)現(xiàn)數(shù)據(jù)流動(dòng)的安全管理。
業(yè)內(nèi)人士認(rèn)為，華為與濟(jì)南超算合作是一個(gè)典型的標(biāo)桿案例，濟(jì)南超算之所以選擇華為OceanStor全閃存，與其高效、節(jié)能的端到端超算存儲(chǔ)解決方案和技術(shù)創(chuàng)新能力密不可分。華為OceanStor全閃存具備敏捷性、高效率、可用性、安全性、面向云業(yè)務(wù)的適配性等特點(diǎn)，同時(shí)基于業(yè)界領(lǐng)先的技術(shù)和架構(gòu)，與我國(guó)全面推動(dòng)的“新基建”戰(zhàn)略高度契合。此外，華為OceanStor全閃存高密度、低功耗的特點(diǎn)可以顯著降低超算中心PUE，賦能濟(jì)南超算完成HPC存儲(chǔ)架構(gòu)轉(zhuǎn)型升級(jí)，加速產(chǎn)業(yè)生態(tài)創(chuàng)新發(fā)展，以“超算速度”助推濟(jì)南超算成為全球超算中心的領(lǐng)跑者。
