Al/ML集群互聯(lián)對HPC和數(shù)據(jù)中心互聯(lián)提出新挑戰(zhàn)
伴隨著帶寬增長，AI/ML集群規(guī)模從幾百張加速卡到上萬張擴(kuò)展，集群互聯(lián)距離從數(shù)十米到上百米延伸，Al/ML集群互聯(lián)對低功耗和低延遲需求迫切，現(xiàn)有電交換面臨瓶頸。由此，也對HPC的發(fā)展提出了更高要求：第一、HPC集群規(guī)模需要靈活配置;第二、HPC網(wǎng)絡(luò)要求長期穩(wěn)定運(yùn)行。
此外，大規(guī)模數(shù)據(jù)中心互聯(lián)也面臨著新的挑戰(zhàn)：挑戰(zhàn)一：Spine交換機(jī)成為性能瓶頸;挑戰(zhàn)2：隨著端口速率從100G->200G->400G->800G演進(jìn)，能效提升進(jìn)入平臺期。
OCS全光交換方案適配新挑戰(zhàn)
OCS全光交換方案可以很好應(yīng)對上述需求和挑戰(zhàn)。OCS具備全光交換優(yōu)點(diǎn)，光信號完全透明傳輸，支持光纖中任意速率/任意調(diào)制格式/任意通信波長光信號交換，具有無時鐘抖動，無延遲，不讀取數(shù)據(jù)，無泄漏風(fēng)險等特點(diǎn)，也支持SDN使能控制。目前在以Google為代表的TPUv4高性能計算中心和Jupiter數(shù)據(jù)中心已成功應(yīng)用。
基于OCS全光交換有效提升了Google TPU v4集群互聯(lián)可靠性，在主機(jī)可靠性降到99.0%仍能保證TPU切片有較好的性能，可使系統(tǒng)的性能提升6倍以上。在取得以上這些收益的同時，光交換互聯(lián)方案包括OCS、光模塊及光纖占總體超算節(jié)點(diǎn)成本<5%、功耗<3%。
Google Jupiter數(shù)據(jù)中心網(wǎng)絡(luò)方案在Spine層引入光線路交換(OCS)，采用SDN動態(tài)調(diào)整拓?fù)渎酚蛇m配，流量工程可適應(yīng)秒~分鐘級變化;拓?fù)涔こ炭蛇m應(yīng)以天為單位變化，適配異質(zhì)速率和實時應(yīng)用通信模式�？捎糜诖罅髁客�?fù)渲貥?gòu)、網(wǎng)絡(luò)擴(kuò)容、多速率共存等場景。從收益方面看，網(wǎng)絡(luò)CAPEX降低30%，功耗下降40%。Fabric拓?fù)渲貥?gòu)速度提升10倍以上。流完成時間(FCT)提升10%，吞吐量提升30%。
OCS全光交換技術(shù)應(yīng)用廣泛，前景不容小覷
張華表示，從上述兩個Google方案中已經(jīng)全面的展示了OCS全光交換技術(shù)優(yōu)勢。目前OCS全光交換應(yīng)用較廣泛的核心技術(shù)主要包括：DirectLight技術(shù)、2D/3D MEMS技術(shù)以及其他光開關(guān)技術(shù)。
其中，DirectLight技術(shù)采用壓電陶瓷材料帶動準(zhǔn)直器旋轉(zhuǎn)，空間直接耦合對準(zhǔn)(“針尖對麥芒”)，實現(xiàn)任意端口光路切換，目前矩陣規(guī)模最大576*576。DirectLight技術(shù)的最要特點(diǎn)為：插損等光學(xué)性能指標(biāo)優(yōu)異，抗震性佳(可抗里氏8級以上地震)，能實現(xiàn)靈活的光信號交換，支持“暗光纖(無光)”模式下光信號單路雙向?qū)鞯取?/p>
基于DirectLight壓電陶瓷技術(shù)的矩陣光開關(guān)自從2003年商用化以來，已經(jīng)廣泛應(yīng)用于各種場合，例如智能監(jiān)控系統(tǒng)、國際空間站、數(shù)據(jù)中心/超算中心等等。目前累計現(xiàn)網(wǎng)運(yùn)行時間150億+端口小時，4500+套系統(tǒng)已鋪設(shè)，300+個客戶在使用。其穩(wěn)定性和可靠性已經(jīng)得到充分驗證。
最后，張華總結(jié)到，隨著數(shù)據(jù)中心OCS應(yīng)用進(jìn)一步下沉(Spine->Leaf)，需要更快切換速度、小端口低成本OCS，能適配TOR與匯聚交換機(jī)之間突發(fā)流量。未來隨著集群規(guī)模擴(kuò)展，將需要更大端口OCS，同時需提升OCS可靠性和插回?fù)p性能，DirectLight OCS技術(shù)方案會有更廣闊應(yīng)用前景。
