美國西部時間 5 月 2 日下午 7 點(diǎn)，Twitter 公司在舊金山總部舉行了一次技術(shù)發(fā)布會兼 Meetup。會上，Twitter 計(jì)算平臺（Twitter Computing Platform）產(chǎn)品與技術(shù)負(fù)責(zé)人 David McLaughlin 正式宣布，Twitter 的基礎(chǔ)設(shè)施將從 Mesos 全面轉(zhuǎn)向 Kubernetes。

　　Mesos 項(xiàng)目發(fā)布于 2009 年，而 Twitter 公司則是 Mesos 項(xiàng)目的早期支持者和使用者之一。作為世界上最成功的社交媒體巨頭之一，Twitter 公司以其龐大的生產(chǎn)集群規(guī)模（萬級別節(jié)點(diǎn)）而備受關(guān)注。2011 年，Twitter 公司開始在 Mesos 項(xiàng)目的基礎(chǔ)上開發(fā) Aurora 項(xiàng)目以便同時管理其內(nèi)部的在線和離線業(yè)務(wù)，逐步成為 Mesos 社區(qū)的代言人。

　　在持續(xù)投入 Mesos 項(xiàng)目近 10 年之后，Twitter公司為什么突然宣布全面轉(zhuǎn)向 Kubernetes 體系？在這個令人矚目的決定背后，是什么樣的架構(gòu)和設(shè)計(jì)支撐Twitter 基礎(chǔ)設(shè)施360度的“華麗轉(zhuǎn)身”呢？

　　Twitter 公司創(chuàng)始于 2006 年。時至今日，全世界每天都有至少 5 億條推文產(chǎn)生。在過去十余年飛速成長和海量數(shù)據(jù)的挑戰(zhàn)下，Twitter 基礎(chǔ)設(shè)施架構(gòu)的演進(jìn)過程，一直以來都是全世界技術(shù)公司眼中的標(biāo)桿案例。這其中，像 Mesos 這樣優(yōu)秀的老牌調(diào)度框架、 以及像 Aurora 這樣啟發(fā)自 Google Borg 配置管理的編排引擎，可謂功不可沒。

　　事實(shí)上，在互聯(lián)網(wǎng)級別的技術(shù)場景下，依托頂級工程師和成熟技術(shù)自建基礎(chǔ)設(shè)施，一直以來都是一線非云互聯(lián)網(wǎng)廠商的架構(gòu)首選。正是在這個過程中，相對成熟并且工作層次較低的 Mesos 項(xiàng)目收獲到了大量規(guī)模級生產(chǎn)環(huán)境部署案例。

　　不過，隨著云計(jì)算的普及和 Kubernetes 這樣以“云”為核心的容器化基礎(chǔ)設(shè)施項(xiàng)目的迅速崛起，這種傳統(tǒng)互聯(lián)網(wǎng)基礎(chǔ)技術(shù)架構(gòu)選型方法逐步暴露出很多前所未有的問題。在本次發(fā)布會上， David 就以 Twitter 公司當(dāng)前面臨的挑戰(zhàn)為例，對這些問題作出了簡明扼要的總結(jié)：

　　相比于傳統(tǒng)技術(shù)架構(gòu)對存儲系統(tǒng)的單一假設(shè)（比如一套 Ceph 打天下），云時代的軟件架構(gòu)為用戶存儲選擇帶來了爆發(fā)性增長。僅以阿里云為例，它在公有云上能夠?yàn)橛脩籼峁┑母鞣N類型的存儲服務(wù)就多達(dá) 10 余種，其中的細(xì)分方案更是數(shù)不勝數(shù)。隨著互聯(lián)網(wǎng)公司的基礎(chǔ)架構(gòu)和軟件規(guī)模的不斷擴(kuò)張和發(fā)展，互聯(lián)網(wǎng)軟件本身對存儲的需求也更加細(xì)化和專業(yè)。

　　比如，在 Twitter，Local Persistent Volume 這種“非典型”存儲訴求，逐漸在平衡性能與成本的過程中成為一種主流方案。作為 CSI（Container Storage Inerface）的提出者，Kubernetes 社區(qū)不僅擁有最完善的 Local PV 機(jī)制，還能夠憑借標(biāo)準(zhǔn)接口和 PV、PVC 體系，完全為用戶抹平其它數(shù)十種不同存儲服務(wù)的對接問題。這在互聯(lián)網(wǎng)軟件架構(gòu)日趨復(fù)雜和面向多云的發(fā)展趨勢中，無疑是至關(guān)重要的。

　　云時代一個重要的技術(shù)發(fā)展趨勢就是軟件的生命周期會逐步向“生在云上、長在云上”的形態(tài)靠攏。這也就意味著作為支撐軟件的核心基礎(chǔ)設(shè)施項(xiàng)目，必然要向“發(fā)揮云的最大價值”的方向不斷演進(jìn)。

　　遺憾的是，Mesos 以及 Aurora 項(xiàng)目或許是由于發(fā)布較早，始終沒能夠?qū)?ldquo;云”變成整個基礎(chǔ)設(shè)施體系中的“一等公民”。相比之下，Kubernetes 體系從發(fā)布伊始就不斷倡導(dǎo)“聲明式 API”、“容器設(shè)計(jì)模式”、“控制器模型”等各項(xiàng)理念，其實(shí)都是為了幫助用戶能夠在云上以“可擴(kuò)展、可復(fù)制、高度自動化”的方式開發(fā)、交付和運(yùn)維軟件。如今，這些頂層架構(gòu)設(shè)計(jì)與各種最佳實(shí)踐，被廣大開發(fā)者們冠名為“云原生”。這也成為 Kubernetes 項(xiàng)目與其它競爭對手相比最大的不同。

　　在傳統(tǒng)的互聯(lián)網(wǎng)架構(gòu)中，自建數(shù)據(jù)中心和基礎(chǔ)設(shè)施體系是整個軟件系統(tǒng)的第一假設(shè)。而“云”所扮演的角色，更像是在流量突發(fā)時應(yīng)付峰值的資源“備胎”。

　　在這種以“云”為輔助角色的指導(dǎo)思想下，多云和多集群很難成為整個架構(gòu)的重中之重。這就使得多云和多集群能力，成為底層資源對接層的職責(zé)，而與更重要的應(yīng)用開發(fā)、交付和運(yùn)維體系失去直接關(guān)聯(lián)。這種方案短期內(nèi)固然可以奏效，但長期的維護(hù)和迭代成本卻很容易因?yàn)樯蠈討?yīng)用本身千變?nèi)f化的形態(tài)與高速迭代而超出把控。

　　此外，這種設(shè)計(jì)的另一個極端是讓整體基礎(chǔ)設(shè)施走向“多活”技術(shù)深淵：這實(shí)際上已經(jīng)遠(yuǎn)遠(yuǎn)超出 90% 以上互聯(lián)網(wǎng)公司的技術(shù)能力。在云原生體系普及之后，“每朵云上都有無數(shù)個 Kubernetes 集群”逐漸成為應(yīng)用基礎(chǔ)設(shè)施能夠依賴的新常態(tài)。

　　這就為多云和多集群管理提供了一種全新的突破性思路：只要軟件選擇面向 Kubernetes 來進(jìn)行架構(gòu)、設(shè)計(jì)和實(shí)現(xiàn)，那么“多云、多集群”就自然而然成為應(yīng)用基礎(chǔ)設(shè)施的默認(rèn)能力。在 Twitter 的業(yè)務(wù)越來越多的需要多云、多集群環(huán)境交付的趨勢下， Kubernetes 這種從根本上幫助應(yīng)用迅速向多云交付的“捷徑”，成為 Twitter 選擇變更自身技術(shù)體系的另一個重要原因。

　　作為不斷在快速發(fā)展和迭代的互聯(lián)網(wǎng)公司，高壓力和快節(jié)奏背景下的企業(yè)往往無暇顧及基礎(chǔ)設(shè)施架構(gòu)的標(biāo)準(zhǔn)化與兼容性問題，這同樣也是 Twitter 公司面臨的主要問題之一。所以，在這次轉(zhuǎn)型過程中，“Kubernetes Native”成為一個被反復(fù)強(qiáng)調(diào)的關(guān)鍵詞。

　　作為不斷在快速發(fā)展和迭代的互聯(lián)網(wǎng)公司，高壓力和快節(jié)奏背景下的企業(yè)往往無暇顧及基礎(chǔ)設(shè)施架構(gòu)的標(biāo)準(zhǔn)化與兼容性問題，這同樣也是 Twitter 公司面臨的主要問題之一。所以，在這次轉(zhuǎn)型過程當(dāng)中，“Kubernetes Native”成為一個被反復(fù)強(qiáng)調(diào)的關(guān)鍵詞。在發(fā)布會上，Twitter 公司公布了選擇 Kubernetes Native 方向的諸多評估依據(jù)。

　　最終，Twitter 公司用一句話總結(jié)了這次評估的結(jié)果：“我們認(rèn)為，使用 Kubernetes 項(xiàng)目作為 Twitter 公司基礎(chǔ)設(shè)施向前演進(jìn)的核心依賴，將會是一個正確的選擇”。

　　而在這條演進(jìn)路徑上，Twitter 也公布了多項(xiàng)具體的技術(shù)舉措，比如：

　　David 表示：“Twitter 公司基礎(chǔ)設(shè)施的巨大規(guī)模一直不是一個秘密，但至少在今天，規(guī)模不再是我們的首要擔(dān)心，我們能看到像阿里巴巴這樣的社區(qū)領(lǐng)導(dǎo)者正在將更大規(guī)模的 K8s 集群推向生產(chǎn)環(huán)境”。

　　David McLaughlin 宣布整個遷移計(jì)劃將從現(xiàn)在開始一直持續(xù)到 2020 年。屆時，整個 Twitter 的技術(shù)棧都會運(yùn)行在以 Kubernetes 為基礎(chǔ)的容器化基礎(chǔ)設(shè)施之上，并且呈現(xiàn)“內(nèi)部 K8s 集群 + 公有云 K8s 服務(wù)”的多集群組合形態(tài)。

　　David 最后對Twitter的未來進(jìn)行總結(jié)時強(qiáng)調(diào)：在 2020 年，Twitter自己的軟件棧會以“一部分運(yùn)行在自有 K8s 集群，另一部分運(yùn)行在公共云上”的多集群形態(tài)進(jìn)行開發(fā)和交付。

　　顯然，在思考“如何通過云來讓自身的基礎(chǔ)設(shè)施能力價值最大化，然后讓公司專注于更具價值的核心業(yè)務(wù)”這件事情上，Twitter 已經(jīng)得到一個相對清晰而富有遠(yuǎn)見的答案。更重要的是，這個選擇，很可能會使公司與得以擁抱 Kubernetes 的 Twitter 工程師們實(shí)現(xiàn)真正意義上的共贏。

　　不難看到，Twitter 公司這次走向 Kubernetes Native背后的技術(shù)本質(zhì)，其實(shí)是在最大程度的利用 Kubernetes 項(xiàng)目本身的核心概念與可擴(kuò)展能力取得規(guī)�；�定制性需求與社區(qū)標(biāo)準(zhǔn)之間的平衡。

　　這同樣也是阿里巴巴正在社區(qū)倡導(dǎo)的一條關(guān)鍵途徑。從 2018 年開始，阿里巴巴聯(lián)合 Google， Facebook，Twitter，LinkedIn，Uber，Netflix，Pinterest 等一大批頂級互聯(lián)網(wǎng)公司，在美國硅谷開展起了月度 Web-Scale Meetup，以分享自身實(shí)際落地實(shí)踐的方式，為更多互聯(lián)網(wǎng)場景中的社區(qū)“觀望者”樹立信心。

　　本次發(fā)布會上，Twitter 公司也邀請了來自阿里云容器平臺團(tuán)隊(duì)的工程師李響、張磊、何劍等作為專題演講嘉賓。同時應(yīng)邀出席發(fā)布會的嘉賓還有 Google 公司 Kubernetes 團(tuán)隊(duì)工程技術(shù)經(jīng)理 Jago Macleod 。

　　發(fā)布會上，阿里云容器平臺團(tuán)隊(duì)透露下個月即將開源內(nèi)部錘煉已久的 Kubernetes 高級作業(yè)管理集合（Kubernetes Workloads Advanced。Kubernetes 高級作業(yè)管理集合會充分利用 Kubernetes 的“聲明式 API” 和“控制器模型”，為用戶提供互聯(lián)網(wǎng)場景下“賴以生存”的容器化應(yīng)用“原地升級”能力，以及更加精細(xì)化的業(yè)務(wù)發(fā)布策略。Twitter、Pinterest 以及 Netflix 等世界級團(tuán)隊(duì)，都會加入到這個創(chuàng)新性的“云原生作業(yè)管理”項(xiàng)目的合作當(dāng)中。

　　除此之外，Kubernetes 本身在規(guī)模化與性能提升上的不斷演進(jìn)，也是能夠讓 Twitter 公司最終從“觀望者”變成“實(shí)踐者”的另一個技術(shù)因素。對此，Google Kubernetes 項(xiàng)目工程技術(shù)經(jīng)理 Jago Macleod 在演講中專門介紹了 Google 公司與阿里巴巴在這個領(lǐng)域上正在進(jìn)行的攻關(guān)與合作。

　　在最近一次嘗試中，雙方工程師正在一起為 K8s 里海量的 WATCH 操作添加“書簽（Bookmark）”，這將使得這些 WATCH 操作的建立者在重啟之后只需要對“書簽”之外的少數(shù)歷史變化進(jìn)行追溯。在特定情況下，K8s APIServer 的性能會被提高 40 倍以上。

　　除了技術(shù)和架構(gòu)演進(jìn)上的考量之外，這次Twitter 公司向 Kubernetes 的“華麗轉(zhuǎn)身”，還有一個至關(guān)重要的非技術(shù)因素。

　　Twitter 公司的快速成長，催生出了其標(biāo)桿式的基礎(chǔ)軟件團(tuán)隊(duì)，但也反映出一個不得不引起重視的問題：隨著互聯(lián)網(wǎng)業(yè)務(wù)的快速發(fā)展，公司的基礎(chǔ)軟件團(tuán)隊(duì)很快就開始超過應(yīng)有的規(guī)模邊界，而相應(yīng)的投入產(chǎn)出比卻停滯不前。

　　所以，正如 David 在一開始提到的那樣，過去互聯(lián)網(wǎng)企業(yè)中“自研（In-house）”為主的基礎(chǔ)軟件開發(fā)和架構(gòu)思路，正在伴隨著云計(jì)算和云原生理念的普及發(fā)生微妙變化。憑借像 Kubernetes 這樣的平臺級項(xiàng)目標(biāo)準(zhǔn)，互聯(lián)網(wǎng)公司已經(jīng)能夠以較小的代價將自身的基礎(chǔ)設(shè)施向云遷移。

　　更重要的是，由于 Kubernetes 這個標(biāo)準(zhǔn)層的存在，這種“遷移”本身并不會像 Netflix 與 AWS 那樣形成根深蒂固的廠商鎖定關(guān)系，反而會在保留大部分“自研”好處的同時徹底發(fā)揮出“云”本身的價值和多集群管理能力。這種變革帶來的優(yōu)勢，會在一個互聯(lián)網(wǎng)公司里的 “AWS 工程師”都變成“K8s 工程師”之后變得尤為凸顯。

　　不難看到，Kubernetes 項(xiàng)目正在以應(yīng)用為中心，連通“云”、“應(yīng)用開發(fā)者”與“基礎(chǔ)軟件團(tuán)隊(duì)”。這種“高速公路”般的溝通、連接與交付能力，也正是像 Twitter 這樣快速迭代的互聯(lián)網(wǎng)公司思考自己基礎(chǔ)設(shè)施架構(gòu)未來演進(jìn)方向的重要參考。而這種轉(zhuǎn)變，也使得 Twitter 這樣一個業(yè)務(wù)迅速增長的商業(yè)組織始終維持一個數(shù)十人的基礎(chǔ)軟件團(tuán)隊(duì)成為現(xiàn)實(shí)。

　　從最早 Mesos “代言人”到如今的全面轉(zhuǎn)向 “Kubernetes Native”，Twitter 的舉動再一次佐證了“Kuberentes 已經(jīng)成為容器編排事實(shí)標(biāo)準(zhǔn)”這一斷言。更為重要的是，Twitter 這次全面擁抱云原生，也有望能夠?yàn)闃I(yè)界大規(guī)模生產(chǎn)級云原生技術(shù)落地提供經(jīng)典學(xué)習(xí)范本。

　　阿里巴巴從去年開始在云原生生態(tài)中投入了大量技術(shù)力量，正在逐步成為Facebook、Twitter、LinkedIn、Uber、Netflix、Pinterest 等眾多世界級互聯(lián)網(wǎng)公司眼中規(guī)模化云原生技術(shù)落地的一位重要引領(lǐng)者。

　　伴隨著云計(jì)算的進(jìn)一步普及，傳統(tǒng)互聯(lián)網(wǎng)基礎(chǔ)技術(shù)架構(gòu)暴露出很多前所未有的問題，以及像 Kubernetes 這樣以“云”為核心的容器化基礎(chǔ)設(shè)施項(xiàng)目的迅速崛起，都在促使越來越多的世界級企業(yè)開始思考如何借助“云”以及云原生技術(shù)來擁抱開源生態(tài)和開放的技術(shù)標(biāo)準(zhǔn)，準(zhǔn)備迎接一個具備強(qiáng)勁的迭代能力的、面向“云”的數(shù)字未來。新聞來源阿里巴巴云原生公眾號