楊小虎/博士、研究員,1994年起任教浙江大學計算機系/計算機學院,曾任浙江大學軟件學院常務副院長,現(xiàn)任浙江大學計算機軟件研究所副所長,浙江大學互聯(lián)網(wǎng)金融研究院副院長。長期從事軟件工程、金融科技(FinTech)、云計算等方面的研發(fā)工作,自2001年起創(chuàng)建并領(lǐng)導的浙江大學道富技術(shù)中心成為國際化產(chǎn)學研合作成功典范,近年來組織團隊積極開展云計算開源技術(shù)研發(fā),對Kubernetes、Docker等重要開源項目的源代碼貢獻量超過1000萬行,在全球容器云開源技術(shù)領(lǐng)域具有較大影響力。
浙江大學計算機科學與技術(shù)學院簡介
浙江大學計算機科學與技術(shù)學院秉承“人為本,和為貴,變則通”的文化理念,以培養(yǎng)求是創(chuàng)新、與時俱進的具有國際視野的頂尖計算機人才為使命,先后培養(yǎng)了數(shù)位中國工程院院士和中國科學院院士。計算機學院下設(shè)5個系、4個研究所、2個中心,擁有計算機科學與技術(shù)、軟件工程、網(wǎng)絡空間安全、設(shè)計學4個國家一級學科。根據(jù)《基本科學指標》數(shù)據(jù)庫(ESI)2018年5月公布數(shù)據(jù),浙江大學計算機學科ESI學科排名進入世界前千分之一,列全球第25位。2017年12月教育部公布的全國第四次學科評估中,浙江大學計算機學科和軟件工程學科均為A+,雙雙列全國并列第一。
近年來,新型開源云計算技術(shù)和社區(qū)蓬勃發(fā)展、影響巨大。包括浙江大學在內(nèi)的大量機構(gòu)和個人通過github、Stack Overflow等協(xié)同平臺完成了大量新思想、新技術(shù)的交流,創(chuàng)造了前所未有的包括容器、微服務、AI等技術(shù)的開源云原生生態(tài)系統(tǒng)。
企業(yè)、高校、個人緊密協(xié)作,助力開源云原生生態(tài)發(fā)展
由浙江大學、Google、RedHat、華為等企業(yè)于2015年共同參與成立的云原生基金會(Cloud Native Computing Foundation,CNCF)秉承著協(xié)助、使能、鼓勵(help, enable, encourage)的宗旨,海納百川,是當前在容器、微服務、云原生領(lǐng)域最活躍的社區(qū)之一。CNCF通過構(gòu)建并推廣一系列的開源技術(shù)和標準,為在云原生時代構(gòu)建動態(tài)(dynamic)、分布式(distributed)環(huán)境下的可伸縮(scalable)、可運維(operable)、可觀測(observable)的敏捷應用與服務提供先進可靠的技術(shù)路線。

圖 1 CNCF組織構(gòu)建的云原生生態(tài)圖譜
以CNCF社區(qū)第一個宣布畢業(yè)的開源容器編排項目Kubernetes的代碼貢獻量統(tǒng)計為例,我們可以觀察到企業(yè)、高校和個人的緊密協(xié)作和貢獻是CNCF社區(qū)得以蓬勃發(fā)展的基石,自社區(qū)創(chuàng)立以來浙大一直積極持續(xù)的在社區(qū)進行投入,貢獻度始終排名全球第一梯隊,與華為一起領(lǐng)跑國內(nèi)Kubernetes社區(qū)生態(tài)。
技術(shù)標準化是開源社區(qū)健康發(fā)展的保障
如同生物多樣性對生物界進化的作用一般,技術(shù)多樣性同樣是技術(shù)得以不斷演化與進步的保證。當前CNCF社區(qū)已經(jīng)包含了20多個開源項目,而由CNCF繪制的云原生生態(tài)圖譜則包含了超過500種開源技術(shù)(圖 1)。在這樣充滿技術(shù)多樣性的生態(tài)系統(tǒng)中,技術(shù)標準保障了不同類型的技術(shù)無縫對接,防止出現(xiàn)同類技術(shù)惡意競爭的情況,是生態(tài)系統(tǒng)健康發(fā)展的重要保障。
2015年,CNCF成立之初,社區(qū)創(chuàng)始成員們就對技術(shù)標準化做出了富有建設(shè)性的設(shè)想,并做了CNCF社區(qū)未來工作范圍的總體架構(gòu)設(shè)計(見圖2),其中包括了資源調(diào)度、分布式系統(tǒng)服務、應用定義與編排等技術(shù)組件與一系列技術(shù)間的對接標準。眾多的尚處于設(shè)想中的技術(shù)標準,其中相當一部分,在2018年的今天都已經(jīng)成為了現(xiàn)實,包括容器運行時接口標準(Container Runtime Interface)、容器存儲接口標準(Container Storage Interface)和容器網(wǎng)絡接口標準(Container Network Interface)。當然在當今豐富的生態(tài)系統(tǒng)中也包含了CNCF成立之初沒有考慮到的技術(shù)標準,包括開放服務代理標準(Open Service Broker API)、云事件標準(Cloud Event)等等。
浙江大學一直關(guān)注并推進社區(qū)標準化工作的發(fā)展,曾參與OCI標準參考實現(xiàn)runc開源項目的研發(fā),并作為maintainer參與cri-tools開源項目的研發(fā),推進容器運行時標準(CRI)在社區(qū)的推廣。

圖 2 2015年 CNCF成立之初的架構(gòu)設(shè)想
基礎(chǔ)設(shè)施的穩(wěn)定化和上層生態(tài)的繁榮
云原生開源技術(shù)圈流行一句話:“infrastructure should be boring“,即IT基礎(chǔ)設(shè)施相關(guān)技術(shù)逐漸趨于穩(wěn)定。Open Container Initialitive(簡稱OCI)組織的出現(xiàn),以及以containerd/runc為代表的基礎(chǔ)容器運行時參考實現(xiàn)的廣泛采用,標志著云原生時代的第一層基礎(chǔ)設(shè)施的穩(wěn)定化。而Kubernetes在容器編排領(lǐng)域的勝出,則代表了云原生時代的第二層技術(shù)設(shè)施的穩(wěn)定化。
這些底層技術(shù)的穩(wěn)定使得生態(tài)系統(tǒng)內(nèi)的其他廠商有信心在相關(guān)技術(shù)上繼續(xù)投入,同樣也使得終端用戶有信心嘗試和采用云原生、微服務技術(shù)。更為重要的是為云原生生態(tài)內(nèi)的上層技術(shù)的繁榮帶來的強大的助推作用。
以Kubernetes API為基礎(chǔ),在CNCF社區(qū)中出現(xiàn)了大量Kubernetes-Native的上層技術(shù),包括Service Mesh類的Istio、Linkerd等,云原生存儲類的Rook項目,服務無計算/函數(shù)計算類的fission項目,快速部署管理深度學習框架的kubeflow項目,大數(shù)據(jù)類框架管理的Spark on Kubernetes,復雜應用定義與管理類的ksonnet、Helm項目等。這些上層技術(shù)的出現(xiàn)使得云原生可以被應用到更為廣泛的場景中,除了常見的無狀態(tài)/有狀態(tài)應用之外,也包括serverless、AI、大數(shù)據(jù)等多種場景,并反過來推進了Kubernetes等云原生技術(shù)的進一步推廣。
需要指出的是,在基礎(chǔ)設(shè)施穩(wěn)定化的大趨勢下,也存在一些底層的新興力量,比如近期Google發(fā)布的gVisor運行時技術(shù),在遵循OCI運行時標準的同時,為容器運行時的實現(xiàn)帶來了全新的思路。
無服務的興起和云計算抽象層次的提升
無服務計算(serverless)是新近加入到云原生生態(tài)圖譜中的一大類新興技術(shù)(圖 4)。我們不應把無服務計算等價為某項具體的技術(shù)(比如亞馬遜的Lambda),也不應該將它等價為某類具體的技術(shù)(比如函數(shù)計算)。無服務技術(shù)代表了云計算服務抽象層次的提升。作為終端用戶,不再需要關(guān)于底層技術(shù)設(shè)施(如虛擬機集群的規(guī)格定義和管理),而將注意力集中到更高抽象層次的應用開發(fā)上去。

圖 3 CNCF社區(qū)中的服務無生態(tài)圖譜
從這個角度理解無服務計算,我們可以認為無服務計算是新的也是舊的。說它是舊的,因為它包括IT領(lǐng)域之前早就出現(xiàn)過的Mobile-Backend-as-a-Service(MBaaS),也包括2011年開源的經(jīng)典PaaS技術(shù)Cloud Foundry+BOSH+IaaS(雖然當時并未從serverless角度考慮,但通過BOSH自動調(diào)用IaaS層接口,我們可以實現(xiàn)基礎(chǔ)設(shè)施的透明化管理,即實現(xiàn)根據(jù)工作負載動態(tài)調(diào)整Cloud Foundry所使用的IaaS虛擬機集群的規(guī)模,因此雖然PaaS和FaaS等serverless技術(shù)有所區(qū)別,我們將Cloud Foundry+BOSH+IaaS技術(shù)也歸類到無服務計算中)。說它是新的,因為以AWS Lambda為代表的函數(shù)計算,以及更為近期的AWS Fargate和Azure ACI(Azure Container Instances)以及華為云CCI(Cloud Container Instance)服務正在不斷擴充無服務計算的內(nèi)涵。浙江大學一直致力于新型云計算技術(shù)的研發(fā),早在2011年就開始參與Cloud Foundry開源項目,而在近期又參與到fission等開源FaaS項目中。
無服務計算符合云計算一直以來細化分工、提升生產(chǎn)力的總體思想,我們可以預測,無服務計算將不僅限于函數(shù)計算,而將在未來演化出多種形式的計算模式,而面向無服務計算的安全、監(jiān)控等多方面相關(guān)技術(shù)生態(tài)將進一步繁榮(當前CNCF的無服務生態(tài)圖譜中僅僅包含工具、框架等少數(shù)類別,如圖 4所示)。由于涉及到應用架構(gòu)的演進,無服務計算的落地不會發(fā)生在一夜之間,而將結(jié)合微服務技術(shù),在未來的幾年里緩慢推進。而在此過程中類似CNCF社區(qū)中的virtual kubelet技術(shù)將作為新舊架構(gòu)應用開發(fā)運維模式的銜接與橋梁。
云-邊-端一體化的計算新格局
IDC此前的數(shù)據(jù)顯示,隨著5G的到來和IoT的發(fā)展,到2020年,將有超過500億的終端設(shè)備聯(lián)網(wǎng)。而考慮到帶寬的消耗、網(wǎng)絡的延遲、以及數(shù)據(jù)隱私性保護等挑戰(zhàn),在智慧城市、智慧醫(yī)療、智能制造、智能家居等數(shù)據(jù)量龐大、對處理延遲敏感、對數(shù)據(jù)隱私敏感的場景下,終端設(shè)備產(chǎn)生的數(shù)據(jù)中有超過半數(shù)需要在終端設(shè)備或網(wǎng)絡邊緣側(cè)就近分析處理,而中心化的云端只處理計算資源需求大、實時性要求不高的計算任務,如AI模型訓練。未來的計算不僅僅局限在大型數(shù)據(jù)中心,而將分布在由云-邊-端構(gòu)成的一體化連續(xù)頻譜上。
從計算平臺的角度看,云-邊-端一體化的計算新格局至少提出了以下兩大挑戰(zhàn):邊緣操作系統(tǒng)和端云一體化管理平臺。
當我們把終端設(shè)備和接入網(wǎng)關(guān)等構(gòu)成的集群當做一個個的小型數(shù)據(jù)中心,每個邊緣節(jié)點不再運行單一的任務,而是變成一個可以動態(tài)執(zhí)行被調(diào)度該節(jié)點的多類型任務的通用計算節(jié)點。因此邊緣操作系統(tǒng)不僅僅需要負責邊緣設(shè)備上的任務調(diào)度、存儲網(wǎng)絡管理等傳統(tǒng)操作系統(tǒng)職責,也需要提供一套完整的安全隔離機制,以防止動態(tài)調(diào)度到同一邊緣設(shè)備上任務之間的相互影響。
而容器作為一類輕量級的操作系統(tǒng)隔離技術(shù)就可以在這里發(fā)揮作用。根據(jù)不同場景下資源的豐富程度和功能需求,在具體做法上我們可以看到部署完整的Docker方案的實踐,也可以看到更加輕量化的以containerd/runc為基礎(chǔ)構(gòu)建的開源IoT平臺eliot,或者類似百度IoT Intelligent Edge平臺那樣基于Linux內(nèi)核的namespace,cgroup技術(shù)直接構(gòu)建定制化容器隔離的技術(shù)方案。浙江大學在這方面的研究主要圍繞著unikernel技術(shù),相比常見的containerd/runc容器技術(shù),通過rumpkernel,OSv等unikernel技術(shù)可以進一步減少攻擊面,減少資源占用和加快響應速度,實現(xiàn)邊緣設(shè)備上安全計算環(huán)境。
端云一體化管理平臺負責管理邊緣設(shè)備構(gòu)成的大量小型數(shù)據(jù)中心。開源社區(qū)已經(jīng)有關(guān)于如何將Kubernetes等優(yōu)秀的容器編排引擎應用到大量小型數(shù)據(jù)中心的管理上。2018年5月在丹麥哥本哈根舉行的KubeCon+CloudNativeCon大會上開辟了專門的session討論Kubernetes與邊緣計算話題。跟CNCF同在Linux基金會下的EdgeX Foundry社區(qū)也發(fā)起了EdgeX Foundry on Kubernetes,即將該社區(qū)的邊緣計算平臺EdgeX運行在Kubernetes之上,利用Kubernetes完成資源調(diào)度管理的技術(shù)討論。微軟的IoT Edge Virtual Kubelet開源項目(圖 5)旨在討論如何使用Kubernetes構(gòu)建包含傳統(tǒng)數(shù)據(jù)中心和邊緣計算的混合端云一體化管理平臺。浙江大學在CNCF社區(qū)的frakti項目中將unikernel作為Kubernetes的一個運行時,為Kubernetes在邊緣計算場景下的應用做出了有益的嘗試。

圖 4 微軟的IoT Edge Virtual Kubelet開源項目架構(gòu),使用Kubernetes構(gòu)建包含傳統(tǒng)數(shù)據(jù)中心和邊緣計算的混合端云一體化管理平臺。圖片來源:github.com/azure/iot-edge-virtual-kubelet-provider
學術(shù)界對云原生的關(guān)注與推動
近5年以來以容器、微服務技術(shù)為代表,在IT工業(yè)界蓬勃發(fā)展的云原生技術(shù)浪潮也吸引了學術(shù)界的注意力。一方面,來自Google的行業(yè)專家發(fā)表的《Large-scale cluster management at Google with Borg》、《Design patterns for container-based distributed systems》等論文讓學者了解了容器、微服務技術(shù)如何支持Google等大型互聯(lián)網(wǎng)公司高可靠、高伸縮性的全球服務體系。各行各業(yè)的研究者正在創(chuàng)造性地使用容器等云原生技術(shù)推動資源調(diào)度、邊緣計算、物聯(lián)網(wǎng)、大數(shù)據(jù)、AI等各領(lǐng)域的發(fā)展。另一方面,軟件工程領(lǐng)域的學者也高度關(guān)注這場基于開源協(xié)作開發(fā)平臺的新技術(shù)浪潮,紛紛開始研究開源項目的演化迭代,開源社區(qū)的形成以及開源社區(qū)的內(nèi)部交流如何促進高質(zhì)量開源軟件的研發(fā)。
IEEE Cloud Computing Initiative在2017年特地出版了針對云原生技術(shù)的專刊(2017 vol.4 Issue 5)鼓勵學術(shù)界更多地參與到這場云原生運動中。在該增刊的引言部分美國Indiana大學的Dennis Gannon教授與來自亞馬遜、微軟的云計算行業(yè)專家共同探討了云原生技術(shù)的定義,列舉了當前業(yè)界基于云原生架構(gòu)構(gòu)建的大型軟件系統(tǒng),總結(jié)了容器技術(shù)、service fabric、serverless等云原生核心技術(shù),并探討云原生技術(shù)對于IT行業(yè)的重大影響以及未來云原生技術(shù)在邊緣計算等新方向的應用與挑戰(zhàn)。