摘要：華為云全域Serverless化背后的“基石”——元戎，中稿全球頂尖學術會議ACM SIGCOMM 2024。
該會議在計算機科學領域享有崇高聲望，2024年共接收投稿366篇，其中62篇被錄用，錄用率僅為16.9%。論文《YuanRong: A Production General-purpose Serverless System for Distributed Applications in the Cloud》揭示了華為自主創(chuàng)新的業(yè)界首個通用Serverless平臺，提供通用函數(shù)編程模型，高可擴縮、高性能和高效對接后端服務的運行框架，助力華為云構建全域Serverless云服務。
從專用走向通用
當前，業(yè)界現(xiàn)有的Serverless產品主要限于事件驅動型應用，然而對于有狀態(tài)微服務、 大數(shù)據(jù) 、HPC、AIGC等復雜應用，仍然面臨如下四大核心技術挑戰(zhàn)：
函數(shù)間無法直接尋址，需繞走網關，導致互調性能差。函數(shù)間不支持共享內存，無法高效協(xié)同，難以滿足微服務、HPC等場景對低時延的訴求。
冷啟動是Serverless性能優(yōu)化難題之一，尤其在微服務、AIGC等場景，容器啟動時加載大 鏡像 （GB級）的開銷大，加之復雜的應用初始化過程，整個冷啟動耗時分鐘級，無法按需彈性。
應用程序的狀態(tài)必須外置到如OBS等遠端存儲，延遲可達數(shù)百毫秒，同時遠端存儲的帶寬有限導致吞吐量低，難以滿足大數(shù)據(jù)等場景多任務之間高效數(shù)據(jù)流轉的訴求。
后端服務通常是有狀態(tài)的，并為每個客戶端維護經過身份驗證的活動連接，例如JDBC連接，但這些連接狀態(tài)很難在協(xié)作的函數(shù)實例之間共享。此外，多個函數(shù)的并發(fā)操作也會導致分布式事務的問題。
元戎首創(chuàng)通用平臺
論文介紹了元戎通用Serverless平臺的一系列關鍵創(chuàng)新。
其中，針對挑戰(zhàn)1和2，元戎構建了可擴展的函數(shù)系統(tǒng)，實現(xiàn)大規(guī)模函數(shù)調度、亞毫秒函數(shù)互調以及函數(shù)極速冷啟動等關鍵技術，支持大規(guī)模多形態(tài)應用的統(tǒng)一管理和高效運行；
針對挑戰(zhàn)3，元戎內置了多語義數(shù)據(jù)系統(tǒng)，實現(xiàn)分布式共享內存對象以及流數(shù)據(jù)對象，提供分布式共享內存池，支持多語義數(shù)據(jù)的高效流轉；
針對挑戰(zhàn)4，元戎構建了可移植的Bridge系統(tǒng)，提供事件和后端服務的標準抽象接口，解耦架構，同時支持連接復用和共享事務等功能。
元戎進一步抽象了面向 云原生 編程的通用Serverless運行時接口，并實現(xiàn)了主流語言的Runtime。通過這些Runtime，元戎為開發(fā)者提供特定領域的簡易編程模式，支持Web服務、大數(shù)據(jù)、AI訓練/推理、HPC等全域Serverless應用。
近年來，華為云持續(xù)構筑全域Serverless云服務，推出了一系列競爭力領先的Serverless產品，包括華為云 函數(shù)工作流 FunctionGraph、Serverless容器引擎CCE Autopilot、Serverless應用托管CAE、云 數(shù)據(jù)倉庫 DWS、事件網格EventGrid等，高效支撐Serverless全面商業(yè)化。
面向生成式AI浪潮，元戎通用Serverless將持續(xù)聚焦技術創(chuàng)新，突破大模型推理服務實例快速彈性、分布式KV Cache池化管理、多模型混部高效協(xié)同調度、超大規(guī)模分布式訓練高可用性等關鍵技術，構筑大模型推理和訓練的高性能、低成本、高可用性關鍵競爭力。
通過這些創(chuàng)新，元戎將助力華為云打造極低成本、極致性能和極優(yōu)體驗的Serverless AI解決方案，實現(xiàn)全域Serverless化的競爭力領先，幫助千行萬業(yè)的百萬開發(fā)者縮短交付周期，提升上云效率，搶占市場先機。
