華為云首席產(chǎn)品官方國(guó)偉介紹，在AI時(shí)代背景下，軟件開發(fā)的方式由以代碼為中心，走向以模型為中心，如何將AI大模型能力充分利用起來，是當(dāng)下云廠商積極探索的事情。
華為云首席產(chǎn)品官方國(guó)偉
企業(yè)研發(fā)人員在構(gòu)建AIGC應(yīng)用時(shí)更多關(guān)注開發(fā)部署門檻能否降低，更快的完成企業(yè)需求。運(yùn)維人員要確保系統(tǒng)能夠穩(wěn)定運(yùn)行，在業(yè)務(wù)量高峰時(shí)刻做到快速?gòu)椥?，業(yè)務(wù)量小時(shí)節(jié)約成本，企業(yè)既能實(shí)現(xiàn)業(yè)務(wù)目標(biāo)，又能保證系統(tǒng)可靠性高、成本較低。
為了更好的支撐AIGC應(yīng)用，華為云提供了全域Serverless能力，推出了CCE Autopilot、FunctionGraph、CAE等Serverless產(chǎn)品，將一系列的AI原生技術(shù)構(gòu)筑成后端服務(wù)，形成BaaS for AI能力，調(diào)用即可得。結(jié)合完善的工具鏈，幫忙企業(yè)快速構(gòu)建應(yīng)用。
Serverless 容器CCE Autopilot、CCI讓用戶無需關(guān)注底層資源，自動(dòng)運(yùn)維，幫助用戶降低運(yùn)維成本。
在Cloud Bursting場(chǎng)景，去哪兒網(wǎng)基于CCI打造了靈活上云新體驗(yàn)，完成業(yè)務(wù)0改造，實(shí)現(xiàn)4000實(shí)例/30s的極致彈性。
FunctionGraph 3.0八大關(guān)鍵能力，助力AIGC應(yīng)用創(chuàng)新
全新升級(jí)的FunctionGraph 3.0，新增Serverless應(yīng)用中心、獨(dú)創(chuàng)Snapshot冷啟動(dòng)加速、預(yù)留實(shí)例智能推薦特性，配合異構(gòu)資源虛擬化技術(shù)，實(shí)現(xiàn)AIGC應(yīng)用低成本、低延遲，加上端到端的全鏈路壓測(cè)和全棧可觀測(cè)能力，助力AIGC應(yīng)用快速開發(fā)，天級(jí)上線。
杭州曼孚科技有限公司是行業(yè)領(lǐng)先的AI基礎(chǔ)架構(gòu)與數(shù)據(jù)智能平臺(tái)服務(wù)商，基于FunctionGraph構(gòu)建 自動(dòng)化 AI訓(xùn)練平臺(tái)，更細(xì)粒度的GPU算力供給加上按需全自動(dòng)資源彈性，實(shí)現(xiàn)成本降低40%。
華為云Serverless事件總線服務(wù)事件網(wǎng)格EventGrid能夠支持統(tǒng)一事件中心、事件驅(qū)動(dòng)引擎、開放與集成、降低開發(fā)成本四大典型場(chǎng)景，為企業(yè)提供中心化的事件集成、治理和驅(qū)動(dòng)能力。
在車聯(lián)網(wǎng)場(chǎng)景，某Top車企使用EventGrid構(gòu)建Serverless化的事件驅(qū)動(dòng)架構(gòu)的同時(shí)，實(shí)現(xiàn)上下游異步解耦，便于擴(kuò)展和避免單點(diǎn)故障；作為無碼化對(duì)接的事件中心，避免云服務(wù)間點(diǎn)對(duì)點(diǎn)對(duì)接，減少50%開發(fā)工作量以及數(shù)據(jù)高可靠0丟失和數(shù)據(jù)規(guī)則調(diào)整0變更。降低成本。
Serverless應(yīng)用托管CAE產(chǎn)品升級(jí)：支持應(yīng)用0代碼修改平遷上云，用戶無需修改業(yè)務(wù)代碼；支持Web/微服務(wù)應(yīng)用Serverless化，幫助企業(yè)降本增效，提升業(yè)務(wù)穩(wěn)定性。
香港新世界旗下廣州新合創(chuàng)科技有限公司，使用CAE全托管模式提升50%效率；后續(xù)還會(huì)根據(jù)商場(chǎng)人流峰值設(shè)定定時(shí)伸縮，節(jié)省資源以降低成本。
BaaS for AI：華為云BaaS服務(wù)DWS 3.0 提供Pay By Resource彈性模式和Pay By Query彈性模式，幫助企業(yè)實(shí)現(xiàn)后端服務(wù)Serverless化。
“華為云提供全域Serverless能力，讓開發(fā)者5倍速開發(fā)行業(yè)大模型，支撐千行萬業(yè)的AI應(yīng)用開發(fā)。面向AI領(lǐng)域全新升級(jí)的FunctionGraph 3.0，真正實(shí)現(xiàn)大模型應(yīng)用即開即關(guān)、即時(shí)響應(yīng)，無限擴(kuò)展?！?/p>
Serverless 挺進(jìn) AI，強(qiáng)強(qiáng)聯(lián)合加速AI應(yīng)用創(chuàng)新
華為2012實(shí)驗(yàn)室中軟分布式與并行軟件實(shí)驗(yàn)室主任譚焜
基于自主創(chuàng)新元戎內(nèi)核構(gòu)建的FunctionGraph 3.0如何保障AI應(yīng)用開發(fā)部署低成本和響應(yīng)低時(shí)延，華為2012實(shí)驗(yàn)室中軟分布式與并行軟件實(shí)驗(yàn)室主任譚焜做了深入的技術(shù)分享:
模型開發(fā)部署依賴昂貴的異構(gòu)資源。傳統(tǒng)的異構(gòu)函數(shù)，CPU和XPU資源綁定分配，單一推理函數(shù)包含CPU和XPU操作，操作CPU時(shí)XPU空閑，操作XPU時(shí)CPU空閑，資源利用率低。元戎獨(dú)創(chuàng)的純XPU異構(gòu)函數(shù)，CPU和XPU資源綁定解耦，用戶可把不同類型資源的操作寫成不同的函數(shù)，執(zhí)行時(shí)分解到不同算力處理器上，無閑置資源。
FunctionGraph打造Serverless AI最佳平臺(tái)
在大模型推理場(chǎng)景，包括全量推理和增量推理兩個(gè)階段。全量推理階段算力需求遠(yuǎn)高于增量推理階段，增量推理階段，耗時(shí)可能遠(yuǎn)長(zhǎng)于全量推理階段。針對(duì)這類場(chǎng)景，元戎可以做到全量推理和增量推理解耦，各自按需彈性擴(kuò)縮，精確算力供給，真正按使用量計(jì)費(fèi)，降低用戶成本。
更快的應(yīng)用響應(yīng)速度意味著更好的用戶體驗(yàn)。元戎自主創(chuàng)新的FoldFormer AI模型可在線持續(xù)預(yù)測(cè)用戶業(yè)務(wù)負(fù)載，提前進(jìn)行實(shí)例預(yù)熱，達(dá)到85%~95%準(zhǔn)確率，大大降低了冷啟動(dòng)概率。無法被準(zhǔn)確預(yù)測(cè)的流量，通過一系列優(yōu)化措施加速冷啟動(dòng)。在用戶模型下載階段，基于內(nèi)置的內(nèi)存數(shù)據(jù)系統(tǒng)和SSD構(gòu)建的分級(jí)高速緩存，實(shí)現(xiàn)系統(tǒng)內(nèi)緩存模型文件，大幅縮短下載時(shí)間。計(jì)算時(shí)，模型按Layer分批加載，并根據(jù)用戶SLA和模型推理時(shí)延歷史數(shù)據(jù)構(gòu)建最優(yōu)pipeline, 降低參數(shù)加載和模型推理總時(shí)延，冷啟動(dòng)優(yōu)化到秒級(jí)。
譚焜最后總結(jié)道：“基于元戎內(nèi)核，F(xiàn)unctionGraph 3.0提供異構(gòu)函數(shù)極速冷啟動(dòng)，細(xì)粒度異構(gòu)資源管理和按需彈性擴(kuò)縮，打造Serverless AI極低成本和極致性能；依托華為云豐富的BaaS服務(wù)和全托管的開發(fā)環(huán)境，打造Serverless AI極優(yōu)體驗(yàn)?！?/p>
AI賦能建筑行業(yè)數(shù)字化
廣聯(lián)達(dá)科技股份有限公司首席業(yè)務(wù)專家/副總裁祁長(zhǎng)福發(fā)表AI賦能建筑行業(yè)數(shù)字化主題演講?！皬V聯(lián)達(dá)作為數(shù)字建筑平臺(tái)服務(wù)商，立足建筑產(chǎn)業(yè)，圍繞工程項(xiàng)目的全生命周期，為客戶提供數(shù)字化解決方案，公司提出“數(shù)字建筑”理念，希望通過“數(shù)字建筑”系統(tǒng)、全面、深度地助力建筑產(chǎn)業(yè)轉(zhuǎn)型升級(jí)?！?/p>
廣聯(lián)達(dá)科技股份有限公司首席業(yè)務(wù)專家/副總裁祁長(zhǎng)福
祁長(zhǎng)福介紹，在技術(shù)方面，廣聯(lián)達(dá)通過大力研發(fā)BIM 和 云計(jì)算 、 大數(shù)據(jù) 、物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、人工智能等信息技術(shù)引領(lǐng)產(chǎn)業(yè)轉(zhuǎn)型升級(jí)。
在AI領(lǐng)域，廣聯(lián)達(dá)圍繞行業(yè)難點(diǎn)，圍繞設(shè)計(jì)、成本、施工等重點(diǎn)領(lǐng)域，打造核心AI應(yīng)用。應(yīng)用設(shè)計(jì)采用Serverless理念，依托華為云Serverless服務(wù)構(gòu)建解決方案，將AI模型以 鏡像 方式部署在FunctionGraph，對(duì)外提供通用API，無需管理運(yùn)維異構(gòu)資源（GPU等），模型實(shí)例隨業(yè)務(wù)量全自動(dòng)擴(kuò)縮容，無請(qǐng)求時(shí)實(shí)例縮容到0，低成本高可用運(yùn)行。上層應(yīng)用采用FaaS+ BaaS的Serverless應(yīng)用架構(gòu)，集成模型推理接口，只需專注于業(yè)務(wù)邏輯代碼，可函數(shù)級(jí)粒度并行開發(fā)，快速迭代應(yīng)用。
華為云FunctionGraph技術(shù)極大的優(yōu)化了AI應(yīng)用的開發(fā)過程，讓AI團(tuán)隊(duì)可以更關(guān)注業(yè)務(wù)實(shí)現(xiàn)，而無需關(guān)注底層技術(shù)細(xì)節(jié)。
“廣聯(lián)達(dá)以推動(dòng)建筑行業(yè)數(shù)字化為己任，著力打造‘?dāng)?shù)字+連接+算法’的系統(tǒng)性數(shù)字化。圍繞行業(yè)痛點(diǎn)，我們以智能化技術(shù)為基礎(chǔ)，依托華為云FunctionGraph Severless架構(gòu)，打造建筑從業(yè)人員的CoPilot，幫助行業(yè)人員提升作業(yè)效率，提高管理水平和決策質(zhì)量?！?/p>
未來，華為云將持續(xù)落地全域Serverless產(chǎn)品，與華為2012實(shí)驗(yàn)室深度合作，以FunctionGraph3.0為核心，打造Serverless AI極低成本和極致性能，充分滿足大模型應(yīng)用的敏捷要求，助力千行萬業(yè)深度用云。
華為云Serverless 應(yīng)用中心：http://m.cqfng.cn/product/functiongraph/applications.html
