眾多AI創(chuàng)新者反饋，構(gòu)建AIGC應(yīng)用時(shí)常遇這些挑戰(zhàn)
眾多AI創(chuàng)新者反饋，構(gòu)建AIGC應(yīng)用時(shí)常遇這些挑戰(zhàn)
模型開發(fā)/定制門檻高
大模型應(yīng)用是一個(gè)模型、數(shù)據(jù)、代碼集成的新型應(yīng)用。 開發(fā)一個(gè)完整的大模型應(yīng)用既需要利用多樣化的AI原生技術(shù)又需要強(qiáng)大的工程能力，并將它們充分整合，開發(fā)門檻高
底層資源管理工作量
從物理機(jī)、虛擬機(jī)到容器，測(cè)試、開發(fā)環(huán)境的安裝部署周期長(zhǎng)，消耗寶貴的算法工程的精力
應(yīng)用運(yùn)行成本高
AI應(yīng)用底層異構(gòu)資源成本高，特別是業(yè)務(wù)流量面臨波峰波谷時(shí)，在波谷周期浪費(fèi)大量資源，資源利用率低
應(yīng)用周邊組件管理
除了核心業(yè)務(wù)后端，研發(fā)還需要關(guān)注整體應(yīng)用架構(gòu)部署，涉及安全、網(wǎng)絡(luò)等眾多應(yīng)用組件，導(dǎo)致整體產(chǎn)品上市周期延長(zhǎng)
故障后的定位、定界、恢復(fù)
缺少一站式的大屏來監(jiān)控應(yīng)用實(shí)時(shí)運(yùn)行情況，缺少智能告警、自動(dòng)恢復(fù)措施
計(jì)算資源的高峰需求
AI模型往往需要大量的計(jì)算資源，特別是在處理大規(guī)模數(shù)據(jù)集訓(xùn)練和推理時(shí)，需要極強(qiáng)的彈性和極快的啟動(dòng)速度面對(duì)流量洪峰，AI應(yīng)用能否高可用高性能的穩(wěn)定運(yùn)行？傳統(tǒng)服務(wù)器可能難以應(yīng)對(duì)瞬時(shí)的高負(fù)載
如何簡(jiǎn)單化應(yīng)用運(yùn)維
AI原生技術(shù)種類繁多，難以快速集成，構(gòu)建和部署模型涉及復(fù)雜的流程，并且后端服務(wù)運(yùn)維往往需要大量日志、跟蹤定位是哪個(gè)服務(wù)出問題的效率較低
隱私安全挑戰(zhàn)
AIGC技術(shù)面臨的隱私安全問題包括數(shù)據(jù)泄露、數(shù)據(jù)濫用、算法偏見等風(fēng)險(xiǎn)
華為云Serverless如何低成本極簡(jiǎn)創(chuàng)建AI應(yīng)用？
.png)
Serverless 函數(shù)工作流 FunctionGraph：八大關(guān)鍵能力，助力一鍵創(chuàng)建AI應(yīng)用
Serverless 函數(shù)工作流 FunctionGraph：八大關(guān)鍵能力，助力一鍵創(chuàng)建AI應(yīng)用
低學(xué)習(xí)成本
? 無需關(guān)注底層基礎(chǔ)設(shè)施
? 主流AI開發(fā)框架集成
? 預(yù)置函數(shù)模板
異構(gòu)資源調(diào)度，“0”閑置
? 毫秒級(jí)擴(kuò)縮容
? 預(yù)留實(shí)例智能推薦
可視化編排
? 多模型聚合、拆解
? 企業(yè)應(yīng)用0改造對(duì)接大模型
極致冷啟動(dòng)
? 獨(dú)創(chuàng)Snapshot技術(shù)，冷啟動(dòng)<200ms
? GB級(jí)模型秒級(jí)響應(yīng)
豐富的語言、運(yùn)行時(shí)和觸發(fā)器
? 8+ 主流開發(fā)語言支持
? 20+ 種觸發(fā)方式
應(yīng)用一鍵構(gòu)建，“0”門檻
? 應(yīng)用一鍵構(gòu)建，大模型觸手可及
? 全托管，免運(yùn)維
全?？捎^測(cè)
? 端到端全鏈路壓測(cè)
? 50+監(jiān)控指標(biāo)，全語言調(diào)用鏈
邊緣部署
? 邊緣流量近場(chǎng)處理，低時(shí)延
? 云邊協(xié)同統(tǒng)一運(yùn)維管理
Serverless 都可以應(yīng)用在哪些AI場(chǎng)景？
Serverless 都可以應(yīng)用在哪些AI場(chǎng)景？
游戲場(chǎng)景圖片生成
-
1、游戲場(chǎng)景創(chuàng)作 2、游戲角色設(shè)計(jì)
3、游戲道具設(shè)計(jì) 4、游戲UI設(shè)計(jì)
-
如：某游戲平臺(tái)使用Serverless一鍵創(chuàng)建AI畫圖應(yīng)用Stable Diffusion，批量生成游戲場(chǎng)景圖、游戲海報(bào)等。
教育、繪本、插畫圖片生成
-
1、教學(xué)資源制作 2、虛擬教學(xué)助手
3、教學(xué)視頻制作 4、教學(xué)游戲開發(fā)
-
如：某教育公司使用Serverless一鍵創(chuàng)建AI畫圖應(yīng)用Stable Diffusion，批量生成插畫、兒童繪本圖片、宣傳海報(bào)等。
電商圖片生成
-
1、電商模特生成 2、商品圖片生成
3、虛擬試衣間 4、商品視頻制作
-
如：某教育公司使用Serverless免費(fèi)一鍵創(chuàng)建AI畫圖應(yīng)用ComfyUI+Flux版，批量生成插畫、兒童繪本圖片、宣傳海報(bào)等。
廣告、營(yíng)銷、設(shè)計(jì)行業(yè)圖片生成
-
1、個(gè)性化營(yíng)銷 2、內(nèi)容審核
3、服裝設(shè)計(jì) 4、廣告創(chuàng)意
-
如：某教育公司使用Serverless免費(fèi)一鍵創(chuàng)建AI畫圖應(yīng)用ComfyUI版，批量生成服裝設(shè)計(jì)、廣告圖片等。AI對(duì)話-ChatGLM3生成營(yíng)銷咨詢等。
游戲場(chǎng)景圖片生成
-
1、游戲場(chǎng)景創(chuàng)作 2、游戲角色設(shè)計(jì)
3、游戲道具設(shè)計(jì) 4、游戲UI設(shè)計(jì)
-
如：某游戲平臺(tái)使用Serverless一鍵創(chuàng)建AI畫圖應(yīng)用Stable Diffusion，批量生成游戲場(chǎng)景圖、游戲海報(bào)等。
教育、繪本、插畫圖片生成
-
1、教學(xué)資源制作 2、虛擬教學(xué)助手
3、教學(xué)視頻制作 4、教學(xué)游戲開發(fā)
-
如：某教育公司使用Serverless一鍵創(chuàng)建AI畫圖應(yīng)用Stable Diffusion，批量生成插畫、兒童繪本圖片、宣傳海報(bào)等。
電商圖片生成
-
1、電商模特生成 2、商品圖片生成
3、虛擬試衣間 4、商品視頻制作
-
如：某教育公司使用Serverless免費(fèi)一鍵創(chuàng)建AI畫圖應(yīng)用ComfyUI+Flux版，批量生成插畫、兒童繪本圖片、宣傳海報(bào)等。
廣告、營(yíng)銷、設(shè)計(jì)行業(yè)圖片生成
-
1、個(gè)性化營(yíng)銷 2、內(nèi)容審核
3、服裝設(shè)計(jì) 4、廣告創(chuàng)意
-
如：某教育公司使用Serverless免費(fèi)一鍵創(chuàng)建AI畫圖應(yīng)用ComfyUI版，批量生成服裝設(shè)計(jì)、廣告圖片等。AI對(duì)話-ChatGLM3生成營(yíng)銷咨詢等。
客戶案例
華為云 Stable Diffusion案例: 低成本構(gòu)建文生圖應(yīng)用，實(shí)現(xiàn)AI繪圖
某在線游戲平臺(tái)：為全球用戶提供優(yōu)質(zhì)精彩的游戲、娛樂及服務(wù)。產(chǎn)品涵蓋數(shù)十款棋牌類手游（斗地主、捕魚、象棋等）及休閑類手游。
客戶訴求
? 素材庫(kù)精修
? 人物道具設(shè)計(jì)
? 海量游戲海報(bào)生成
? 設(shè)計(jì)師減少工作量，提高效率
? 業(yè)務(wù)按需使用、無需提前部署
客戶價(jià)值
? 一鍵部署、便于操作，免運(yùn)維；20分鐘完成了文生圖應(yīng)用的業(yè)務(wù)部署
? 按需使用，根據(jù)調(diào)用次數(shù)收費(fèi)，無請(qǐng)求不計(jì)費(fèi)；客戶每天生成3000+圖片，實(shí)際使用GPU時(shí)間僅3.47小時(shí)，節(jié)省85%+資源成本
華為云Serverless，賦能豐圖科技AI推理成本銳減30%，可靠性翻倍
豐圖科技(深圳)有限公司 源于順豐科技地理信息研發(fā)中心,最早負(fù)責(zé)構(gòu)建物流場(chǎng)景的工業(yè)級(jí)地圖、支撐順豐集團(tuán)的數(shù)字化轉(zhuǎn)型。
目前豐圖科技已經(jīng)搭建了智慧護(hù)航平臺(tái)和豐圖智行平臺(tái),為物流企業(yè)提供貨運(yùn)安全監(jiān)管和風(fēng)控服務(wù)。由于將大量計(jì)算部署在了云端，如何節(jié)約算力、實(shí)現(xiàn)降本增效也十分重要。豐圖科技利用華為云函數(shù)工作流FunctionGraph實(shí)現(xiàn)了推理算法事件驅(qū)動(dòng)、 設(shè)備自檢算法、 同時(shí)無需運(yùn)維計(jì)算資源,使團(tuán)隊(duì)只需要關(guān)注業(yè)務(wù)本身，從而可以更好的控制使用成本。
華為云解決方案
駕駛輔助智能硬件、智慧交通監(jiān)督平臺(tái)、7*24小時(shí)運(yùn)營(yíng)支撐,實(shí)現(xiàn)三位一體安全駕駛
豐圖科技還通過駕駛輔助智能硬件、智慧交通監(jiān)督平臺(tái)、7*24小時(shí)運(yùn)營(yíng)支撐,實(shí)現(xiàn)了三位一體的安全駕駛解決方案。并以安全云平臺(tái)為核心,通過風(fēng)險(xiǎn)預(yù)測(cè)、實(shí)時(shí)干預(yù)、事故調(diào)查表、統(tǒng)計(jì)報(bào)表等方式,結(jié)合駕駛輔助硬件、設(shè)備算法迭代,系統(tǒng)自動(dòng)報(bào)警實(shí)用技術(shù),大大降低了商用車安全事故,保障了司機(jī)的每一次安全駕駛。
引入了DMS疲勞檢測(cè)，高危等級(jí)風(fēng)險(xiǎn)事件召回率提升32%
針對(duì)長(zhǎng)途貨運(yùn)司機(jī)容易疲勞駕駛的問題,豐圖科技的安全駕駛解決方案引入了DMS疲勞檢測(cè),支持云端DMS告警補(bǔ)償和告警清洗,自動(dòng)檢測(cè)駕駛員疲勞、分心、吸煙打電話、攝像頭被遮擋等行為?；诰?jiǎn)版ResNet圖像分類,對(duì)攝像頭狀態(tài)判斷準(zhǔn)確率達(dá)到99%。能夠減少40%以上的無效告警和10%左右的護(hù)航人力投入,高危等級(jí)風(fēng)險(xiǎn)事件召回率提升32%。
實(shí)踐效果
節(jié)約算力及成本，GPU最小1/16粒度配置，按使用量計(jì)費(fèi)
利用華為云函數(shù)工作流FunctionGraph實(shí)現(xiàn)了推力算法事件驅(qū)動(dòng),全自動(dòng)按請(qǐng)求并發(fā)量彈性計(jì)算實(shí)例,保障了資源的按需使用;GPU最小1/16粒度配置,按使用量計(jì)費(fèi),從而避免了昂貴算力的資源限制。同時(shí)FunctionGraph不需要運(yùn)維計(jì)算資源,只需要關(guān)注業(yè)務(wù)本身,從而可以更好的控制使用成本。
實(shí)現(xiàn)設(shè)備自檢算法，減少運(yùn)維工作量
通過華為云FunctionGraph實(shí)現(xiàn)設(shè)備自檢算法,設(shè)備自檢業(yè)務(wù)流程中，將圖片計(jì)算的部分使用GPU資源的工作放在FunctionGraph中完成。并利用FunctionGraph自帶的監(jiān)控日志系統(tǒng)觀察,減少了運(yùn)維工作量。全自動(dòng)彈性實(shí)例也更容易應(yīng)對(duì)業(yè)務(wù)量變化帶來的資源需求的波動(dòng)，提高了業(yè)務(wù)穩(wěn)定性。
成本降低30%,可靠性則提升至100%
華為云FunctionGraph是根據(jù)函數(shù)調(diào)用次數(shù)、活躍/閑置內(nèi)存以及GPU使用量進(jìn)行收費(fèi),粒度到1ms級(jí)別,只在函數(shù)被調(diào)用時(shí)計(jì)費(fèi)。華為云FunctionGraph助力豐圖科技成本降低30%,可靠性提升100%。
華為云Serverless常見問題解答
華為云Serverless常見問題解答
游戲素材復(fù)雜精細(xì)，例如角色姿勢(shì)是否自然、細(xì)節(jié)是否清晰、光照是否合理等都需要很多的考量，影響整體游戲的制作周期
云端算力資源可彈性擴(kuò)展，中低配置物理終端也可執(zhí)行大型游戲美術(shù)生成任務(wù)。
美術(shù)在游戲開發(fā)過程中占比高，尤其是在臨近項(xiàng)目上線時(shí)，美術(shù)團(tuán)隊(duì)的人數(shù)，可以占到整體的一半以上
AI繪畫任務(wù)隨時(shí)執(zhí)行，降低人力成本，云端AI繪畫根據(jù)創(chuàng)建應(yīng)用時(shí)的調(diào)用次數(shù)收費(fèi)，無請(qǐng)求不計(jì)費(fèi)。
公司業(yè)務(wù)對(duì)GPU強(qiáng)依賴，而昂貴的GPU算力成為制約業(yè)務(wù)發(fā)展的瓶頸。急需解決算力成本問題
華為云支持多函數(shù)實(shí)例共享顯卡，會(huì)根據(jù)選擇的顯存大小進(jìn)行算力和顯存隔離，vGPU可細(xì)粒度靈活組合（1/20 GPU分片），毫秒粒度計(jì)費(fèi)。提升GPU硬件資源的利用率并降低成本。
繪圖應(yīng)用響應(yīng)延遲緩慢，客戶提一個(gè)畫圖需求，應(yīng)用要加載近1分鐘才能響應(yīng)
預(yù)熱基礎(chǔ)異構(gòu)函數(shù)實(shí)例：提前初始化設(shè)備和依賴庫(kù)，設(shè)備初始化時(shí)延降低至0ms。
模型加載和計(jì)算pipeline化：模型按Layer分批加載，并根據(jù)用戶SLA和模型推理時(shí)延歷史數(shù)據(jù)，構(gòu)建最優(yōu)pipeline, 降低參數(shù)加載和模型推理總時(shí)延。
GPU資源利用率低：業(yè)務(wù)事件觸發(fā)，非長(zhǎng)穩(wěn)運(yùn)行，訓(xùn)練算法運(yùn)行僅需1/4張GPU卡，采用預(yù)置容器實(shí)例綁定一張卡的方式資源利用率底，價(jià)格高
FunctionGraph全自動(dòng)按業(yè)務(wù)請(qǐng)求量彈性實(shí)例，無請(qǐng)求無費(fèi)用。
華為云Serverless精選文章推薦
華為云Serverless精選文章推薦
華為云Serverless應(yīng)用中心，一鍵構(gòu)建AI繪圖應(yīng)用
華為云Serverless應(yīng)用中心，提供了大量應(yīng)用模板，讓用戶能夠一鍵部署函數(shù)和周邊依賴資源，節(jié)省部署時(shí)間，快速上手將應(yīng)用部署到華為云函數(shù)計(jì)算FunctionGraph，并一鍵開通周邊依賴資源。
全域Serverless+AI，華為云加速大模型應(yīng)用開發(fā)
為了更好的支撐AIGC應(yīng)用，華為云提供了全域Serverless能力，推出了CCE Autopilot、FunctionGraph、CAE等Serverless產(chǎn)品，將一系列的AI原生技術(shù)構(gòu)筑成后端服務(wù)，形成BaaS for AI能力，調(diào)用即可得。結(jié)合完善的工具鏈，幫忙企業(yè)快速構(gòu)建應(yīng)用。
基于Serverless技術(shù)的AIGC應(yīng)用探究
隨著人工智能與圖形計(jì)算的融合，AIGC（Artificial Intelligence and Graphics Computing）技術(shù)的發(fā)展已經(jīng)成為當(dāng)今科技領(lǐng)域的熱點(diǎn)之一。
華為云全域Serverless技術(shù)創(chuàng)新：全球首創(chuàng)通用Serverless平臺(tái)被ACM SIGCOMM錄用
華為云全域Serverless化背后的“基石”——元戎，中稿全球頂尖學(xué)術(shù)會(huì)議ACM SIGCOMM 2024。
匯聚行業(yè)實(shí)踐，樹立應(yīng)用典范——《Serverless應(yīng)用實(shí)踐案例集》重磅發(fā)布
2024年可信云大會(huì)·云原生與大模型云服務(wù)分論壇在京成功召開。會(huì)上正式發(fā)布了 《Serverless應(yīng)用實(shí)踐案例集》。
華為云Serverless，海量企業(yè)的共同選擇
華為云Serverless，海量企業(yè)的共同選擇
