華為云計(jì)算 云知識 華為HiLensModelBox開發(fā)框架
華為HiLensModelBox開發(fā)框架

ModelBox

ModelBox為端邊云統(tǒng)一AI應(yīng)用開發(fā)框架,目的是讓模型以統(tǒng)一的格式和接口更高效地運(yùn)行。開發(fā)者在華為云AI開發(fā)生產(chǎn)線ModelArts上完成模型的訓(xùn)練和優(yōu)化之后,使用ModelBox框架完成應(yīng)用的開發(fā),支持部署到端、邊、云場景的不同設(shè)備中運(yùn)行,打通行業(yè)AI應(yīng)用落地最后一公里。

優(yōu)勢

高性能并發(fā)調(diào)度引擎

ModelBox中將所有的任務(wù)都以功能單元的形式封裝,由多個功能單元構(gòu)成一個完整的應(yīng)用。執(zhí)行時,功能單元的計(jì)算將統(tǒng)一由線程池并發(fā)調(diào)度,確保計(jì)算單元被分配到對應(yīng)的異構(gòu)硬件中執(zhí)行。同時,計(jì)算中,數(shù)據(jù)和執(zhí)行單元綁定,保證數(shù)據(jù)處理的合理分配和高吞吐量。

預(yù)制的應(yīng)用編排異構(gòu)計(jì)算組件

豐富的組件覆蓋了主流芯片、多數(shù)操作系統(tǒng)和主流的推理框架,做到了屏蔽芯片層、操作系統(tǒng)、推理架構(gòu)這三個層次的平臺差異 。

端邊云 AI 協(xié)同單元

框架中提供的端邊云AI協(xié)同單元讓開發(fā)者快速寫出格式一致的AI應(yīng)用,并結(jié)合場景需求一鍵部署到端邊云不同的設(shè)備上運(yùn)行。

建議搭配使用:ModelArts 對象存儲服務(wù) OBS

華為HiLensModelBox開發(fā)框架