本文由AI智能模型生成,在自有數(shù)據(jù)的基礎(chǔ)上,訓(xùn)練NLP文本生成模型,根據(jù)標(biāo)題生成內(nèi)容,適配到模板。內(nèi)容僅供參考,不對其準(zhǔn)確性、真實(shí)性等作任何形式的保證,如果有任何問題或意見,請聯(lián)系contentedit@huawei.com或點(diǎn)擊右側(cè)用戶幫助進(jìn)行反饋。我們原則上將于收到您的反饋后的5個工作日內(nèi)做出答復(fù)或反饋處理結(jié)果。
ModelBox
ModelBox為端邊云統(tǒng)一AI應(yīng)用開發(fā)框架,目的是讓模型以統(tǒng)一的格式和接口更高效地運(yùn)行。開發(fā)者在華為云AI開發(fā)生產(chǎn)線ModelArts上完成模型的訓(xùn)練和優(yōu)化之后,使用ModelBox框架完成應(yīng)用的開發(fā),支持部署到端、邊、云場景的不同設(shè)備中運(yùn)行,打通行業(yè)AI應(yīng)用落地最后一公里。
優(yōu)勢
高性能并發(fā)調(diào)度引擎
ModelBox中將所有的任務(wù)都以功能單元的形式封裝,由多個功能單元構(gòu)成一個完整的應(yīng)用。執(zhí)行時,功能單元的計(jì)算將統(tǒng)一由線程池并發(fā)調(diào)度,確保計(jì)算單元被分配到對應(yīng)的異構(gòu)硬件中執(zhí)行。同時,計(jì)算中,數(shù)據(jù)和執(zhí)行單元綁定,保證數(shù)據(jù)處理的合理分配和高吞吐量。
預(yù)制的應(yīng)用編排異構(gòu)計(jì)算組件
豐富的組件覆蓋了主流芯片、多數(shù)操作系統(tǒng)和主流的推理框架,做到了屏蔽芯片層、操作系統(tǒng)、推理架構(gòu)這三個層次的平臺差異 。
端邊云 AI 協(xié)同單元
框架中提供的端邊云AI協(xié)同單元讓開發(fā)者快速寫出格式一致的AI應(yīng)用,并結(jié)合場景需求一鍵部署到端邊云不同的設(shè)備上運(yùn)行。
建議搭配使用:ModelArts、 對象存儲服務(wù) OBS