HiLens平臺支持部署容器鏡像和軟件包格式的AI應(yīng)用。HiLens管理控制臺專業(yè)版可下載miniSDK、ModelBox SDK等工具和插件，開發(fā)者可按需下載和使用來開發(fā)AI應(yīng)用。

• HiLens miniSDK

  開發(fā)者可下載HiLens miniSDK并打包到鏡像中，實現(xiàn)對鏡像的License管理（如時長限制）、模型加解密功能（需連云）。

• Modelbox SDK

  開發(fā)者可以選擇基于ModelBox框架進行推理代碼開發(fā)，完成后可以打包為RPM包或鏡像，即可通過HiLens平臺將算法在線部署到已注冊的設(shè)備上運行。

ModelBox為端邊云統(tǒng)一AI應(yīng)用開發(fā)框架，目的是讓模型以統(tǒng)一的格式和接口更高效地運行。開發(fā)者在華為云AI開發(fā)生產(chǎn)線ModelArts上完成模型的訓(xùn)練和優(yōu)化之后，使用ModelBox框架完成應(yīng)用的開發(fā)，支持部署到端、邊、云場景的不同設(shè)備中運行，打通行業(yè)AI應(yīng)用落地最后一公里。

• 高性能并發(fā)調(diào)度引擎

  ModelBox中將所有的任務(wù)都以功能單元的形式封裝，由多個功能單元構(gòu)成一個完整的應(yīng)用。執(zhí)行時，功能單元的計算將統(tǒng)一由線程池并發(fā)調(diào)度，確保計算單元被分配到對應(yīng)的異構(gòu)硬件中執(zhí)行。同時，計算中，數(shù)據(jù)和執(zhí)行單元綁定，保證數(shù)據(jù)處理的合理分配和高吞吐量。

• 預(yù)制的應(yīng)用編排異構(gòu)計算組件

  豐富的組件覆蓋了主流芯片、多數(shù)操作系統(tǒng)和主流的推理框架，做到了屏蔽芯片層、操作系統(tǒng)、推理架構(gòu)這三個層次的平臺差異 。

• 端邊云 AI 協(xié)同單元

  框架中提供的端邊云AI協(xié)同單元讓開發(fā)者快速寫出格式一致的AI應(yīng)用，并結(jié)合場景需求一鍵部署到端邊云不同的設(shè)備上運行。

從云上HiLens平臺在線將AI應(yīng)用部署到帶一定AI算力的邊緣設(shè)備上，比如帶AI加速卡（GPU或NPU）的邊緣智能盒子或服務(wù)器。AI應(yīng)用使用輕量級邊緣AI設(shè)備即可完成AI應(yīng)用的模型推理和邏輯計算，在云上管理控制臺進行實時監(jiān)管與運維。

• 設(shè)備利舊，更低TCO

  邊緣智能設(shè)備提供AI推理能力，兼容RTSP格式流的IPC攝像頭，無須新購攝像頭。

• 極致AI推理性能

  算法通過開源框架ModelBox進行開發(fā)，快速遷移至輕量級設(shè)備，并通過資源智能調(diào)度實現(xiàn)高性能計算。

• 算法擴展性強，易維護

  AI算法一鍵下發(fā)，靈活增加；模型配置參數(shù)可在線調(diào)整，提升算法能力；算法遠程升級，業(yè)務(wù)秒級恢復(fù)。

結(jié)合端側(cè)推理時延低、邊緣算力和準(zhǔn)確率較高的優(yōu)勢，將一個AI應(yīng)用中的多個AI模型進行拆分，通過云上HiLens平臺將得到的多個AI應(yīng)用分別部署到端側(cè)攝像頭與輕量級邊緣設(shè)備上進行AI推理，通過業(yè)務(wù)邏輯充分協(xié)調(diào)與使用硬件計算能力，平衡低時延與高精度，實現(xiàn)整體方案的降本增效。

• 靈活部署

  可根據(jù)硬件能力與用戶場景，在線將合適的AI應(yīng)用部署到對應(yīng)設(shè)備上，并遠程調(diào)整AI各種閾值參數(shù)，直至模型達到最優(yōu)。??

• 統(tǒng)一接口管理

  HiLens平臺提供北向接口，統(tǒng)一管理端側(cè)與輕量級邊緣設(shè)備，節(jié)省業(yè)務(wù)對接開發(fā)量。

• 本地管理

  在線部署后可設(shè)備可離線運行，HiLens提供本地管理接口，可進行設(shè)備的基礎(chǔ)查詢與運維。