邊緣AI趨勢已現(xiàn)

隨著邊緣設(shè)備數(shù)量指數(shù)級增長，以及設(shè)備性能的提升，數(shù)據(jù)量爆發(fā)式增長，數(shù)據(jù)規(guī)模已由原來的EB級擴(kuò)展到ZB級。數(shù)據(jù)回傳中心云處理成本太高，目前業(yè)界對邊緣計算的價值已經(jīng)被證明。數(shù)據(jù)在哪里，計算就應(yīng)該在哪里，人工智能也正逐步向邊緣遷移，將云上AI能力下沉到邊緣節(jié)點，做到本地處理，打通AI的最后一公里。目前各大廠商均推出了自研的邊緣AI芯片，據(jù)德勤預(yù)測，至2024年邊緣AI芯片銷量預(yù)計將超過15億片，萬物智聯(lián)的時代不再是遙不可及。比如園區(qū)里面隨處可見的智能攝像頭，進(jìn)行人臉識別，車牌識別；家里面的智能電視，智能音響；工業(yè)領(lǐng)域里面的無人機(jī)進(jìn)行電力線路智能巡檢等等，邊緣AI正在極大的提高了我們的生產(chǎn)生活效率。

AI在邊緣落地過程中面臨的挑戰(zhàn)

雖然邊緣AI技術(shù)的相關(guān)研究和應(yīng)用都有著顯著的進(jìn)展，然而在成本、性能、安全方面仍有諸多挑戰(zhàn)：

1. 數(shù)據(jù)孤島，邊緣天然的地理分布性, 隱私保護(hù)和網(wǎng)絡(luò)瓶頸等因素導(dǎo)致數(shù)據(jù)集天然分割, 傳統(tǒng)集中式AI模式在收斂速度, 數(shù)據(jù)傳輸量, 模型準(zhǔn)確度等方面仍存在巨大挑戰(zhàn)。

2. 邊緣數(shù)據(jù)樣本少，冷啟動等問題，傳統(tǒng)大數(shù)據(jù)驅(qū)動的統(tǒng)計ML方法面臨無法收斂、效果差等問題。

3. 數(shù)據(jù)異構(gòu)：現(xiàn)有機(jī)器學(xué)習(xí)基于獨立同分布假設(shè)，同一模型用在非獨立同分布的不同數(shù)據(jù)集的效果差別巨大。比如攝像頭的角度、遠(yuǎn)近等導(dǎo)致實驗室訓(xùn)練的模型推到邊緣時精度會下降大約5%-10%。

4. 資源受限：相對云上資源的海量易獲取，邊側(cè)資源受限（算力、供電、場地等均受限），建設(shè)與維護(hù)成本更高。

如何發(fā)揮邊緣計算的實時性和數(shù)據(jù)安全性，結(jié)合中心云的海量算力優(yōu)勢，實現(xiàn)AI的邊云協(xié)同，就成了解決上述挑戰(zhàn)的關(guān)鍵課題。

KubeEdge Sedna子項目

作為時下最活躍的云原生邊緣計算社區(qū)，KubeEdge吸引了全球多個領(lǐng)域用戶和開發(fā)者落地和參與，并于2020年下半年成立了AI SIG（Special Interest Group）。

KubeEdge SIG AI致力于解決AI在邊緣落地過程中的上述挑戰(zhàn)，提升邊緣AI的性能和效率。結(jié)合前期將邊云協(xié)同機(jī)制運用在AI場景的探索，AI SIG成員聯(lián)合發(fā)起了Sedna子項目，將最佳實踐經(jīng)驗固化到該項目中。

Sedna基于KubeEdge提供的邊云協(xié)同能力，實現(xiàn)AI的跨邊云協(xié)同訓(xùn)練和協(xié)同推理能力，支持業(yè)界主流的AI框架，包括TensorFlow/Pytorch/PaddlePaddle/MindSpore等，支持現(xiàn)有AI類應(yīng)用無縫下沉到邊緣，快速實現(xiàn)跨邊云的增量學(xué)習(xí)，聯(lián)邦學(xué)習(xí)，協(xié)同推理等能力，最終達(dá)到降低成本、提升模型性能、保護(hù)數(shù)據(jù)隱私等效果。

Sedna架構(gòu)圖如下所示：

GlobalManager：基于Kubernetes Operator 實現(xiàn)邊緣AI控制器，用戶通過創(chuàng)建CRD來實現(xiàn)模型/數(shù)據(jù)集管理，邊云協(xié)同AI任務(wù)管理，以及AI任務(wù)的跨邊云協(xié)調(diào)。目前支持如下AI任務(wù)：

            1. 增量訓(xùn)練: 針對小樣本和邊緣數(shù)據(jù)異構(gòu)的問題，模型可以在云端或邊緣進(jìn)行自適應(yīng)優(yōu)化，邊用邊學(xué)，越用越聰明。

            2. 聯(lián)邦學(xué)習(xí): 針對數(shù)據(jù)大，原始數(shù)據(jù)不出邊緣，隱私要求高等場景，模型在邊緣訓(xùn)練，參數(shù)云上聚合，可有效解決數(shù)據(jù)孤島的問題。

            3. 聯(lián)合推理: 針對邊緣資源需求大，或邊側(cè)資源受限條件下，基于邊云協(xié)同的能力，將推理任務(wù)卸載到云端，提升系統(tǒng)整體的推理性能。

LocalController：實現(xiàn)增量訓(xùn)練、聯(lián)邦學(xué)習(xí)、聯(lián)合推理特性的本地閉環(huán)管理。數(shù)據(jù)集和模型管理的本地控制，AI任務(wù)的狀態(tài)同步等。

Lib：給應(yīng)用提供邊云協(xié)同AI特性接口，用戶基于該Lib實現(xiàn)邊云協(xié)同的訓(xùn)練、聚合、評估和推理。

后續(xù)計劃

基于目前Sedna的能力，后續(xù)將持續(xù)演進(jìn)，包括但不限于：

l  支持更多邊緣硬件和AI平臺，如NPU, Pytorch，KubeFlow，ONNX等。

l  增強(qiáng)跨邊云數(shù)據(jù)集管理、模型管理。

l  自動轉(zhuǎn)換邊緣模型。

l  支持多種邊緣AI關(guān)鍵特性，比如基于知識庫的終身學(xué)習(xí)、多任務(wù)遷移學(xué)習(xí)。

l  構(gòu)建邊緣AI benchmark。

歡迎更多對邊緣計算感興趣的同學(xué)們加入KubeEdge社區(qū)，參與AI SIG，一起建設(shè)云原生邊緣計算生態(tài)。