華為云計(jì)算 云知識(shí) 以數(shù)字資產(chǎn)模型為核心驅(qū)動(dòng)的一站式IoT數(shù)據(jù)分析實(shí)踐
以數(shù)字資產(chǎn)模型為核心驅(qū)動(dòng)的一站式IoT數(shù)據(jù)分析實(shí)踐

IoT數(shù)據(jù)分析面臨的問(wèn)題與挑戰(zhàn)

隨著物聯(lián)網(wǎng)設(shè)備接入數(shù)量的快速增長(zhǎng),IoT數(shù)據(jù)量也急速增長(zhǎng),快捷有效的數(shù)據(jù)分析的價(jià)值越來(lái)越重要。然而,當(dāng)前IoT數(shù)據(jù)分析面臨著諸多關(guān)鍵挑戰(zhàn),貫穿著數(shù)據(jù)分析的整個(gè)過(guò)程:

  • 數(shù)據(jù)接入階段:數(shù)據(jù)質(zhì)量參差不齊、且面臨多種異構(gòu)數(shù)據(jù)源接入

  • 數(shù)據(jù)準(zhǔn)備階段:缺少統(tǒng)一數(shù)據(jù)模型,需要進(jìn)行大量的數(shù)據(jù)抽取、轉(zhuǎn)換等處理

  • 數(shù)據(jù)存儲(chǔ)階段:海量數(shù)據(jù)查詢效率低下,數(shù)據(jù)多份存儲(chǔ)、 數(shù)據(jù)管理 成本高昂

  • 數(shù)據(jù)分析階段:不同類型數(shù)據(jù)分析數(shù)據(jù)源不同,形成數(shù)據(jù)孤島、存在大量數(shù)據(jù)搬遷;并且數(shù)據(jù)分析門檻高,缺少簡(jiǎn)單易用的數(shù)據(jù)分析工具

  • 數(shù)據(jù)可視化 階段:缺少交互式查詢能力、缺少基于時(shí)間維度的洞察分析能力                          

華為云IoT數(shù)據(jù)分析開放架構(gòu)介紹

基于以上IoT數(shù)據(jù)分析面臨的挑戰(zhàn),華為推出以資產(chǎn)模型為核心驅(qū)動(dòng)的一站式IoT數(shù)據(jù)分析服務(wù):基于物聯(lián)網(wǎng)資產(chǎn)模型,整合 大數(shù)據(jù) 分析領(lǐng)域的最佳實(shí)踐,以及IoT 數(shù)據(jù)集 成、清洗、存儲(chǔ)、分析、可視化,為開發(fā)者打造一站式數(shù)據(jù)開發(fā)體驗(yàn),并且跟華為云物聯(lián)網(wǎng)相關(guān)云服務(wù)(比如設(shè)備接入)無(wú)縫對(duì)接,降低開發(fā)門檻,縮短開發(fā)周期,快速實(shí)現(xiàn)物聯(lián)網(wǎng)數(shù)據(jù)價(jià)值變現(xiàn)。

下面我們將從資產(chǎn)建模、高效存儲(chǔ)、時(shí)序分析三個(gè)方面進(jìn)行展開介紹:

資產(chǎn)模型

構(gòu)建資產(chǎn)模型是充分“理解”物聯(lián)網(wǎng)數(shù)據(jù)的基礎(chǔ)?,F(xiàn)實(shí)世界的設(shè)備不是離散的,而是具有空間、組織、人等復(fù)雜關(guān)系與上下文存在的。如何打通物理世界與數(shù)字世界的關(guān)聯(lián),如何更好的理解設(shè)備從而快捷高效地分析數(shù)據(jù),成為物聯(lián)網(wǎng)企業(yè)急需的基礎(chǔ)業(yè)務(wù)。

不同于通用型大數(shù)據(jù)分析相關(guān)產(chǎn)品,華為云IoT數(shù)據(jù)分析服務(wù)與資產(chǎn)模型深度整合,以DigitalTwins資產(chǎn)模型為中心驅(qū)動(dòng)數(shù)據(jù)分析,開發(fā)者可以直接使用統(tǒng)一的物聯(lián)網(wǎng)模型數(shù)據(jù),大大提升數(shù)據(jù)分析的效率。通過(guò)構(gòu)建物與物,物與空間,物與人等復(fù)雜關(guān)系,將物聯(lián)網(wǎng)數(shù)據(jù)置于模型的“上下文”中去理解;通過(guò)“IoT+資產(chǎn)模型”,在數(shù)字世界中構(gòu)建與物理世界準(zhǔn)實(shí)時(shí)同步的數(shù)字孿生;基于模型抽象,為數(shù)據(jù)分析提供面向業(yè)務(wù)的接口封裝。下圖舉例,將一棟樓映射成數(shù)字孿生,通過(guò)資產(chǎn)模型創(chuàng)建了大樓內(nèi)部的組成關(guān)系。

在建模過(guò)程中,IoT數(shù)據(jù)分析服務(wù)提供圖形化可拖拽方式的開發(fā)環(huán)境,簡(jiǎn)化復(fù)雜資產(chǎn)模型的開發(fā)過(guò)程,對(duì)于相同的資產(chǎn)可以采用模板方式批量創(chuàng)建。支持UDF(用戶自定義函數(shù))能力,用戶在創(chuàng)建虛測(cè)點(diǎn)過(guò)程中可使用比如四則運(yùn)算,科學(xué)計(jì)數(shù)法,三角函數(shù),滑窗,流計(jì)算等函數(shù)。

高效存儲(chǔ)

數(shù)據(jù)量大且具有時(shí)效性是物聯(lián)網(wǎng)數(shù)據(jù)的典型特點(diǎn),隨著時(shí)間推移數(shù)據(jù)價(jià)值會(huì)逐漸降低。在不同場(chǎng)景下,數(shù)據(jù)處理時(shí)效性的要求也不同。比如:車聯(lián)網(wǎng)行業(yè)的地理圍欄、工業(yè)領(lǐng)域的生產(chǎn)線異常檢測(cè)、園區(qū)火警告警等,都需要時(shí)效性,數(shù)據(jù)需實(shí)時(shí)處理,一般都在毫秒級(jí)別。而對(duì)于報(bào)表、統(tǒng)計(jì)類等分析,是對(duì)較長(zhǎng)時(shí)間段的數(shù)據(jù)進(jìn)行分析,對(duì)時(shí)間要求不高,一般是分鐘級(jí)別。

華為云IoT數(shù)據(jù)分析服務(wù)針對(duì)不同場(chǎng)景下的數(shù)據(jù)特點(diǎn)采用不同的存儲(chǔ)策略,提供溫冷數(shù)據(jù)分層存儲(chǔ),在滿足數(shù)據(jù)處理要求的同時(shí),降低存儲(chǔ)成本。

同時(shí),針對(duì)物聯(lián)網(wǎng)數(shù)據(jù)具備的顯著時(shí)序特征,華為云IoT數(shù)據(jù)分析服務(wù)在數(shù)據(jù)存儲(chǔ)及數(shù)據(jù)分析上做了大量的優(yōu)化,提供高性能、高壓縮比的時(shí)序數(shù)據(jù)處理。比如按時(shí)間線做Hash Partition,所有Shard節(jié)點(diǎn)并行寫入,單實(shí)例支持超10萬(wàn)時(shí)間線,最大億級(jí)時(shí)間線;通過(guò)采用列式存儲(chǔ)布局,不同數(shù)據(jù)類型(如時(shí)間類型,浮點(diǎn)型)采用不同壓縮算法,相比開源OpenTSDB壓縮率提升10倍,獲得極致壓縮率;支持多維倒排索引、向量化查詢等,相對(duì)開源OpenTSDB查詢效率提升10倍以上。

時(shí)序分析

物聯(lián)網(wǎng)數(shù)據(jù)具備的顯著時(shí)序特征:按照時(shí)間維度上報(bào)、存儲(chǔ)、查詢數(shù)據(jù)?;谖锫?lián)網(wǎng)數(shù)據(jù)的這些特征,華為云IoT數(shù)據(jù)分析服務(wù)提供時(shí)序數(shù)據(jù)洞察工具explorer,提供了開箱即用的時(shí)序洞察能力,無(wú)需任何開發(fā)。

  • 基于統(tǒng)一的資產(chǎn)模型進(jìn)行洞察探索,無(wú)需編碼或數(shù)據(jù)準(zhǔn)備,提升洞察效率;

  • 基于高效的時(shí)序存儲(chǔ),可在海量歷史數(shù)據(jù)中秒級(jí)快速交互分析查詢,可基于任意資產(chǎn)、任意時(shí)間點(diǎn) 做準(zhǔn)實(shí)時(shí)的探索查詢;

  • 基于資產(chǎn)模型環(huán)境上下文可視化效果,可通過(guò)豐富圖表呈現(xiàn),快速洞察時(shí)序數(shù)據(jù)特征。

物聯(lián)網(wǎng)數(shù)據(jù)分析服務(wù)還提供基于算子的開發(fā)實(shí)時(shí)分析作業(yè)系統(tǒng):

  • 預(yù)置IoT行業(yè)實(shí)時(shí)處理的算子,行業(yè)人員通過(guò)連接算子來(lái)編排出實(shí)時(shí)作業(yè)處理流程,無(wú)需專業(yè)算法知識(shí);

典型應(yīng)用場(chǎng)景

為了讓大家更好地理解和熟悉華為云IoT數(shù)據(jù)分析服務(wù)開發(fā)流程,周仕鵬老師在直播間演示了如下兩個(gè)物聯(lián)網(wǎng)數(shù)據(jù)分析典型應(yīng)用場(chǎng)景:

智慧樓宇分析系統(tǒng)

在實(shí)際應(yīng)用開發(fā)中,由于每個(gè)樓宇、樓層的設(shè)備為離散的物理設(shè)備,如果需要按照樓宇、樓層等為單位進(jìn)行統(tǒng)計(jì)并管理設(shè)備,就需要對(duì)樓宇、設(shè)備之間的關(guān)系進(jìn)行標(biāo)注關(guān)聯(lián),并且后續(xù)的數(shù)據(jù)分析階段還需要重新理解實(shí)際設(shè)備以及關(guān)聯(lián)關(guān)系,開發(fā)效率低。

通過(guò)華為云IoT數(shù)據(jù)分析服務(wù)可以對(duì)樓宇進(jìn)行快速資產(chǎn)建模,并基于統(tǒng)一模型做設(shè)備管理、實(shí)時(shí)分析、時(shí)序分析,降低開發(fā)門檻,提升數(shù)據(jù)分析開發(fā)效率。

智慧倉(cāng)儲(chǔ)中的實(shí)時(shí)分析

華為云IoT數(shù)據(jù)分析服務(wù)的資產(chǎn)建模能力,可幫助行業(yè)開發(fā)者快速構(gòu)建資產(chǎn)模型并便捷管理。在倉(cāng)庫(kù)的進(jìn)出庫(kù)管理中,基于數(shù)據(jù)分析服務(wù)的實(shí)時(shí)分析,結(jié)合AI推理計(jì)算,對(duì)異常RFID數(shù)據(jù)流進(jìn)行識(shí)別檢測(cè),可實(shí)現(xiàn)秒級(jí)判斷出貨物在進(jìn)出庫(kù)過(guò)程中的進(jìn)出方向,繼而可自動(dòng)與貨單進(jìn)行校對(duì),實(shí)時(shí)告知倉(cāng)庫(kù)管理人員進(jìn)出貨物的情況。