華為云計(jì)算 云知識 以數(shù)字資產(chǎn)模型為核心驅(qū)動的一站式IoT數(shù)據(jù)分析實(shí)踐
以數(shù)字資產(chǎn)模型為核心驅(qū)動的一站式IoT數(shù)據(jù)分析實(shí)踐

在這個(gè)全民直播的時(shí)代

一個(gè)不會直播的云服務(wù)架構(gòu)師

 不是一個(gè)好的攻城獅

3月23日15:00-15:50,華為云IoT數(shù)據(jù)分析服務(wù)架構(gòu)師周仕鵬老師,開啟了他人生中的第一場直播。在歷經(jīng)了直播小白都會遇到的緊張、認(rèn)真籌備、期待、再度緊張的一系列過程后,周老師終于站在了直播間,與大家侃侃而談“以數(shù)字資產(chǎn)模型為核心驅(qū)動的一站式IoT數(shù)據(jù)分析實(shí)踐”,并在直播過程中演示了IoT數(shù)據(jù)分析Demo開發(fā)流程。

直播結(jié)束后,小編在后臺悄悄問了下周老師:“您的首次直播都可以做到這么自信和游刃有余,秘笈是啥?”

正準(zhǔn)備離開的周老師停下腳步,回眸一笑:“談技術(shù),沒有人比我更懂IoT數(shù)據(jù)分析,談直播,每個(gè)人都有第一次。在這個(gè)全民直播的時(shí)代,一個(gè)不會直播的云服務(wù)架構(gòu)師不是一個(gè)好的攻城獅?!?/p>

小編:…….(回味中)

下面就讓小編帶你一起回顧和探秘周老師在直播間聊到的IoT數(shù)據(jù)分析那些事兒~

IoT數(shù)據(jù)分析面臨的問題與挑戰(zhàn)

隨著物聯(lián)網(wǎng)設(shè)備接入數(shù)量的快速增長,IoT數(shù)據(jù)量也急速增長,快捷有效的數(shù)據(jù)分析的價(jià)值越來越重要。然而,當(dāng)前IoT數(shù)據(jù)分析面臨著諸多關(guān)鍵挑戰(zhàn),貫穿著數(shù)據(jù)分析的整個(gè)過程:

  • 數(shù)據(jù)接入階段:數(shù)據(jù)質(zhì)量參差不齊、且面臨多種異構(gòu)數(shù)據(jù)源接入

  • 數(shù)據(jù)準(zhǔn)備階段:缺少統(tǒng)一數(shù)據(jù)模型,需要進(jìn)行大量的數(shù)據(jù)抽取、轉(zhuǎn)換等處理

  • 數(shù)據(jù)存儲階段:海量數(shù)據(jù)查詢效率低下,數(shù)據(jù)多份存儲、 數(shù)據(jù)管理 成本高昂

  • 數(shù)據(jù)分析階段:不同類型數(shù)據(jù)分析數(shù)據(jù)源不同,形成數(shù)據(jù)孤島、存在大量數(shù)據(jù)搬遷;并且數(shù)據(jù)分析門檻高,缺少簡單易用的數(shù)據(jù)分析工具

  • 數(shù)據(jù)可視化 階段:缺少交互式查詢能力、缺少基于時(shí)間維度的洞察分析能力                          

華為云IoT數(shù)據(jù)分析開放架構(gòu)介紹

基于以上IoT數(shù)據(jù)分析面臨的挑戰(zhàn),華為推出以資產(chǎn)模型為核心驅(qū)動的一站式IoT數(shù)據(jù)分析服務(wù):基于物聯(lián)網(wǎng)資產(chǎn)模型,整合 大數(shù)據(jù) 分析領(lǐng)域的最佳實(shí)踐,以及IoT 數(shù)據(jù)集 成、清洗、存儲、分析、可視化,為開發(fā)者打造一站式數(shù)據(jù)開發(fā)體驗(yàn),并且跟華為云物聯(lián)網(wǎng)相關(guān)云服務(wù)(比如設(shè)備接入)無縫對接,降低開發(fā)門檻,縮短開發(fā)周期,快速實(shí)現(xiàn)物聯(lián)網(wǎng)數(shù)據(jù)價(jià)值變現(xiàn)。

下面我們將從資產(chǎn)建模、高效存儲、時(shí)序分析三個(gè)方面進(jìn)行展開介紹:

資產(chǎn)模型

構(gòu)建資產(chǎn)模型是充分“理解”物聯(lián)網(wǎng)數(shù)據(jù)的基礎(chǔ)。現(xiàn)實(shí)世界的設(shè)備不是離散的,而是具有空間、組織、人等復(fù)雜關(guān)系與上下文存在的。如何打通物理世界與數(shù)字世界的關(guān)聯(lián),如何更好的理解設(shè)備從而快捷高效地分析數(shù)據(jù),成為物聯(lián)網(wǎng)企業(yè)急需的基礎(chǔ)業(yè)務(wù)。

不同于通用型大數(shù)據(jù)分析相關(guān)產(chǎn)品,華為云IoT數(shù)據(jù)分析服務(wù)與資產(chǎn)模型深度整合,以DigitalTwins資產(chǎn)模型為中心驅(qū)動數(shù)據(jù)分析,開發(fā)者可以直接使用統(tǒng)一的物聯(lián)網(wǎng)模型數(shù)據(jù),大大提升數(shù)據(jù)分析的效率。通過構(gòu)建物與物,物與空間,物與人等復(fù)雜關(guān)系,將物聯(lián)網(wǎng)數(shù)據(jù)置于模型的“上下文”中去理解;通過“IoT+資產(chǎn)模型”,在數(shù)字世界中構(gòu)建與物理世界準(zhǔn)實(shí)時(shí)同步的數(shù)字孿生;基于模型抽象,為數(shù)據(jù)分析提供面向業(yè)務(wù)的接口封裝。下圖舉例,將一棟樓映射成數(shù)字孿生,通過資產(chǎn)模型創(chuàng)建了大樓內(nèi)部的組成關(guān)系。

在建模過程中,IoT數(shù)據(jù)分析服務(wù)提供圖形化可拖拽方式的開發(fā)環(huán)境,簡化復(fù)雜資產(chǎn)模型的開發(fā)過程,對于相同的資產(chǎn)可以采用模板方式批量創(chuàng)建。支持UDF(用戶自定義函數(shù))能力,用戶在創(chuàng)建虛測點(diǎn)過程中可使用比如四則運(yùn)算,科學(xué)計(jì)數(shù)法,三角函數(shù),滑窗,流計(jì)算等函數(shù)。

高效存儲

數(shù)據(jù)量大且具有時(shí)效性是物聯(lián)網(wǎng)數(shù)據(jù)的典型特點(diǎn),隨著時(shí)間推移數(shù)據(jù)價(jià)值會逐漸降低。在不同場景下,數(shù)據(jù)處理時(shí)效性的要求也不同。比如:車聯(lián)網(wǎng)行業(yè)的地理圍欄、工業(yè)領(lǐng)域的生產(chǎn)線異常檢測、園區(qū)火警告警等,都需要時(shí)效性,數(shù)據(jù)需實(shí)時(shí)處理,一般都在毫秒級別。而對于報(bào)表、統(tǒng)計(jì)類等分析,是對較長時(shí)間段的數(shù)據(jù)進(jìn)行分析,對時(shí)間要求不高,一般是分鐘級別。

華為云IoT數(shù)據(jù)分析服務(wù)針對不同場景下的數(shù)據(jù)特點(diǎn)采用不同的存儲策略,提供溫冷數(shù)據(jù)分層存儲,在滿足數(shù)據(jù)處理要求的同時(shí),降低存儲成本。

同時(shí),針對物聯(lián)網(wǎng)數(shù)據(jù)具備的顯著時(shí)序特征,華為云IoT數(shù)據(jù)分析服務(wù)在數(shù)據(jù)存儲及數(shù)據(jù)分析上做了大量的優(yōu)化,提供高性能、高壓縮比的時(shí)序數(shù)據(jù)處理。比如按時(shí)間線做Hash Partition,所有Shard節(jié)點(diǎn)并行寫入,單實(shí)例支持超10萬時(shí)間線,最大億級時(shí)間線;通過采用列式存儲布局,不同數(shù)據(jù)類型(如時(shí)間類型,浮點(diǎn)型)采用不同壓縮算法,相比開源OpenTSDB壓縮率提升10倍,獲得極致壓縮率;支持多維倒排索引、向量化查詢等,相對開源OpenTSDB查詢效率提升10倍以上。

時(shí)序分析

物聯(lián)網(wǎng)數(shù)據(jù)具備的顯著時(shí)序特征:按照時(shí)間維度上報(bào)、存儲、查詢數(shù)據(jù)?;谖锫?lián)網(wǎng)數(shù)據(jù)的這些特征,華為云IoT數(shù)據(jù)分析服務(wù)提供時(shí)序數(shù)據(jù)洞察工具explorer,提供了開箱即用的時(shí)序洞察能力,無需任何開發(fā)。

  • 基于統(tǒng)一的資產(chǎn)模型進(jìn)行洞察探索,無需編碼或數(shù)據(jù)準(zhǔn)備,提升洞察效率;

  • 基于高效的時(shí)序存儲,可在海量歷史數(shù)據(jù)中秒級快速交互分析查詢,可基于任意資產(chǎn)、任意時(shí)間點(diǎn) 做準(zhǔn)實(shí)時(shí)的探索查詢;

  • 基于資產(chǎn)模型環(huán)境上下文可視化效果,可通過豐富圖表呈現(xiàn),快速洞察時(shí)序數(shù)據(jù)特征。

針對實(shí)時(shí)性要求高的場景,物聯(lián)網(wǎng)數(shù)據(jù)分析服務(wù)還提供基于算子的編排開發(fā)實(shí)時(shí)分析作業(yè)系統(tǒng):

  • 預(yù)置IoT行業(yè)實(shí)時(shí)處理的算子,行業(yè)開發(fā)者通過連接算子來編排出實(shí)時(shí)作業(yè)處理流程,無需專業(yè)算法知識;

  • 面向行業(yè)開發(fā)者提供簡單易用的化開發(fā)IDE,快速開發(fā)流處理實(shí)時(shí)分析作業(yè),降低開發(fā)者的學(xué)習(xí)門檻,提高開發(fā)效率。 

典型應(yīng)用場景

為了讓大家更好地理解和熟悉華為云IoT數(shù)據(jù)分析服務(wù)開發(fā)流程,周仕鵬老師在直播間演示了如下兩個(gè)物聯(lián)網(wǎng)數(shù)據(jù)分析典型應(yīng)用場景:

智慧樓宇分析系統(tǒng)

在實(shí)際應(yīng)用開發(fā)中,由于每個(gè)樓宇、樓層的設(shè)備為離散的物理設(shè)備,如果需要按照樓宇、樓層等為單位進(jìn)行統(tǒng)計(jì)并監(jiān)控設(shè)備,就需要對樓宇、設(shè)備之間的關(guān)系進(jìn)行標(biāo)注關(guān)聯(lián),并且后續(xù)的數(shù)據(jù)分析階段還需要重新理解實(shí)際設(shè)備以及關(guān)聯(lián)關(guān)系,開發(fā)效率低。

通過華為云IoT數(shù)據(jù)分析服務(wù)可以對樓宇進(jìn)行快速資產(chǎn)建模,并基于統(tǒng)一模型做設(shè)備監(jiān)控、實(shí)時(shí)分析、時(shí)序分析,降低開發(fā)門檻,提升數(shù)據(jù)分析開發(fā)效率。

智慧倉儲中的實(shí)時(shí)分析

華為云IoT數(shù)據(jù)分析服務(wù)的資產(chǎn)建模能力,可幫助行業(yè)開發(fā)者快速構(gòu)建資產(chǎn)模型并便捷管理。在倉庫的進(jìn)出庫管理中,基于數(shù)據(jù)分析服務(wù)的實(shí)時(shí)分析,結(jié)合AI推理計(jì)算,對異常RFID數(shù)據(jù)流進(jìn)行識別檢測,可實(shí)現(xiàn)秒級判斷出貨物在進(jìn)出庫過程中的進(jìn)出方向,繼而可自動與貨單進(jìn)行校對,實(shí)時(shí)告知倉庫管理人員進(jìn)出貨物的情況。