在物聯(lián)網(wǎng)時(shí)代，數(shù)量龐大的“物”會(huì)產(chǎn)生PB級(jí)的海量數(shù)據(jù)，傳統(tǒng)的數(shù)據(jù)處理服務(wù)的處理速度已無(wú)法跟上數(shù)據(jù)產(chǎn)生的速度。如果沒(méi)法及時(shí)分析與利用這龐大的物聯(lián)網(wǎng)設(shè)備數(shù)據(jù)，就無(wú)法將數(shù)據(jù)的價(jià)值最大化， 大數(shù)據(jù) 分析能力的建設(shè)對(duì)物聯(lián)網(wǎng)企業(yè)來(lái)說(shuō)又成為了一個(gè)新的挑戰(zhàn)。針對(duì)這種情況，大數(shù)據(jù)處理服務(wù)應(yīng)運(yùn)而生。服務(wù)提供商提供大數(shù)據(jù)處理平臺(tái)，為企業(yè)消除了大數(shù)據(jù)處理的效率問(wèn)題和可靠性問(wèn)題，讓企業(yè)能夠?qū)Ｗ⒂谖锫?lián)網(wǎng)數(shù)據(jù)的分析與利用。
----------方案總覽----------
物聯(lián)網(wǎng)大數(shù)據(jù)根據(jù)數(shù)據(jù)類型的不同，分析方式也不同。
實(shí)時(shí)數(shù)據(jù)
有些數(shù)據(jù)的實(shí)時(shí)性很強(qiáng)，如果沒(méi)有及時(shí)分析處理就會(huì)失去價(jià)值，甚至可能造成損失，我們稱之為實(shí)時(shí)數(shù)據(jù)。典型的實(shí)時(shí)數(shù)據(jù)包括設(shè)備位置信息、設(shè)備實(shí)時(shí)狀態(tài)等，應(yīng)用于實(shí)時(shí)監(jiān)控、實(shí)時(shí)告警等場(chǎng)景，例如，車輛實(shí)時(shí)上報(bào)位置數(shù)據(jù)，實(shí)時(shí)分析后呈現(xiàn)到交通監(jiān)控中心的大屏上，交通專家根據(jù)實(shí)時(shí)數(shù)據(jù)下達(dá)各種交通控制決策，如紅綠燈時(shí)間調(diào)整等。為了實(shí)現(xiàn)高實(shí)時(shí)性，我們可以采用實(shí)時(shí)流分析方案，從 物聯(lián)網(wǎng)平臺(tái) 對(duì)外的數(shù)據(jù)通道中實(shí)時(shí)提取流動(dòng)數(shù)據(jù)，分析和處理之后再輸出至數(shù)據(jù)通道繼續(xù)流轉(zhuǎn)，保證呈現(xiàn)的數(shù)據(jù)永遠(yuǎn)是最“新鮮”的。
時(shí)序數(shù)據(jù)
有些數(shù)據(jù)實(shí)時(shí)性沒(méi)那么強(qiáng)，但是和時(shí)間順序強(qiáng)相關(guān)，分析后的數(shù)據(jù)需要分類后按時(shí)序儲(chǔ)存，并提供按時(shí)序?yàn)g覽、查詢數(shù)據(jù)的能力，我們稱之為時(shí)序數(shù)據(jù)。典型的時(shí)序數(shù)據(jù)包括設(shè)備移動(dòng)路徑、股票價(jià)格曲線等，應(yīng)用于行為分析、趨勢(shì)預(yù)測(cè)等場(chǎng)景，例如，基于物聯(lián)網(wǎng)的公路監(jiān)控系統(tǒng)保存了近期所有車輛的行駛路徑，警方可隨時(shí)從中提取指定嫌疑人車輛的形式的路徑，推測(cè)出嫌疑人的目的地，從而進(jìn)行包抄逮捕。時(shí)序數(shù)據(jù)的分析一般依賴于時(shí)序 數(shù)據(jù)庫(kù) ，數(shù)據(jù)保存至?xí)r序數(shù)據(jù)庫(kù)進(jìn)行分類與排序，再由其他應(yīng)用或服務(wù)從數(shù)據(jù)庫(kù)中獲取進(jìn)行進(jìn)一步處理。
離線數(shù)據(jù)
還有一些數(shù)據(jù)，對(duì)于實(shí)時(shí)性和有序性的要求都沒(méi)那么強(qiáng)，分析時(shí)數(shù)據(jù)已經(jīng)固化，我們稱之為離線數(shù)據(jù)。典型的離線數(shù)據(jù)包括產(chǎn)品銷量數(shù)據(jù)、景點(diǎn)游客數(shù)據(jù)等，應(yīng)用于統(tǒng)計(jì)分析，總結(jié)盤點(diǎn)等場(chǎng)景，例如，物聯(lián)網(wǎng)平臺(tái)將自動(dòng)售貨機(jī)上報(bào)的銷售數(shù)據(jù)匯總后保存，然后定期使用大數(shù)據(jù)分析平臺(tái)分析銷售數(shù)據(jù)，以報(bào)表形式呈現(xiàn)給廠家，協(xié)助廠家進(jìn)行銷售策略的調(diào)整。離線分析的挑戰(zhàn)主要在于龐大的數(shù)據(jù)量，一般會(huì)采用分布式處理的方案來(lái)提升海量數(shù)據(jù)分析的效率。
在本文中，我們將為您重點(diǎn)介紹實(shí)時(shí)分析和離線分析兩種方案，時(shí)序分析方案我們下次再分享（具有物聯(lián)網(wǎng)時(shí)序分析能力的華為云數(shù)據(jù)分析服務(wù)后續(xù)也將上線，敬請(qǐng)期待）。
--------實(shí)時(shí)分析方案--------
首先，讓我們了解一下這個(gè)方案使用的服務(wù)。
-
設(shè)備接入服務(wù) ：設(shè)備接入是華為云IoT物聯(lián)網(wǎng)平臺(tái)對(duì)海量設(shè)備進(jìn)行聯(lián)接、數(shù)據(jù)采集/轉(zhuǎn)發(fā)、遠(yuǎn)程控制的云服務(wù)?？蓪?shí)現(xiàn)海量設(shè)備與云端之間雙向通信連接、設(shè)備數(shù)據(jù)采集上云，支持上層應(yīng)用通過(guò)調(diào)用API遠(yuǎn)程控制設(shè)備，還提供了與華為云其他云服務(wù)無(wú)縫對(duì)接的規(guī)則引擎，可應(yīng)用于各種物聯(lián)網(wǎng)場(chǎng)景。設(shè)備接入服務(wù)還可以現(xiàn)產(chǎn)品模型定義、設(shè)備生命周期可視化管理，提供強(qiáng)大的面向行業(yè)應(yīng)用開(kāi)放能力，幫助企業(yè)快速構(gòu)建創(chuàng)新的物聯(lián)網(wǎng)業(yè)務(wù)。
-
數(shù)據(jù)接入服務(wù) （DIS）：數(shù)據(jù)接入服務(wù)（Data Ingestion Service）為處理或分析流數(shù)據(jù)的自定義應(yīng)用程序構(gòu)建數(shù)據(jù)流管道，主要解決云服務(wù)外的數(shù)據(jù)實(shí)時(shí)傳輸?shù)皆品?wù)內(nèi)的問(wèn)題。數(shù)據(jù)接入服務(wù)每小時(shí)可從數(shù)十萬(wàn)種數(shù)據(jù)源（如IoT數(shù)據(jù)采集、日志和定位跟蹤事件、網(wǎng)站點(diǎn)擊流、社交媒體源等）中連續(xù)捕獲、傳送和存儲(chǔ)數(shù)TB數(shù)據(jù)。
-
實(shí)時(shí)流計(jì)算服務(wù) （CS）：實(shí)時(shí)流計(jì)算服務(wù)（Cloud Stream Service），是運(yùn)行在公有云上的實(shí)時(shí)流式大數(shù)據(jù)分析服務(wù)，全托管的方式用戶無(wú)需感知計(jì)算集群，只需聚焦于Stream SQL業(yè)務(wù)，即時(shí)執(zhí)行作業(yè)。
-
對(duì)象存儲(chǔ)服務(wù) ： 對(duì)象存儲(chǔ) 服務(wù)（ Object Storage Service ，OBS）是一個(gè)基于對(duì)象的海量存儲(chǔ)服務(wù)，為客戶提供海量、安全、高可靠、低成本的數(shù)據(jù)存儲(chǔ)能力，包括：創(chuàng)建、修改、刪除桶，上傳、下載、刪除對(duì)象等。其中對(duì)象是OBS中數(shù)據(jù)存儲(chǔ)的基本單位，用戶上傳至OBS的數(shù)據(jù)都以對(duì)象的形式保存在桶中，而桶是是OBS中存儲(chǔ)對(duì)象的容器。
-
數(shù)據(jù)倉(cāng)庫(kù) 服務(wù)（DWS）：數(shù)據(jù)倉(cāng)庫(kù)服務(wù)（Data Warehouse Service）是一種基于公有云基礎(chǔ)架構(gòu)和平臺(tái)的在線數(shù)據(jù)處理數(shù)據(jù)庫(kù)，提供即開(kāi)即用、可擴(kuò)展且完全托管的分析型數(shù)據(jù)庫(kù)服務(wù)。DWS是基于華為融合數(shù)據(jù)倉(cāng)庫(kù)GaussDB產(chǎn)品的 云原生 服務(wù)，兼容標(biāo)準(zhǔn)ANSI SQL 99和SQL 2003，同時(shí)兼容PostgreSQL/Oracle數(shù)據(jù)庫(kù)生態(tài)，為各行業(yè)PB級(jí)海量大數(shù)據(jù)分析提供有競(jìng)爭(zhēng)力的解決方案。
-
數(shù)據(jù)可視化 服務(wù)（DLV）：數(shù)據(jù)可視化服務(wù)（Data Lake Visualization）是一站式數(shù)據(jù)可視化平臺(tái)，適配云上云下多種數(shù)據(jù)源，提供豐富多樣的2D、3D可視化組件，采用拖拽式自由布局，旨在幫助您快速定制和應(yīng)用屬于您自己的數(shù)據(jù)大屏。
該方案的數(shù)據(jù)流向如下：
-
物聯(lián)網(wǎng)平臺(tái)將設(shè)備上報(bào)的數(shù)據(jù)通過(guò)規(guī)則引擎功能轉(zhuǎn)發(fā)至數(shù)據(jù)接入服務(wù)（DIS）。
-
實(shí)時(shí)流計(jì)算服務(wù)（CS）從DIS的通道中獲取實(shí)時(shí)數(shù)據(jù)，通過(guò)SQL語(yǔ)句分析并處理后，再寫入另一個(gè)DIS通道。
-
DIS以對(duì)象存儲(chǔ)服務(wù)（OBS）為中介將分析結(jié)果轉(zhuǎn)儲(chǔ)至數(shù)據(jù)倉(cāng)庫(kù)服務(wù)（DWS）。
-
數(shù)據(jù)可視化服務(wù)（DLV）讀取分析結(jié)果呈現(xiàn)為可視化報(bào)表。
實(shí)現(xiàn)該方案，您需要進(jìn)行以下操作：
-
在DWS中創(chuàng)建一個(gè)集群并完成基本配置。
-
創(chuàng)建兩條DIS通道，我們分別稱之為輸入通道和輸出通道，然后為輸出通道創(chuàng)建一個(gè)轉(zhuǎn)儲(chǔ)任務(wù)，將數(shù)據(jù)轉(zhuǎn)儲(chǔ)至DWS的集群。轉(zhuǎn)儲(chǔ)時(shí)會(huì)使用OBS桶臨時(shí)存儲(chǔ)轉(zhuǎn)儲(chǔ)數(shù)據(jù)，若沒(méi)有OBS桶請(qǐng)創(chuàng)建一個(gè)。
-
在設(shè)備接入服務(wù)中創(chuàng)建一條規(guī)則，將設(shè)備上報(bào)數(shù)據(jù)轉(zhuǎn)發(fā)至DIS的輸入通道。
-
在CS中創(chuàng)建一個(gè)作業(yè)，實(shí)現(xiàn)從DIS輸入通道中獲取數(shù)據(jù)，分析處理后輸出至DIS輸出通道的功能。
-
在DLV中創(chuàng)建數(shù)據(jù)連接從DWS中獲取數(shù)據(jù)，再創(chuàng)建數(shù)據(jù)大屏將數(shù)據(jù)可視化展示。
-
將上報(bào)數(shù)據(jù)的設(shè)備接入物聯(lián)網(wǎng)平臺(tái)（設(shè)備接入服務(wù)），并控制其上報(bào)數(shù)據(jù)。
詳細(xì)操作指導(dǎo)請(qǐng)參考各個(gè)服務(wù)的幫助文檔，本文不再贅述。
--------離線分析方案--------
首先，讓我們了解一下這個(gè)方案使用的服務(wù)，前面已經(jīng)介紹過(guò)的服務(wù)此處不再重復(fù)介紹。
MapReduce服務(wù) ：MapReduce服務(wù)（MRS）是一個(gè)在華為云上部署和管理Hadoop系統(tǒng)的服務(wù)，一鍵即可部署Hadoop集群。MRS提供租戶完全可控的企業(yè)級(jí)大 數(shù)據(jù)集 群云服務(wù)，輕松運(yùn)行Hadoop、Spark、HBase、Kafka、Storm等大數(shù)據(jù)組件，并具備在后續(xù)根據(jù)業(yè)務(wù)需要進(jìn)行定制開(kāi)發(fā)的能力。
該方案的數(shù)據(jù)流向如下：
-
物聯(lián)網(wǎng)平臺(tái)將設(shè)備上報(bào)的數(shù)據(jù)通過(guò)規(guī)則引擎功能轉(zhuǎn)發(fā)至數(shù)據(jù)接入服務(wù)（DIS）。
-
DIS使用對(duì)象存儲(chǔ)服務(wù)（OBS）作為中介，再將數(shù)據(jù)轉(zhuǎn)儲(chǔ)至MapReduce服務(wù)（MRS）。
-
MRS從OBS獲取用戶定制的分析程序包，運(yùn)行程序分析數(shù)據(jù)，并保存分析結(jié)果（可寫入持久化數(shù)據(jù)庫(kù)或?qū)懗晌募?/p>
-
數(shù)據(jù)可視化服務(wù)（DLV）讀取分析結(jié)果呈現(xiàn)為可視化報(bào)表。
實(shí)現(xiàn)該方案，您需要進(jìn)行以下操作：
-
在MRS中創(chuàng)建一個(gè)Hadoop分析集群。
-
參考MRS的開(kāi)發(fā)指南開(kāi)發(fā)一個(gè)大數(shù)據(jù)分析程序，實(shí)現(xiàn)讀取JSON格式的數(shù)據(jù)分析并處理，然后寫入本地?cái)?shù)據(jù)庫(kù)或者寫成文件存到OBS。程序開(kāi)發(fā)完成后需打包成JAR文件并上傳至OBS桶，若您沒(méi)有OBS桶請(qǐng)創(chuàng)建一個(gè)。
-
創(chuàng)建一條DIS通道，然后為該通道創(chuàng)建一個(gè)轉(zhuǎn)儲(chǔ)任務(wù)，將數(shù)據(jù)轉(zhuǎn)儲(chǔ)至MRS的集群。
-
在設(shè)備接入服務(wù)中創(chuàng)建一條規(guī)則，將設(shè)備上報(bào)數(shù)據(jù)轉(zhuǎn)發(fā)至DIS的通道。
-
將上報(bào)數(shù)據(jù)的設(shè)備接入物聯(lián)網(wǎng)平臺(tái)（設(shè)備接入服務(wù)），并控制其上報(bào)數(shù)據(jù)。
-
在MRS中創(chuàng)建一個(gè)作業(yè)，執(zhí)行OBS桶中的大數(shù)據(jù)分析程序。
-
在DLV中創(chuàng)建數(shù)據(jù)連接從MRS數(shù)據(jù)庫(kù)或OBS中讀取數(shù)據(jù)，再創(chuàng)建數(shù)據(jù)大屏將數(shù)據(jù)可視化展示。
詳細(xì)操作指導(dǎo)請(qǐng)參考各個(gè)服務(wù)的幫助文檔，本文不再贅述，但針對(duì)這個(gè)方案中的其中一種場(chǎng)景，我們提供了包含詳細(xì)操作步驟和代碼樣例的物聯(lián)網(wǎng)微認(rèn)證，若您感興趣，可購(gòu)買微認(rèn)證快速體驗(yàn)物聯(lián)網(wǎng)大數(shù)據(jù)分析流程。
