大數(shù)據(jù) 在人們的生活中無(wú)處不在，在IoT、電子商務(wù)、金融、制造、醫(yī)療、能源和政府部門等行業(yè)均可以使用華為云MRS服務(wù)進(jìn)行大數(shù)據(jù)處理。
海量數(shù)據(jù)分析場(chǎng)景
海量數(shù)據(jù)分析是現(xiàn)代大數(shù)據(jù)系統(tǒng)中的主要場(chǎng)景。通常企業(yè)會(huì)包含多種數(shù)據(jù)源，接入后需要對(duì)數(shù)據(jù)進(jìn)行ETL處理形成模型化數(shù)據(jù)，以便提供給各個(gè)業(yè)務(wù)模塊進(jìn)行分析梳理，這類業(yè)務(wù)通常有以下特點(diǎn)：
對(duì)執(zhí)行實(shí)時(shí)性要求不高，作業(yè)執(zhí)行時(shí)間在數(shù)十分鐘到小時(shí)級(jí)別。
數(shù)據(jù)量巨大。
數(shù)據(jù)來(lái)源和格式多種多樣。
數(shù)據(jù)處理通常由多個(gè)任務(wù)構(gòu)成，對(duì)資源需要進(jìn)行詳細(xì)規(guī)劃。
例如在環(huán)保行業(yè)中，可以將天氣數(shù)據(jù)存儲(chǔ)在OBS，定期轉(zhuǎn)儲(chǔ)到HDFS中進(jìn)行批量分析，在1小時(shí)內(nèi)MRS可以完成10T的天氣數(shù)據(jù)分析。
圖1環(huán)保行業(yè)海量數(shù)據(jù)分析場(chǎng)景
應(yīng)用場(chǎng)景1.jpg)
該場(chǎng)景下MRS的優(yōu)勢(shì)如下所示。
低成本：利用OBS實(shí)現(xiàn)低成本存儲(chǔ)。
海量數(shù)據(jù)分析：利用Hive實(shí)現(xiàn)TB/PB級(jí)的數(shù)據(jù)分析。
可視化的導(dǎo)入導(dǎo)出工具：通過(guò)可視化導(dǎo)入導(dǎo)出工具Loader，將數(shù)據(jù)導(dǎo)出到DWS，完成BI分析。
海量數(shù)據(jù)存儲(chǔ)場(chǎng)景
用戶擁有大量結(jié)構(gòu)化數(shù)據(jù)后，通常需要提供基于索引的準(zhǔn)實(shí)時(shí)查詢能力，如車聯(lián)網(wǎng)場(chǎng)景下，根據(jù)汽車編號(hào)查詢汽車維護(hù)信息，存儲(chǔ)時(shí)，汽車信息會(huì)基于汽車編號(hào)進(jìn)行索引，以實(shí)現(xiàn)該場(chǎng)景下的秒級(jí)響應(yīng)。通常這類數(shù)據(jù)量比較龐大，用戶可能保存1至3年的數(shù)據(jù)。
例如在車聯(lián)網(wǎng)行業(yè)，某車企將數(shù)據(jù)儲(chǔ)存在HBase中，以支持PB級(jí)別的數(shù)據(jù)存儲(chǔ)和毫秒級(jí)的數(shù)據(jù)詳單查詢。
圖2車聯(lián)網(wǎng)行業(yè)海量數(shù)據(jù)存儲(chǔ)場(chǎng)景
應(yīng)用場(chǎng)景2.jpg)
該場(chǎng)景下MRS的優(yōu)勢(shì)如下所示。
實(shí)時(shí)：利用Kafka實(shí)現(xiàn)海量汽車的消息實(shí)時(shí)接入。
海量數(shù)據(jù)存儲(chǔ)：利用HBase實(shí)現(xiàn)海量數(shù)據(jù)存儲(chǔ)，并實(shí)現(xiàn)毫秒級(jí)數(shù)據(jù)查詢。
分布式數(shù)據(jù)查詢：利用Spark實(shí)現(xiàn)海量數(shù)據(jù)的分析查詢。
實(shí)時(shí)數(shù)據(jù)處理
實(shí)時(shí)數(shù)據(jù)處理通常用于異常檢測(cè)、欺詐識(shí)別、基于規(guī)則告警、業(yè)務(wù)流程監(jiān)控等場(chǎng)景，在數(shù)據(jù)輸入系統(tǒng)的過(guò)程中，對(duì)數(shù)據(jù)進(jìn)行處理。
例如在梯聯(lián)網(wǎng)行業(yè)，智能電梯的數(shù)據(jù)，實(shí)時(shí)傳入到MRS的流式集群中進(jìn)行實(shí)時(shí)告警。
圖3梯聯(lián)網(wǎng)行業(yè)低時(shí)延流式處理場(chǎng)景
應(yīng)用場(chǎng)景3.jpg)
該場(chǎng)景下MRS的優(yōu)勢(shì)如下所示。
實(shí)時(shí)數(shù)據(jù)采集：利用Flume實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)采集，并提供豐富的采集和存儲(chǔ)連接方式。
海量的數(shù)據(jù)源接入：利用Kafka實(shí)現(xiàn)萬(wàn)級(jí)別的電梯數(shù)據(jù)的實(shí)時(shí)接入。
