華為云計(jì)算 云知識(shí) 數(shù)據(jù)湖探索 DLI應(yīng)用場(chǎng)景
數(shù)據(jù)湖探索 DLI應(yīng)用場(chǎng)景

DLI服務(wù)適用于海量 日志分析 、異構(gòu)數(shù)據(jù)源聯(lián)邦分析、大數(shù)據(jù)ETL處理。

海量日志分析

游戲運(yùn)營(yíng)數(shù)據(jù)分析

游戲公司不同部門(mén)日常通過(guò)游戲數(shù)據(jù)分析平臺(tái),分析每日新增日志獲取所需指標(biāo),通過(guò)數(shù)據(jù)來(lái)輔助決策。例如:運(yùn)營(yíng)部門(mén)通過(guò)平臺(tái)獲取新增玩家、活躍玩家、留存率、流失率、付費(fèi)率等,了解游戲當(dāng)前狀態(tài)及后續(xù)響應(yīng)活動(dòng)措施;投放部門(mén)通過(guò)平臺(tái)獲取新增玩家、活躍玩家的渠道來(lái)源,來(lái)決定下一周期重點(diǎn)投放哪些平臺(tái)。

優(yōu)勢(shì)

高效的Spark編程模型:使用Spark Streaming直接從DIS中獲取數(shù)據(jù),進(jìn)行數(shù)據(jù)清理等預(yù)處理操作。只需編寫(xiě)處理邏輯,無(wú)需關(guān)心多線程模型。

簡(jiǎn)單易用:直接使用標(biāo)準(zhǔn)SQL編寫(xiě)指標(biāo)分析邏輯,無(wú)需關(guān)注背后復(fù)雜的分布式計(jì)算平臺(tái)。

按需計(jì)費(fèi):日志分析按實(shí)效性要求按周期進(jìn)行調(diào)度,每次調(diào)度之間存在大量空閑期。DLI按需計(jì)費(fèi)只在使用期間收費(fèi),成本較獨(dú)占隊(duì)列降低50%以上。

建議搭配以下服務(wù)使用

OBS,DIS,DWS,RDS

圖1游戲運(yùn)營(yíng)數(shù)據(jù)分析

dli應(yīng)用場(chǎng)景-游戲運(yùn)營(yíng)數(shù)據(jù)分析

異構(gòu)數(shù)據(jù)源聯(lián)邦分析

車(chē)企數(shù)字化服務(wù)轉(zhuǎn)型

面臨市場(chǎng)新的競(jìng)爭(zhēng)壓力及出行服務(wù)不斷變革,車(chē)企通過(guò)構(gòu)建車(chē)聯(lián)云平臺(tái)和車(chē)機(jī)OS,將互聯(lián)網(wǎng)應(yīng)用與用車(chē)場(chǎng)景打通,完成車(chē)企數(shù)字化服務(wù)轉(zhuǎn)型,從而為車(chē)主提供更好的智聯(lián)出行體驗(yàn),增加車(chē)企競(jìng)爭(zhēng)力,促進(jìn)銷(xiāo)量增長(zhǎng)。例如:通過(guò)對(duì)車(chē)輛日常指標(biāo)數(shù)據(jù)(電池、發(fā)動(dòng)機(jī),輪胎胎壓、安全氣囊等健康狀態(tài))的采集和分析,及時(shí)將維保建議回饋給車(chē)主。

優(yōu)勢(shì)

多源數(shù)據(jù)分析免搬遷:關(guān)系型 數(shù)據(jù)庫(kù) RDS中存放車(chē)輛和車(chē)主基本信息, 表格存儲(chǔ) CloudTable中存放實(shí)時(shí)的車(chē)輛位置和健康狀態(tài)信息, 數(shù)據(jù)倉(cāng)庫(kù) DWS中存放周期性統(tǒng)計(jì)的指標(biāo)。通過(guò)DLI無(wú)需數(shù)據(jù)搬遷,對(duì)多數(shù)據(jù)源進(jìn)行聯(lián)邦分析。

數(shù)據(jù)分級(jí)存儲(chǔ):車(chē)企需要保留全量歷史數(shù)據(jù)支撐審計(jì)類(lèi)等業(yè)務(wù),低頻進(jìn)行訪問(wèn)。溫冷數(shù)據(jù)存放在低成本的 對(duì)象存儲(chǔ)服務(wù) OBS上,高頻訪問(wèn)的熱數(shù)據(jù)存放在數(shù)據(jù)引擎(CloudTable和DWS)中,降低整體存儲(chǔ)成本。

告警快速敏捷觸發(fā)服務(wù)器 彈性伸縮 :對(duì)CPU、內(nèi)存、硬盤(pán)空間和帶寬無(wú)特殊要求。

建議搭配以下服務(wù)使用

DIS、 CDM 、OBS、DWS、RDS、CloudTable

圖2車(chē)企數(shù)字化服務(wù)轉(zhuǎn)型

dli應(yīng)用場(chǎng)景-車(chē)企數(shù)字化服務(wù)轉(zhuǎn)型

大數(shù)據(jù)ETL處理

運(yùn)營(yíng)商大數(shù)據(jù)分析

運(yùn)營(yíng)商數(shù)據(jù)體量在PB~EB級(jí),其數(shù)據(jù)種類(lèi)多,有結(jié)構(gòu)化的基站信息數(shù)據(jù),非結(jié)構(gòu)化的消息通信數(shù)據(jù),同時(shí)對(duì)數(shù)據(jù)的時(shí)效性有很高的要求,DLI服務(wù)提供批處理、流處理等多模引擎,打破數(shù)據(jù)孤島進(jìn)行統(tǒng)一的數(shù)據(jù)分析。

優(yōu)勢(shì)

大數(shù)據(jù)ETL:具備TB~EB級(jí)運(yùn)營(yíng)商 數(shù)據(jù)治理 能力,能快速將海量運(yùn)營(yíng)商數(shù)據(jù)做ETL處理,為分布式批處理計(jì)算提供分布式 數(shù)據(jù)集

高吞吐低時(shí)延:采用Apache Flink的Dataflow模型,高性能計(jì)算資源,從用戶(hù)自建的Kafka、MRS-Kafka、DMS-Kafka消費(fèi)數(shù)據(jù),單CU每秒吞吐1千~2萬(wàn)條消息。

細(xì)粒度權(quán)限管理:P公司內(nèi)部有N個(gè)子部門(mén),子部門(mén)之間需要對(duì)數(shù)據(jù)進(jìn)行共享和隔離。DLI支持計(jì)算資源按租戶(hù)隔離,保障作業(yè)SLA;支持?jǐn)?shù)據(jù)權(quán)限控制到表/列,幫助企業(yè)實(shí)現(xiàn)部門(mén)間數(shù)據(jù)共享和權(quán)限管理。

建議搭配以下服務(wù)使用

OBS、DIS、DAYU

圖3運(yùn)營(yíng)商大數(shù)據(jù)分析

dli應(yīng)用場(chǎng)景-運(yùn)營(yíng)商大數(shù)據(jù)分析

地理大數(shù)據(jù)分析

地理大數(shù)據(jù)分析

地理大數(shù)據(jù)具有大數(shù)據(jù)的相關(guān)特征,數(shù)據(jù)體量巨大,例如,全球衛(wèi)星遙感影像數(shù)據(jù)量達(dá)到PB級(jí)。數(shù)據(jù)種類(lèi)多,有結(jié)構(gòu)化的遙感影像柵格數(shù)據(jù)、矢量數(shù)據(jù),非結(jié)構(gòu)化的空間位置數(shù)據(jù)、三維建模數(shù)據(jù);在大體量的地理大數(shù)據(jù)中,通過(guò)高效的挖掘工具或者挖掘方法實(shí)現(xiàn)價(jià)值提煉,是用戶(hù)非常關(guān)注的話題。

優(yōu)勢(shì)

提供地理專(zhuān)業(yè)算子:支持全棧Spark能力,具備豐富的Spark空間數(shù)據(jù)分析算法算子,全面支持結(jié)構(gòu)化的遙感影像數(shù)據(jù)、非結(jié)構(gòu)化的三維建模、激光點(diǎn)云等巨量數(shù)據(jù)的離線批處理,支持帶有位置屬性的動(dòng)態(tài)流數(shù)據(jù)實(shí)時(shí)計(jì)算處理。

CEP SQL:提供地理位置分析函數(shù)對(duì)地理空間數(shù)據(jù)進(jìn)行實(shí)時(shí)分析,用戶(hù)僅需編寫(xiě)SQL便可實(shí)現(xiàn)例如偏航檢測(cè),電子圍欄等地理分析場(chǎng)景。

大數(shù)據(jù)治理能力:能快速將海量遙感影像數(shù)據(jù)接入上云,快速完成影像數(shù)據(jù)切片處理,為分布式批處理計(jì)算提供彈性分布式數(shù)據(jù)集。

建議搭配以下服務(wù)使用

DIS、CDM、DES、OBS、RDS、CloudTable

圖4地理大數(shù)據(jù)分析

dli應(yīng)用場(chǎng)景-地理大數(shù)據(jù)分析