華為云計算 云知識 DLI服務使用場景
DLI服務使用場景

數(shù)據(jù)庫分析

數(shù)據(jù)庫分析:

應用的數(shù)據(jù)(如:注冊信息)存在關系型數(shù)據(jù)庫中,想對數(shù)據(jù)庫內(nèi)的數(shù)據(jù)進行分析

痛點:

?數(shù)據(jù)量日益增多,復雜查詢關系型數(shù)據(jù)庫查不出來

?數(shù)據(jù)分庫分表存在多個關系型數(shù)據(jù)庫中,無法做全量分析

?不想因為分析業(yè)務影響在線業(yè)務

優(yōu)勢:

熟悉的SQL體驗

DLI的SQL語法全兼容關系型數(shù)據(jù)庫的標準ANSI SQL 2003,0學習成本,使用習慣保持一致

極致性能

DLI采用分布式內(nèi)存計算模型,輕松處理海量數(shù)據(jù)

建議搭配使用: 云數(shù)據(jù)遷移 CDM

dli使用場景-數(shù)據(jù)庫分析

電商行業(yè)

精準營銷

電商行業(yè)需要獲取多個途徑的信息做關聯(lián)分析,以便更好地做精準營銷,提高轉化率。如:關聯(lián)【頁面廣告點擊事件數(shù)據(jù)】和【用戶注冊數(shù)據(jù)】,獲取不同年齡段喜歡的廣告類型,以便對不同年齡段用戶投放更精準的廣告

優(yōu)勢

跨源分析

數(shù)據(jù)免搬遷,就可以關聯(lián)分析存在OBS中的【頁面廣告點擊事件數(shù)據(jù)】和RDS中的【用戶注冊數(shù)據(jù)】

純SQL操作

DLI已對接多個數(shù)據(jù)源,直接通過SQL建表就可以完成數(shù)據(jù)源的映射

建議搭配使用: 對象存儲服務 OBS/ 數(shù)據(jù)接入服務 DIS

dli使用場景-電商

游戲行業(yè)

日志分析

游戲公司日常通過數(shù)據(jù)分析平臺,借助數(shù)據(jù)力量沒突破行業(yè)瓶頸。例如:尋找優(yōu)質的投放渠道、提高新手期玩家留存、優(yōu)化運營活動提升玩家活躍、數(shù)據(jù)驅動產(chǎn)品迭代等

痛點:

?日志分析通常是按周期進行調(diào)度,每次調(diào)度之間存在大量空閑期

優(yōu)勢

按量計費

DLI按量計費只在使用期間收費,成本較獨占集群降低50%以上

批流一體

DLI是批流一體架構,使用一份資源就可以完成流式數(shù)據(jù)清洗和批量數(shù)據(jù)分析

建議搭配使用:數(shù)據(jù)接入服務DIS/ 云數(shù)據(jù)庫MySQL

dli使用場景-游戲

大企業(yè)

日志分析

大企業(yè)的部門比較多,不同部門在使用云服務時,需要對不同部門的員工的權限進行管理,包括計算資源的創(chuàng)建、刪除、使用、隔離等。同時,也需要對不同部門的數(shù)據(jù)進行管理,包括數(shù)據(jù)的隔離、共享等

優(yōu)勢

細粒度權限控制

列級別權限控制;INSERTINTO/OVERWRITE單獨權限控制;表元數(shù)據(jù)只讀權限控制

統(tǒng)一的管理機制

使用統(tǒng)一的 IAM 管理用戶(無需單獨創(chuàng)建DLI用戶),支持IAM細粒度授權

dli使用場景-大企業(yè)

基因行業(yè)

基因數(shù)據(jù)處理

現(xiàn)在基因行業(yè)有很多基于Spark分布式框架的第三方分析庫,如ADAM、Hail等

痛點:

?安裝ADAM、Hail等分析庫比較復雜

?每次新建集群都需要安裝一遍

優(yōu)勢

支持自定義 鏡像

支持基于基礎鏡像打包ADAM、Hail等第三方分析庫,直接上傳到容器 鏡像服務 SWR,在DLI中運行作業(yè)時會自動拉取SWR中的自定義鏡像

內(nèi)置多個基礎鏡像

內(nèi)置華為增強版Spark/Flink多版本基礎鏡像,開源Tensorflow/Keras/PyTorch的AI鏡像

建議搭配使用容器鏡像服務SWR

dli使用場景-基因

金融行業(yè)

實時風控

為了提高消滅或減少風險事件發(fā)生的各種可能性,需要使用風控系統(tǒng)對典型的場景包括:注冊風控、登錄風控、交易分控等進行風控

痛點:

?風控系統(tǒng)對實時性要求很高

優(yōu)勢

高吞吐低時延

采用Apache Flink的Dataflow模型,完全的實時計算框架。采用高性能計算資源,單CPU每秒吞吐1千~2萬條消息

豐富的云生態(tài)

使用SQL就可以將處理后的數(shù)據(jù)流式寫入CloudTable、 SMN 等多個云服務

建議搭配使用:數(shù)據(jù)接入服務DIS/ 消息通知 服務SMN

dli使用場景-金融

政府行業(yè)

實時大屏

為了更好地做好新冠疫情的管控,各地政府需要通過實時大屏掌握新冠疫情的現(xiàn)存確診、累計確診、境外輸入等關鍵數(shù)據(jù),為下一步疫情調(diào)控提供數(shù)據(jù)支撐

痛點:

?政府行業(yè)技術人員通常會SQL,但對 大數(shù)據(jù) 了解不多

優(yōu)勢

簡單易用

在線編輯Stream SQL,豐富的SQL函數(shù)滿足復雜業(yè)務需要

全托管

用戶完全不感知計算集群,聚焦流分析本身

建議搭配使用:云 數(shù)據(jù)遷移 CDM/數(shù)據(jù)接入服務DIS/ 云數(shù)據(jù)庫 MySQL/ 數(shù)據(jù)可視化DLV

dli使用場景-政府

地理大數(shù)據(jù)分析

地理大數(shù)據(jù)分析

地理大數(shù)據(jù)具有大數(shù)據(jù)的相關特征,數(shù)據(jù)體量巨大,例如全球衛(wèi)星遙感影像數(shù)據(jù)量達到PB級;數(shù)據(jù)種類多,有結構化的遙感影像柵格數(shù)據(jù)、矢量數(shù)據(jù),非結構化的空間位置數(shù)據(jù)、三維建模數(shù)據(jù);在大體量的地理大數(shù)據(jù)中,通過高效的挖掘工具或者挖掘方法實現(xiàn)價值提煉,是用戶非常關注的話題

優(yōu)勢

提供地理專業(yè)算子

支持全棧Spark能力,具備豐富的Spark空間數(shù)據(jù)分析算法算子,全面支持結構化的遙感影像數(shù)據(jù)、非結構化的三維建模、激光點云等巨量數(shù)據(jù)的離線批處理,支持帶有位置屬性的動態(tài)流數(shù)據(jù)實時計算處理

CEP SQL

提供地理位置分析函數(shù)對地理空間數(shù)據(jù)進行實時分析,用戶僅需編寫SQL便可實現(xiàn)例如偏航檢測,電子圍欄等地理分析場景

數(shù)據(jù)治理 能力

能快速將海量遙感影像數(shù)據(jù)接入上云,快速完成影像數(shù)據(jù)切片處理,為分布式批處理計算提供彈性分布式 數(shù)據(jù)集

建議搭配使用:數(shù)據(jù)接入服務DIS/ 對象存儲 服務OBS/云數(shù)據(jù) 遷移 CDM/ 數(shù)據(jù)快遞 服務DES/ 表格存儲服務 CloudTable

dli使用場景-地理