實時流計算CS已與數據湖探索DLI進行了合并,同SPU資源下 數據湖探索DLI 價格下降30%,請前往體驗> 進入DLI控制臺 立即購買 [退市通知] 華為云實時流計算服務于2020年11月1日00:00:00(北京時間)退市,原有功能已合并到DLI [進入DLI] 數據湖探索DLI主頁
零改動 極致性能 數據實時查詢性能遠高于傳統(tǒng)數據倉庫 安全可靠 用戶集群獨立部署,網絡支持VPC隔離,數據訪問通道安全加密 搭配使用 數據湖探索 DLI 云數據遷移 CDM 消息日志類數據存儲和查詢 消息日志類數據存儲和查詢 CloudTable(HBase)滿足消息或日志類數據
業(yè)務系統(tǒng)隨時隨地發(fā)送數據到DIS 高并發(fā)、低延時 支持百萬并發(fā)消息,端到端時延低至毫秒級 生態(tài)完善 支持對接各分析平臺,數據傳輸、計算一站式處理 建議搭配使用 數據湖探索 DLI MapReduce 服務 實時文件傳輸??? 實時檢測客戶應用系統(tǒng)中產生的日志文件,并采集上傳到云上,進行離線分析、存儲查詢及
分布式存儲跨可用區(qū)容災技術,數據持久度高達12個9,優(yōu)良數據可靠性 推薦產品 對象存儲服務 OBS MapReduce服務 MRS 數據湖探索 DLI 云搜索服務 CSS BigData Pro解決方案存儲優(yōu)勢 華為云OBS服務為BigData Pro解決方案提供存儲資源,業(yè)務連續(xù)穩(wěn)定、資源利用率高、數據復用率高
放設備分辨率,自由定制大屏尺寸 多種數據源支持 無縫集成華為云數據倉庫服務、數據湖探索、關系型數據庫、對象存儲服務等,支持本地CSV、在線API及企業(yè)內部私有云數據 無縫集成華為云數據倉庫服務、數據湖探索、關系型數據庫、對象存儲服務等,支持本地CSV、在線API及企業(yè)內部私有云數據
統(tǒng)一的數據決策平臺,多維分析企業(yè)經營數據,有效支撐企業(yè)的經營決策 多場景展現 搭配BI工具多終端數據展現PC端/移動端/大屏,滿足業(yè)務部門各種報表訴求 搭配使用 數據湖探索 DLI MapReduce服務 MRS 數據湖治理中心 DataArts Studio 數據湖分析 數據湖分析 整合數據資源,構建大數
生態(tài)開放 兼容開源生態(tài),支持大數據、數倉等計算引擎平滑對接 搭配使用 MapReduce服務 AI開發(fā)平臺 ModelArts 數據治理中心 數據湖探索 DLI 數智融合計算服務 云數據倉庫 DWS 文檔與學習成長 用戶指南 用戶指南 準備工作 創(chuàng)建LakeFormation實例 管理LakeFormation元數據
高效同步 基于數據源特點采取并發(fā)拆分增強遷移性能 建議搭配使用 云專線 DC MapReduce服務 表格存儲服務CloudTable 數據湖探索 DLI 產品特性 支持多種數據源批量入湖 支持近20種數據源之間的數據遷移 支持近20種數據源之間的數據遷移 簡單易用 全向導式任務管理界面,輕松應對復雜遷移場景
類別 場景 服務 優(yōu)勢 多元分析 一站式大數據平臺 云原生數據湖 MRS 全球累計交付30萬+節(jié)點,30%性價比提升 全托管大數據服務 數據湖探索 DLI 流、批、交互式一體,AIl in SQL,秒級擴縮容 數據倉庫 云數據倉庫 GaussDB(DWS) 軟硬協(xié)同性能提升30%,兼容標準SQL
Jar作業(yè)的完整的操作步驟,幫助您在DLI上進行作業(yè)開發(fā)。 介紹使用Spark Jar作業(yè)的完整的操作步驟,幫助您在DLI上進行作業(yè)開發(fā)。 Spark Jar作業(yè)開發(fā)指南 精選文章推薦 更多相關文章精選推薦,帶您了解更多華為云數據湖探索 了解數據湖探索 圖解數據湖探索 什么是數據湖彈性資源池 數據湖探索使用約束限制
,能夠通過SQL語句、Spark作業(yè)或者Flink作業(yè)訪問其他數據存儲服務并導入、查詢、分析處理其中的數據,數據湖探索跨源連接的功能是打通數據源之間的網絡連接。 數據湖探索跨源連接的功能是打通數據源之間的網絡連接,目前DLI支持跨源連接訪問的數據源包括:CloudTable HBase,CloudTable
SQL作業(yè)的特點與功能 數據湖探索DLI是完全兼容Apache Spark,也支持標準的Spark SQL作業(yè),DLI在開源Spark基礎上進行了大量的性能優(yōu)化與服務化改造,不僅兼容Apache Spark生態(tài)和接口,性能較開源提升了2.5倍,在小時級即可實現EB級數據查詢分析。 數據湖探索DLI是完全兼容Apache
可以根據不同隊列計算資源使用量的波峰和波谷和優(yōu)先級來配置要擴縮容的CU數。 彈性資源池隊列管理 精選文章推薦 更多相關文章精選推薦,帶您了解更多華為云數據湖探索的彈性資源池 彈性資源池相關的API 創(chuàng)建彈性資源池 查詢所有彈性資源池 刪除彈性資源池 修改彈性資源池信息 查詢彈性資源池所屬隊列 Flink
OpenSource SQL的特點與功能 數據湖探索DLI是完全兼容Apache Flink,也支持標準Flink OpenSource SQL作業(yè),DLI在開源Flink基礎上進行了特性增強和安全增強,提供了數據處理所必須的Stream SQL特性。 數據湖探索DLI是完全兼容Apache Flink,也支持標準Flink
什么是跨源連接-數據湖探索DLI跨源連接 什么是數據湖探索服務_數據湖探索DLI用途與特點 什么是Spark SQL作業(yè)_數據湖探索DLISpark SQL作業(yè) 什么是彈性資源池_數據湖探索DLI彈性資源池 什么是Flink OpenSource SQL_數據湖探索_Flink OpenSource
拖拽即可完成組件自由配置與布局、所見即所得,無需編程就能輕松搭建可視化大屏,并且依據投放設備分辨率,自由定制大屏尺寸。 多種數據源支持 無縫集成華為云數據倉庫服務、數據湖探索、關系型數據庫、對象存儲服務等,支持本地CSV、在線API及企業(yè)內部私有云數據。 大數據可視化平臺的架構 DLV的產品架構如圖1所示: 圖1
定制模板OCR免費試用 證件類文字識別OCR免費體驗 票據類文字識別OCR 通用文字識別OCR免費體驗 04 大數據 免費MySQL云數據庫 數據湖探索DLI免費試用 數據湖治理中心DGC免費試用 區(qū)塊鏈服務BCS免費試用 數據加密服務DEW免費試用 數據可視化DLV免費試用 應用性能管理APM免費體驗
SQL或自定義作業(yè)。無需關心計算集群, 無需學習編程技能。完全兼容Apache Flink和Spark API 數據湖探索 數據湖探索(Data Lake Insight,簡稱DLI)是完全兼容Apache Spark、Apache Flink、openLooKeng(基于Apache
數據湖探索
應用場景
該解決方案基于華為云數據湖探索 DLI Spark作業(yè)構建,通過對駕駛人駕駛行為的分析,幫助您快速的進行車輛 數據管理 與分析。DLI 是一個強大的大數據處理平臺,它可以幫助您輕松地管理和分析車輛數據。通過使用標準 SQL 和 Spark 程序,您可以在云上進行多數據源的聯合計算分析,從而挖掘和探索數據價值。適用于以下場景:
1、智能駕駛: 通過分析車輛數據,可以提供有關駕駛行為的深入見解,以改善駕駛體驗、提高道路安全,并優(yōu)化交通流量。
2、自動駕駛: 通過分析車輛數據,可以訓練自動駕駛模型,以提高自動駕駛的準確性和效率。
3、安全預警: 通過分析車輛數據,可以預測和識別潛在的安全問題,提前采取措施,防止事故發(fā)生。
4、用戶行為分析: 通過分析車輛數據,可以了解用戶的駕駛習慣和行為,以提供更好的服務和產品。
方案架構

該解決方案會部署如下資源:
- 創(chuàng)建一臺 云數據庫 RDS for MySQL 實例,用于存儲統(tǒng)計的駕駛行為數據。
- 創(chuàng)建數據湖探索 DLI增強型跨源隊列,并創(chuàng)建SQL作業(yè),用于分析和處理駕駛行為數據。
- 創(chuàng)建數據湖探索 DLI跨源認證,用于DLI訪問RDS for MySQL同步寫入駕駛行為數據。
- 創(chuàng)建兩個 對象存儲 服務 OBS 桶,一個用于用戶上傳駕駛行為數據,另一個用于上傳連接RDS的SQL文件。
- 使用 函數工作流 FunctionGraph 創(chuàng)建兩個函數,一個用于自動創(chuàng)建DLI 數據庫 表并將用戶上傳的駕駛行為數據自動寫入,另一個用于自動在RDS創(chuàng)建數據表模板。
- 開源和定制化
該解決方案是開源的,用戶可以免費用于商業(yè)用途,并且還可以在源碼基礎上進行定制化開發(fā),搭建屬于自己的駕駛行為分析系統(tǒng)。
- 一鍵部署
一鍵輕松部署,即可完成數據湖探索 DLI,函數工作流 FunctionGraph,云數據庫 RDS等資源發(fā)放,幫助用戶輕松搭建駕駛行為分析解決方案。
約束與限制
- 部署該解決方案之前,您需注冊華為賬號并開通華為云,完成實名認證,且賬號不能處于欠費或凍結狀態(tài),如使用包周期部署確保余額充足。
- 如果選用 IAM 委托權限部署資源,請確保使用的華為云賬號有IAM的足夠權限,具體請參考創(chuàng)建rf_admin_trust委托(可選);如果使用華為主賬號或admin用戶組下的IAM子賬戶可不選委托,將采用當前登錄用戶的權限進行部署。
- 第一次使用數據湖數據湖 DLI時需要登錄DLI控制臺,如果使用IAM子賬戶部署該解決方案,請參考部署指南確保該賬號已經有DLI的相關授權,第一次使用DLI時候也需要用子賬號登錄一次控制臺。具體請參考數據湖探索 DLI幫助文檔。
數據湖探索常見問題
更多常見問題 >>-
GaussDB是華為自主創(chuàng)新研發(fā)的分布式關系型數據庫。具備企業(yè)級復雜事務混合負載能力,同時支持分布式事務,同城跨AZ部署,數據0丟失,支持1000+節(jié)點的擴展能力,PB級海量存儲。
-
SFS的常見問題解答。
-
數據湖探索的計費包括存儲計費和計算計費。數據湖探索的計費詳情及樣例,請參見以下說明。數據湖探索服務目前支持三種作業(yè):SQL作業(yè),Flink作業(yè)和Spark作業(yè)。 SQL作業(yè)的計費包括存儲計費和計算計費,其中計算計費包括包年包月計費和按需計費兩種。 包年包月計費根據購買周期進行扣費,推薦使用包年包月模式,價格優(yōu)惠且在周期內獨享計算資源。
-
數據湖探索(Data Lake Insight,簡稱DLI)是完全兼容Apache Spark、Apache Flink、Trino生態(tài),提供一站式的流處理、批處理、交互式分析的Serverless融合處理分析服務。用戶不需要管理任何服務器,即開即用。
-
DLI用戶可以通過可視化界面、Restful API、JDBC、ODBC、Beeline等多種接入方式對云上CloudTable、RDS和DWS等異構數據源進行查詢分析,數據格式兼容CSV、JSON、Parquet和ORC主流數據格式。
-
數據湖探索(Data Lake Insight,簡稱DLI)是完全兼容Apache Spark、Apache Flink、Trino生態(tài),提供一站式的流處理、批處理、交互式分析的Serverless融合處理分析服務。用戶不需要管理任何服務器,即開即用。
更多相關專題
增值電信業(yè)務經營許可證:B1.B2-20200593 | 域名注冊服務機構許可:黔D3-20230001 | 代理域名注冊服務機構:新網、西數