搭配使用 數(shù)據(jù)湖探索 DLI 云數(shù)據(jù)遷移 CDM 消息日志類數(shù)據(jù)存儲和查詢 消息日志類數(shù)據(jù)存儲和查詢 CloudTable(HBase)滿足消息或日志類數(shù)據(jù)的高速查詢后展現(xiàn)或者返回到應用。適用于以下等場景:消息數(shù)據(jù)、報表數(shù)據(jù)、推薦類數(shù)據(jù)、風控類數(shù)據(jù)、日志數(shù)據(jù)、訂單數(shù)據(jù)等結(jié)構(gòu)化、半
MapReduce服務 對象存儲服務 OBS 云容器引擎 CCE 數(shù)智融合:打通服務數(shù)據(jù)壁壘 數(shù)智融合:打通服務數(shù)據(jù)壁壘 構(gòu)建數(shù)智融合的統(tǒng)一元數(shù)據(jù)底座,為客戶實現(xiàn)多計算服務元數(shù)據(jù)與權(quán)限的統(tǒng)一管理,保障云原生數(shù)據(jù)湖中數(shù)據(jù)與模型的自由流轉(zhuǎn) 優(yōu)勢 數(shù)智融合 通過統(tǒng)一元數(shù)據(jù)實現(xiàn)全局一份數(shù)據(jù),業(yè)務按
邏輯集群,支持一套集群容納數(shù)據(jù)集市、數(shù)據(jù)倉庫 搭配使用 數(shù)據(jù)接入服務 DIS 云數(shù)據(jù)遷移 CDM 數(shù)據(jù)湖治理中心 DataArts Studio 一站式BI解決方案 一站式BI解決方案 企業(yè)積累的海量數(shù)據(jù)及各種數(shù)據(jù)資產(chǎn),體量龐大,需高性能大數(shù)據(jù)平臺支撐進行全量數(shù)據(jù)分析和挖掘。依托DW
數(shù)據(jù)自由流動 支持多種數(shù)據(jù)源 支持多種數(shù)據(jù)源 DIS支持從用戶應用系統(tǒng)、kafka系統(tǒng)、Flume系統(tǒng)做實時數(shù)據(jù)采集 DIS支持從用戶應用系統(tǒng)、kafka系統(tǒng)、Flume系統(tǒng)做實時數(shù)據(jù)采集 多種數(shù)據(jù)接入方式 多種數(shù)據(jù)接入方式 提供RestAPI、SDK、Agent等多種數(shù)據(jù)接入方
實時流計算CS已與數(shù)據(jù)湖探索DLI進行了合并,同SPU資源下 數(shù)據(jù)湖探索DLI 價格下降30%,請前往體驗> 進入DLI控制臺 立即購買 [退市通知] 華為云實時流計算服務于2020年11月1日00:00:00(北京時間)退市,原有功能已合并到DLI [進入DLI] 數(shù)據(jù)湖探索DLI主頁 [退市通知]
FusionInsight全景圖 類別 場景 服務 優(yōu)勢 多元分析 一站式大數(shù)據(jù)平臺 云原生數(shù)據(jù)湖 MRS 全球累計交付30萬+節(jié)點,30%性價比提升 全托管大數(shù)據(jù)服務 數(shù)據(jù)湖探索 DLI 流、批、交互式一體,AIl in SQL,秒級擴縮容 數(shù)據(jù)倉庫 云數(shù)據(jù)倉庫 GaussDB(DWS) 軟硬協(xié)同性能提升30%,兼容標準SQL
差異化能力貢獻社區(qū):HetuEngine 統(tǒng)一SQL、跨源跨域查詢。 核心能力提升 軟硬結(jié)合等垂直協(xié)同優(yōu)化-高可用:首個支持單集群跨AZ的大數(shù)據(jù)服務。 場景適用服務 MapReduce服務 MRS 對象存儲服務 OBS 車聯(lián)網(wǎng)行業(yè) 車聯(lián)網(wǎng) 基于開源生態(tài),提供快速高效數(shù)據(jù)處理計算引擎,幫助車聯(lián)網(wǎng)企業(yè)快速上云
了解更多 產(chǎn)品功能 一站式數(shù)據(jù)入湖 統(tǒng)一數(shù)據(jù)開發(fā) 企業(yè)級架構(gòu)指標 智能數(shù)據(jù)質(zhì)量 全域數(shù)據(jù)資產(chǎn) 全局數(shù)據(jù)湖安全 一站式數(shù)據(jù)入湖 DataArts Studio數(shù)據(jù)集成 支持自建和云上的關(guān)系數(shù)據(jù)庫,數(shù)據(jù)倉庫,NoSQL,大數(shù)據(jù)云服務,對象存儲等30+同構(gòu)/異構(gòu)數(shù)據(jù)源,基于分布式計算框架,
規(guī)模的會議室。 Yealink CP50 支持拾音放音一體的視頻會議全向麥克風,搭載億聯(lián)領(lǐng)先的音頻技術(shù)及AI算法技術(shù)。 了解詳情 → Yealink CPE40 支持拾音放音一體的視頻會議全向麥克風,為CP50的擴展全向麥克風,最多支持1+7臺級聯(lián)。 了解詳情 → 其他配件 華為投屏器IdeaShare
51CloudLink(彈性混合云專線),基于銳速全球骨干傳輸網(wǎng),連接企業(yè)與大規(guī)模公有云,為客戶提供的高速專線服務。1、用于搭建企業(yè)自有計算環(huán)境到公有云用戶計算環(huán)境的高速、穩(wěn)定、安全的專屬通道。用戶可使用專線接入服務將本地數(shù)據(jù)中心的計算機與云上的云服務器或托管主機實現(xiàn)私網(wǎng)相連,充
.華為云大數(shù)據(jù)工作級開發(fā)者認證培訓定位于培養(yǎng)了解一站式大數(shù)據(jù)平臺MRS、數(shù)據(jù)湖治理中心DGC的架構(gòu),掌握MRS常用組件、DGC工作流及華為數(shù)據(jù)湖探索服務DLI的使用方案,熟知華為大數(shù)據(jù)搬遷方案的大數(shù)據(jù)開發(fā)工程師及數(shù)據(jù)治理工程師。課程內(nèi)容:大數(shù)據(jù)挑戰(zhàn)&發(fā)展趨勢,華為大數(shù)據(jù)解決方案,
loudera開源的日志收集系統(tǒng),具有分布式,高可靠,高容錯,易于定制和擴展的特點。他將數(shù)據(jù)從產(chǎn)生,傳輸,處理并寫入目標的路徑的過程抽象為數(shù)據(jù)流,在具體的數(shù)據(jù)流中,數(shù)據(jù)源支持在flume中定制數(shù)據(jù)發(fā)送方,從而支持收集各種不同協(xié)議數(shù)據(jù)。spark:spark是個開源的數(shù)據(jù) 分析集群
提供鴻蒙生態(tài)解決方案服務,協(xié)同鴻蒙生態(tài)系統(tǒng)協(xié)同開發(fā)設(shè)計,拓展鴻蒙生態(tài)建設(shè)中級工程師, 1-3年工作經(jīng)驗,服務內(nèi)容:1、提供面向鴻蒙生態(tài)的設(shè)備遷移適配、應用軟件遷移適配、設(shè)備上云適配等開發(fā)支持服務,協(xié)助客戶完成環(huán)境搭建、測試工具使用,以及穩(wěn)定性、功耗、性能等優(yōu)化服務。2、有鴻蒙項目
構(gòu)建“一河一網(wǎng)一平臺兩中心”服務框架,融合衛(wèi)星遙感、無人機(船)、物聯(lián)網(wǎng)、大數(shù)據(jù)等新一代信息技術(shù),打造河湖生態(tài)智慧運營服務體系,實現(xiàn)“管理精細化、巡查標準化、考核指標化”,推動河湖長制“有名”“有實”“有能”“有效”,建設(shè)幸福河湖。4、數(shù)字集成的核心技術(shù),2、以客戶為中心的服務理念,1、產(chǎn)業(yè)鏈級的應用服務體系
提醒。評審:指派人對任務完成的情況以及質(zhì)量進行評價,對需要修改、暫停、取消的任務進行審批,評審后,該任務相關(guān)人收到信息提醒。大數(shù)據(jù):實時了解任務模塊數(shù)據(jù)的情況變化。置入評分標準,任務評價更客觀真實,常規(guī)重復性工作可建立任務模板,實現(xiàn)任務的自動分派,每個任務責任明確到個人,有效提升工作效率
武漢德發(fā)提供基于華為云WeLink的支持服務,提供產(chǎn)品演示、使用咨詢、后臺設(shè)置、功能指導等服務【基礎(chǔ)版】 服務價格: 1人天上門服務,單價2500元/套。 服務內(nèi)容: (1)上門服務:1對1指導部署,產(chǎn)品操作演示方案講解;幫助設(shè)置考勤、審批等常用應用;分享同行優(yōu)秀管理案例; (2) 遠程支持:管理員后臺配置修改;使用咨詢。
功能指導等服務。服務價格基礎(chǔ)版:1人天上門——2500/套;白銀版:5人天上門+全年遠程支持——10000/套年黃金版:10人天上門+全年遠程支持——18000/套年鉑金版:15人天上門+全年遠程支持——22500/套年全年人員外包模式——1500/人天基礎(chǔ)版上門支持:1、WeL
湖南軒利提供基于華為云WeLink的支持服務,可以上門服務,也可以遠程支持,多種模式選擇。基準版:1人天上門 價格:2500元/次 服務內(nèi)容: 1、WeLink產(chǎn)品介紹; 2、WeLink產(chǎn)品操作演示及講解; 3、管理員后臺基本功能指導。 交付標準: 1、幫助企業(yè)開通WeLink服務; 2、完成常用功能演示;
Spark跨源連接:可通過DLI訪問CloudTable,DWS,RDS和CSS等數(shù)據(jù)源。 Flink跨源支持與多種云服務連通,形成豐富的流生態(tài)圈。數(shù)據(jù)湖探索的流生態(tài)分為云服務生態(tài)和開源生態(tài): 開源生態(tài):通過增強型跨源連接建立與其他VPC的網(wǎng)絡連接后,用戶可以在數(shù)據(jù)湖探索的租戶獨享隊列中訪
跨源連接的特點與用途 DLI支持原生Spark的跨源連接能力,并在其基礎(chǔ)上進行了擴展,能夠通過SQL語句、Spark作業(yè)或者Flink作業(yè)訪問其他數(shù)據(jù)存儲服務并導入、查詢、分析處理其中的數(shù)據(jù),數(shù)據(jù)湖探索跨源連接的功能是打通數(shù)據(jù)源之間的網(wǎng)絡連接。 數(shù)據(jù)湖探索跨源連接的功能是打通數(shù)據(jù)源之間的網(wǎng)絡
SQL作業(yè)的特點與功能 數(shù)據(jù)湖探索DLI是完全兼容Apache Spark,也支持標準的Spark SQL作業(yè),DLI在開源Spark基礎(chǔ)上進行了大量的性能優(yōu)化與服務化改造,不僅兼容Apache Spark生態(tài)和接口,性能較開源提升了2.5倍,在小時級即可實現(xiàn)EB級數(shù)據(jù)查詢分析。 數(shù)據(jù)湖探索DLI是完全兼容Apache
彈性資源池功能與特點 數(shù)據(jù)湖探索服務DLI用途與特點 彈性資源池的主要功能是資源進行統(tǒng)一的管理和調(diào)度,彈性資源池的特點有以下幾點:統(tǒng)一資源管理、租戶資源隔離、分時按需彈性等。 彈性資源池的主要功能是資源進行統(tǒng)一的管理和調(diào)度,彈性資源池的特點有以下幾點:統(tǒng)一資源管理、租戶資源隔離、分時按需彈性等。
汽車駕駛的實時數(shù)據(jù)信息為數(shù)據(jù)源發(fā)送到Kafka中,再將Kafka數(shù)據(jù)的分析結(jié)果輸出到DWS中 從Kafka讀取數(shù)據(jù)寫入到DWS PostgreSQL CDC讀取數(shù)據(jù)寫入到DWS 通過創(chuàng)建PostgreSQL CDC來監(jiān)控Postgres的數(shù)據(jù)變化,并將數(shù)據(jù)信息插入到DWS數(shù)據(jù)庫中。 通過創(chuàng)建PostgreSQL
工具鏈 Serverless 函數(shù)計算 Serverless 觸發(fā)器 Serverless 應用托管 Serverless 應用中心 函數(shù)應用程序由FunctoinGraph函數(shù)、觸發(fā)器和其他資源組合而成,這些資源相互配合,共同執(zhí)行任務。Serverless應用中心為您提供了豐富的預置應用模板,幫助你一鍵快速部署函數(shù)應用
什么是跨源連接-數(shù)據(jù)湖探索DLI跨源連接 什么是數(shù)據(jù)湖探索服務_數(shù)據(jù)湖探索DLI用途與特點 什么是Spark SQL作業(yè)_數(shù)據(jù)湖探索DLISpark SQL作業(yè) 什么是彈性資源池_數(shù)據(jù)湖探索DLI彈性資源池 什么是Flink OpenSource SQL_數(shù)據(jù)湖探索_Flink OpenSource
無需學習編程技能。完全兼容Apache Flink和Spark API 數(shù)據(jù)湖探索 數(shù)據(jù)湖探索(Data Lake Insight,簡稱DLI)是完全兼容Apache Spark、Apache Flink、openLooKeng(基于Apache Presto)生態(tài),提供一站式的流處理、批處理、交互式分析的S
Studio DLI Flink Job 通過DLI Flink Job節(jié)點執(zhí)行一個預先定義的DLI作業(yè),實現(xiàn)實時流式大數(shù)據(jù)分析。 數(shù)據(jù)開發(fā) 數(shù)據(jù)治理中心 作業(yè)節(jié)點DLI Flink Job 數(shù)據(jù)治理中心 DataArts Studio DLI SQL 通過DLI SQL節(jié)點傳遞
數(shù)據(jù)湖DLI支持何種生態(tài)
歡迎使用數(shù)據(jù)湖探索。
數(shù)據(jù)湖探索(Data Lake Insight,簡稱DLI)是完全兼容Apache Spark、Apache Flink、HetuEngine生態(tài),提供一站式的流處理、批處理、交互式分析的Serverless融合處理分析服務。用戶不需要管理任何服務器,即開即用。支持標準SQL/Spark SQL/Flink SQL,支持多種接入方式,并兼容主流數(shù)據(jù)格式。數(shù)據(jù)無需復雜的抽取、轉(zhuǎn)換、加載,使用SQL或程序就可以對云上CloudTable、RDS、DWS、 CSS 、 OBS 、 ECS 自建 數(shù)據(jù)庫 以及線下數(shù)據(jù)庫的異構(gòu)數(shù)據(jù)進行探索。
您可以使用本文檔提供API對數(shù)據(jù)湖探索進行相關(guān)操作,包括隊列、SQL作業(yè)、Flink作業(yè)、Spark作業(yè)和跨源連接等等。支持的全部操作請參見API概覽。
在調(diào)用數(shù)據(jù)湖探索API之前,請確保已經(jīng)充分了解數(shù)據(jù)湖探索相關(guān)概念。詳細信息請參見產(chǎn)品介紹。
調(diào)用說明
數(shù)據(jù)湖探索提供了REST(Representational State Transfer)風格API,支持您通過HTTPS請求調(diào)用,調(diào)用方法請參見如何調(diào)用API。
您可以在API Explorer中調(diào)用API,查看API請求和返回結(jié)果。此外,API Explorer會自動生成相應API調(diào)用示例,幫助您使用API。
DLI API中除特殊說明外,通常為同步操作,即響應消息中的“is_success”為請求是否執(zhí)行成功。
若API為異步操作,可根據(jù)響應消息中的“job_id”,執(zhí)行查詢作業(yè)狀態(tài) - ShowSqlJobStatusAPI,從而獲取該異步操作API最終是否執(zhí)行成功。
同時數(shù)據(jù)湖探索還提供多種編程語言的SDK供您使用,SDK的使用方法請參見華為云開發(fā)工具包(SDK)。
終端節(jié)點
終端節(jié)點即調(diào)用API的請求地址,不同服務不同區(qū)域的終端節(jié)點不同,您可以從地區(qū)和終端節(jié)點中查詢服務的終端節(jié)點。
約束與限制
- 您能創(chuàng)建的資源的數(shù)量與配額有關(guān)系,如果您想查看服務配額、擴大配額,具體請參見《如何申請擴大配額》。
- 更詳細的限制請參見具體API的說明。
基本概念
- 賬號
用戶注冊華為云時的賬號,賬號對其所擁有的資源及服務具有完全的訪問權(quán)限,可以重置用戶密碼、分配用戶權(quán)限等。由于賬號是付費主體,為了確保賬號安全,建議您不要直接使用賬號進行日常管理工作,而是創(chuàng)建用戶并使用用戶進行日常管理工作。
- 用戶
由賬號在 IAM 中創(chuàng)建的用戶,是云服務的使用人員,具有身份憑證(密碼和訪問密鑰)。
在我的憑證下,您可以查看項目ID。通常在調(diào)用API的鑒權(quán)過程中,您需要用到賬號、用戶和密碼等信息。
- 區(qū)域(Region)
從地理位置和網(wǎng)絡時延維度劃分,同一個Region內(nèi)共享彈性計算、塊存儲、 對象存儲 、 VPC 網(wǎng)絡、 彈性公網(wǎng)IP 、 鏡像 等公共服務。Region分為通用Region和專屬Region,通用Region指面向公共租戶提供通用云服務的Region;專屬Region指只承載同一類業(yè)務或只面向特定租戶提供業(yè)務服務的專用Region。
詳情請參見區(qū)域和可用區(qū)。
- 可用區(qū)(AZ,Availability Zone)
一個AZ是一個或多個物理數(shù)據(jù)中心的集合,有獨立的風火水電,AZ內(nèi)邏輯上再將計算、網(wǎng)絡、存儲等資源劃分成多個集群。一個Region中的多個AZ間通過高速光纖相連,以滿足用戶跨AZ構(gòu)建高可用性系統(tǒng)的需求。
- 項目
華為云的區(qū)域默認對應一個項目,這個項目由系統(tǒng)預置,用來隔離物理區(qū)域間的資源(計算資源、存儲資源和網(wǎng)絡資源),以默認項目為單位進行授權(quán),用戶可以訪問您賬號中該區(qū)域的所有資源。如果您希望進行更加精細的權(quán)限控制,可以在區(qū)域默認的項目中創(chuàng)建子項目,并在子項目中購買資源,然后以子項目為單位進行授權(quán),使得用戶僅能訪問特定子項目中資源,使得資源的權(quán)限控制更加精確。
圖1 項目隔離模型
同樣在我的憑證下,您可以查看項目ID。
- 企業(yè)項目
企業(yè)項目是項目的升級版,針對企業(yè)不同項目間資源的分組和管理,是邏輯隔離。企業(yè)項目中可以包含多個區(qū)域的資源,且項目中的資源可以遷入遷出。
關(guān)于企業(yè)項目ID的獲取及企業(yè)項目特性的詳細信息,請參見《企業(yè)管理服務用戶指南》。
數(shù)據(jù)湖DLI支持何種生態(tài)常見問題
更多常見問題 >>-
數(shù)據(jù)湖探索(Data Lake Insight,簡稱DLI)是完全兼容Apache Spark和Apache Flink生態(tài), 實現(xiàn)批流一體的Serverless大數(shù)據(jù)計算分析服務。DLI支持多模引擎,企業(yè)僅需使用SQL或程序就可輕松完成異構(gòu)數(shù)據(jù)源的批處理、流處理等,挖掘和探索數(shù)據(jù)價值。
-
數(shù)據(jù)湖探索DLI用戶可以通過可視化界面、Restful API、JDBC、ODBC、Beeline等多種接入方式對云上CloudTable、RDS和DWS等異構(gòu)數(shù)據(jù)源進行查詢分析,數(shù)據(jù)格式兼容CSV、JSON、Parquet、Carbon和ORC五種主流數(shù)據(jù)格式。
-
數(shù)據(jù)湖探索(Data Lake Insight,簡稱DLI)是完全兼容Apache Spark、Apache Flink、Trino生態(tài),提供一站式的流處理、批處理、交互式分析的Serverless融合處理分析服務。用戶不需要管理任何服務器,即開即用。
-
DLI服務適用于海量日志分析、異構(gòu)數(shù)據(jù)源聯(lián)邦分析、大數(shù)據(jù)ETL處理。
-
DLI用戶可以通過可視化界面、Restful API、JDBC、ODBC、Beeline等多種接入方式對云上CloudTable、RDS和DWS等異構(gòu)數(shù)據(jù)源進行查詢分析,數(shù)據(jù)格式兼容CSV、JSON、Parquet和ORC主流數(shù)據(jù)格式。
-
DLI支持原生Spark的DataSource能力,并在其基礎(chǔ)上進行了擴展,能夠通過SQL語句、Spark作業(yè)或者Flink作業(yè)進行跨源連接其他數(shù)據(jù)存儲服務并導入、查詢、分析處理其中的數(shù)據(jù)。
數(shù)據(jù)湖DLI支持何種生態(tài)教程視頻
最佳實踐視頻幫助您快速了解搭建流程 了解更多
更多相關(guān)專題
增值電信業(yè)務經(jīng)營許可證:B1.B2-20200593 | 域名注冊服務機構(gòu)許可:黔D3-20230001 | 代理域名注冊服務機構(gòu):新網(wǎng)、西數(shù)