華為云計(jì)算 云知識(shí) dli相關(guān)問(wèn)題
dli相關(guān)問(wèn)題

數(shù)據(jù)湖探索 (Data Lake Insight,簡(jiǎn)稱(chēng)DLI)是完全兼容Apache Spark和Apache Flink生態(tài),實(shí)現(xiàn)批流一體的Serverless 大數(shù)據(jù) 計(jì)算分析服務(wù)。DLI支持多模引擎,企業(yè)僅需使用SQL或程序就可輕松完成異構(gòu)數(shù)據(jù)源的批處理、流處理、內(nèi)存計(jì)算、機(jī)器學(xué)習(xí)等,挖掘和探索數(shù)據(jù)價(jià)值。

DLI服務(wù)適用于海量 日志分析 、異構(gòu)數(shù)據(jù)源聯(lián)邦分析、大數(shù)據(jù)ETL處理。

DLI支持如下數(shù)據(jù)格式:

Parquet

CSV

ORC

Json

Carbon

Carbondata(只支持DLI表)

Avro

DLI服務(wù)的數(shù)據(jù)可存儲(chǔ)在如下地方:

OBS:SQL作業(yè),Spark作業(yè),F(xiàn)link作業(yè)使用的數(shù)據(jù)均可以存儲(chǔ)在OBS服務(wù)中,降低存儲(chǔ)成本。

DLI:DLI內(nèi)部使用的是列存的Parquet格式,即數(shù)據(jù)以Parquet格式存儲(chǔ)。存儲(chǔ)成本較高。

跨源作業(yè)可將數(shù)據(jù)存儲(chǔ)在對(duì)應(yīng)的服務(wù)中,目前支持CloudTable,CSS,DCS,DDS,DWS,MRS,RDS等。

不上傳數(shù)據(jù)到OBS,如何使用DLI?當(dāng)前DLI只支持對(duì)云上數(shù)據(jù)分析,數(shù)據(jù)還是要傳到云上;但是用戶(hù)可以折中處理:將待分析的數(shù)據(jù)脫敏后上傳到OBS臨時(shí)存放,分析完之后將結(jié)果導(dǎo)出使用,同時(shí)將OBS臨時(shí)存放數(shù)據(jù)刪除;該方法主要適用于定期(如每天)對(duì)增量數(shù)據(jù)一次性分析統(tǒng)計(jì),然后利用分析結(jié)果支撐業(yè)務(wù)的場(chǎng)景;對(duì)頻繁需要分析的數(shù)據(jù),還是建議將數(shù)據(jù)上傳到云上。

如何獲取用戶(hù)支持?為了更好的幫助和服務(wù)用戶(hù),我們提供多種方式的用戶(hù)支持,詳見(jiàn)聯(lián)系我們頁(yè)面。

什么是區(qū)域、可用區(qū)?

我們用區(qū)域和可用區(qū)來(lái)描述數(shù)據(jù)中心的位置,您可以在特定的區(qū)域、可用區(qū)創(chuàng)建資源。

區(qū)域(Region):從地理位置和網(wǎng)絡(luò)時(shí)延維度劃分,同一個(gè)Region內(nèi)共享彈性計(jì)算、塊存儲(chǔ)、 對(duì)象存儲(chǔ) 、VPC網(wǎng)絡(luò)、 彈性公網(wǎng)IP 、 鏡像 等公共服務(wù)。Region分為通用Region和專(zhuān)屬Region,通用Region指面向公共租戶(hù)提供通用云服務(wù)的Region;專(zhuān)屬Region指只承載同一類(lèi)業(yè)務(wù)或只面向特定租戶(hù)提供業(yè)務(wù)服務(wù)的專(zhuān)用Region。

可用區(qū)(AZ,Availability Zone):一個(gè)AZ是一個(gè)或多個(gè)物理數(shù)據(jù)中心的集合,有獨(dú)立的風(fēng)火水電,AZ內(nèi)邏輯上再將計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)等資源劃分成多個(gè)集群。一個(gè)Region中的多個(gè)AZ間通過(guò)高速光纖相連,以滿(mǎn)足用戶(hù)跨AZ構(gòu)建高可用性系統(tǒng)的需求。

dli相關(guān)問(wèn)題