數(shù)據(jù)湖批流一體是什么
數(shù)據(jù)湖探索(Data Lake Insight,簡(jiǎn)稱DLI)是一款大數(shù)據(jù)分析工具,提供標(biāo)準(zhǔn)SQL,完全兼容Spark接口,支持自動(dòng)彈性擴(kuò)展,云上多數(shù)據(jù)源聯(lián)邦分析,提供資源和數(shù)據(jù)細(xì)粒度管控的多租戶能力,廣泛應(yīng)用于IoT,互聯(lián)網(wǎng),游戲等行業(yè)統(tǒng)計(jì)報(bào)表,行為日志分析,歷史數(shù)據(jù)查詢審計(jì)等場(chǎng)景
復(fù)雜SQL實(shí)時(shí)查詢,10+表格聯(lián)合運(yùn)算,秒級(jí)返回結(jié)果 實(shí)時(shí)入倉(cāng)批流融合60萬(wàn)/秒/節(jié)點(diǎn),T+0完成數(shù)據(jù)分析 多源數(shù)據(jù)融合,一站式統(tǒng)一平臺(tái),助力非傳統(tǒng)數(shù)倉(cāng)工程師便捷使用數(shù)據(jù) 多應(yīng)用場(chǎng)景全覆蓋,打造大數(shù)據(jù)時(shí)代新型數(shù)據(jù)倉(cāng)庫(kù) 傳統(tǒng)數(shù)倉(cāng)替換 一站式BI解決方案 數(shù)據(jù)湖分析 實(shí)時(shí)數(shù)據(jù)分析 傳統(tǒng)數(shù)倉(cāng)替換 傳統(tǒng)數(shù)倉(cāng)替換
FusionInsight全景圖 類別 場(chǎng)景 服務(wù) 優(yōu)勢(shì) 多元分析 一站式大數(shù)據(jù)平臺(tái) 云原生數(shù)據(jù)湖 MRS 全球累計(jì)交付30萬(wàn)+節(jié)點(diǎn),30%性價(jià)比提升 全托管大數(shù)據(jù)服務(wù) 數(shù)據(jù)湖探索 DLI 流、批、交互式一體,AIl in SQL,秒級(jí)擴(kuò)縮容 數(shù)據(jù)倉(cāng)庫(kù) 云數(shù)據(jù)倉(cāng)庫(kù) GaussDB(DWS)
程序和數(shù)據(jù)到HDFS。 購(gòu)買集群 進(jìn)入MapReduce管理控制臺(tái),單擊“購(gòu)買集群”并配置相關(guān)參數(shù)。用戶可以指定集群類型用于離線數(shù)據(jù)分析和流處理任務(wù),指定集群中預(yù)置的彈性云服務(wù)器實(shí)例規(guī)格、實(shí)例數(shù)量、數(shù)據(jù)盤類型、要安裝的組件。 提交作業(yè) 您可以通過(guò)MRS控制臺(tái)界面提交作業(yè),也可以通過(guò)MRS集群節(jié)點(diǎn)使用命令提交作業(yè)。
建議搭配使用 數(shù)據(jù)湖探索 DLI MapReduce服務(wù) 數(shù)據(jù)湖治理中心 DGC 實(shí)時(shí)數(shù)據(jù)分析 移動(dòng)互聯(lián)網(wǎng)、IoT場(chǎng)景下會(huì)產(chǎn)生大量實(shí)時(shí)數(shù)據(jù),為了快速獲取數(shù)據(jù)價(jià)值,需要對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)分析,DWS的快速入庫(kù)和查詢能力可支持實(shí)時(shí)數(shù)據(jù)分析 優(yōu)勢(shì) 流式數(shù)據(jù)實(shí)時(shí)入庫(kù) IoT、互聯(lián)網(wǎng)等數(shù)據(jù)經(jīng)過(guò)流計(jì)算及AI服務(wù)處理后,可實(shí)時(shí)寫入DWS
統(tǒng)一開(kāi)發(fā)者體驗(yàn) 通過(guò)對(duì)零碼、低碼、流程、大屏、高低碼結(jié)合等場(chǎng)景覆蓋,統(tǒng)一開(kāi)發(fā)者體驗(yàn) 華為云Astro工作流 快速構(gòu)建工作流應(yīng)用 滿足企業(yè)中人財(cái)事物的調(diào)、轉(zhuǎn)、入、離、審、評(píng)、批等任務(wù)的數(shù)智化需求 場(chǎng)景詳情 華為云Astro大屏應(yīng)用 快速搭建大屏應(yīng)用 滿足運(yùn)營(yíng),業(yè)務(wù)監(jiān)控,風(fēng)險(xiǎn)預(yù)警等多
之旅 開(kāi)始使用 您可能感興趣的產(chǎn)品 您可能感興趣的產(chǎn)品 數(shù)據(jù)治理中心 DataArts Studio 一站式數(shù)據(jù)開(kāi)發(fā)與治理平臺(tái) 數(shù)據(jù)湖探索 DLI 流處理、批處理的融合處理分析服務(wù) 數(shù)據(jù)可視化 DLV 提供可視化組件定制和應(yīng)用數(shù)據(jù)大屏
入自定義工作流中 提供多種圖表類型實(shí)時(shí)展示作業(yè)數(shù)據(jù)輸出,用戶可以通過(guò)API網(wǎng)關(guān)服務(wù)自由訪問(wèn)作業(yè)數(shù)據(jù),接入自定義工作流中 應(yīng)用場(chǎng)景 實(shí)時(shí)流分析場(chǎng)景 物聯(lián)網(wǎng)IoT場(chǎng)景 實(shí)時(shí)流分析場(chǎng)景 提供易用、低時(shí)延、高吞吐的實(shí)時(shí)流分析服務(wù)。支持Stream SQL和用戶自定義作業(yè)做流分析 優(yōu)勢(shì) 易用
合能源等新興業(yè)務(wù)發(fā)展。 華為云助力山東黃金建立國(guó)際一流礦山運(yùn)營(yíng)模式 華為云助力山東黃金實(shí)現(xiàn)勘探、化驗(yàn)、地測(cè)采選、產(chǎn)供銷等全鏈路數(shù)據(jù)采集,為礦山的安全生產(chǎn)、經(jīng)營(yíng)管理提供實(shí)時(shí)、精準(zhǔn)的數(shù)據(jù)支撐,建設(shè)基于智能決策和遠(yuǎn)程集中控制的國(guó)際一流礦山運(yùn)營(yíng)模式。 華為云助力深圳機(jī)場(chǎng)集團(tuán)“智慧機(jī)場(chǎng)”數(shù)字化轉(zhuǎn)型
DIS提供百萬(wàn)連接并發(fā),單數(shù)據(jù)流最高支持每日TB級(jí)別的數(shù)據(jù)量寫入,每個(gè)分區(qū)(partition)支持最高每日百GB級(jí)別的寫入量 DIS提供百萬(wàn)連接并發(fā),單數(shù)據(jù)流最高支持每日TB級(jí)別的數(shù)據(jù)量寫入,每個(gè)分區(qū)(partition)支持最高每日百GB級(jí)別的寫入量 每個(gè)數(shù)據(jù)流的吞吐能力可以通過(guò)動(dòng)態(tài)增加partition進(jìn)行擴(kuò)展
批處理、實(shí)時(shí)檢索、實(shí)時(shí)流處理、批流合一計(jì)算平臺(tái)等。規(guī)格:培訓(xùn)時(shí)長(zhǎng)5天,每班最大人數(shù)20人 產(chǎn)品技術(shù)培訓(xùn)1.華為云數(shù)據(jù)治理高級(jí)工程師培訓(xùn)面向需要了解數(shù)據(jù)治理理論,使用華為數(shù)據(jù)湖治理中心 DGC進(jìn)行數(shù)據(jù)治理、建模及集成的工程師。課程內(nèi)容:深入講解華為云數(shù)據(jù)湖治理中心 DGC產(chǎn)品知識(shí)
Apache Hudi是下一代流數(shù)據(jù)湖平臺(tái),它直接在數(shù)據(jù)湖中引入了核心的倉(cāng)庫(kù)和數(shù)據(jù)庫(kù)功能。Hudi提供了兩種原語(yǔ),使得除了經(jīng)典的批處理之外,還可以在數(shù)據(jù)湖上進(jìn)行流處理。Apache Hudi,也被發(fā)音為“hoodie”,是下一代流數(shù)據(jù)湖平臺(tái)。它直接在數(shù)據(jù)湖中引入了核心的倉(cāng)庫(kù)和數(shù)據(jù)庫(kù)功
Pulsar是Apache軟件基金會(huì)的頂級(jí)項(xiàng)目,也是下一代云原生分布式消息流平臺(tái)。它集消息、存儲(chǔ)、輕量化函數(shù)式計(jì)算為一體,采用計(jì)算與存儲(chǔ)分離架構(gòu)設(shè)計(jì)。Pulsar的主要特性包括:①支持多種消息模型:Pulsar提供了靈活的消息模型和直觀的客戶端API,支持發(fā)布-訂閱模式和點(diǎn)對(duì)點(diǎn)模
同空間的數(shù)據(jù)互相隔離,保障企業(yè)數(shù)據(jù)安全。6. 單點(diǎn)登錄。支持多種企業(yè)內(nèi)部單點(diǎn)登錄系統(tǒng)對(duì)接。 數(shù)據(jù)資產(chǎn)底座,實(shí)時(shí)數(shù)據(jù)中臺(tái),數(shù)智一體化,湖倉(cāng)一體,流批一體
發(fā):無(wú)侵入的實(shí)現(xiàn)實(shí)時(shí)數(shù)倉(cāng)。2. 數(shù)據(jù)開(kāi)發(fā)平臺(tái)數(shù)據(jù)開(kāi)發(fā)平臺(tái)用于大數(shù)據(jù)開(kāi)發(fā)的IDE套件;滿足用戶對(duì)于變量開(kāi)發(fā)、任務(wù)調(diào)度、運(yùn)維監(jiān)控以及流批一體等需求。該平臺(tái)以豐富的算法組件,實(shí)現(xiàn)拖、拉、拽式的開(kāi)發(fā)模式,以全圖形化的運(yùn)維界面,降低數(shù)據(jù)開(kāi)發(fā)、數(shù)據(jù)挖掘以及數(shù)據(jù)運(yùn)維環(huán)節(jié)對(duì)于使用者技術(shù)能
易流E-TMS,以“互聯(lián)網(wǎng)+”模式重構(gòu)物流運(yùn)輸業(yè)務(wù),助力企業(yè)打造端到端透明的物流業(yè)務(wù)體系;基于大數(shù)據(jù)分析賦能,提升運(yùn)輸管理、路徑優(yōu)化等能力,實(shí)現(xiàn)高效協(xié)同過(guò)程可視、智能優(yōu)化。易流E-TMS是易流科技在物流透明管理實(shí)踐15年,戰(zhàn)略全面轉(zhuǎn)型為“供應(yīng)鏈物流行業(yè)數(shù)字化(IoT)基礎(chǔ)設(shè)施”,
地連接起來(lái),從而為企業(yè)提供一套完善的供應(yīng)鏈解決方案,實(shí)現(xiàn)企業(yè)間產(chǎn)銷供、業(yè)務(wù)與財(cái)務(wù)稅務(wù)的一體化運(yùn)作。其社會(huì)化協(xié)作功能可確保上下游企業(yè),包括供應(yīng)商、制造商和分銷商之間的商業(yè)流、物流、信息流和資金流整體運(yùn)作。通過(guò)開(kāi)放性的生態(tài)服務(wù),供應(yīng)鏈能提供更全面的供應(yīng)鏈服務(wù),幫助企業(yè)提升供應(yīng)鏈管理能
數(shù)據(jù)‘主動(dòng)溝通’能力,資源協(xié)同、變更管理、過(guò)程審批7.項(xiàng)目進(jìn)度可視化 - 隨時(shí)隨地管理項(xiàng)目進(jìn)度8.過(guò)程數(shù)據(jù)分析 - 多維度數(shù)據(jù)統(tǒng)計(jì)分析,配置型管理看板對(duì)全局把控,業(yè)數(shù)一體反哺企業(yè)業(yè)務(wù)流shiyo那個(gè) 全方位、多維度看板查看,助力數(shù)據(jù)分析,透視數(shù)據(jù)價(jià)值,可直接在甘特圖中拖拽實(shí)現(xiàn)任務(wù)創(chuàng)建,直觀化、可視化進(jìn)行任務(wù)周期調(diào)整、綁定關(guān)聯(lián)關(guān)系
G7易流E-TMS,以“互聯(lián)網(wǎng)+”模式重構(gòu)物流運(yùn)輸業(yè)務(wù),助力企業(yè)打造端到端透明的物流業(yè)務(wù)體系;基于大數(shù)據(jù)分析賦能,提升運(yùn)輸管理、路徑優(yōu)化等能力,實(shí)現(xiàn)高效協(xié)同過(guò)程可視、智能優(yōu)化。G7易流E-TMS是易流科技在物流透明管理實(shí)踐15年,戰(zhàn)略全面轉(zhuǎn)型為“供應(yīng)鏈物流行業(yè)數(shù)字化(IoT)基礎(chǔ)
數(shù)據(jù)鏈路實(shí)時(shí)性提升至10分鐘,支撐實(shí)時(shí)線損分析、有序用電、負(fù)荷預(yù)測(cè)等 電力計(jì)量大數(shù)據(jù) 實(shí)時(shí)數(shù)據(jù)湖,千萬(wàn)級(jí)終端采集頻率提升到分鐘級(jí) 實(shí)時(shí)數(shù)據(jù)湖,千萬(wàn)級(jí)終端采集頻率提升到分鐘級(jí) 電網(wǎng)營(yíng)銷2.0 流批一體計(jì)算,數(shù)據(jù)讀寫性能提升8倍,電費(fèi)測(cè)算提效20倍 流批一體計(jì)算,數(shù)據(jù)讀寫性能提升8倍,電費(fèi)測(cè)算提效20倍 油氣 油氣云
MRS提供多種主流計(jì)算引擎:MapReduce(批處理)、Tez(DAG模型)、Spark(內(nèi)存計(jì)算)、SparkStreaming(微批流計(jì)算)、Storm(流計(jì)算)、Flink(流計(jì)算),滿足多種大數(shù)據(jù)應(yīng)用場(chǎng)景,將數(shù)據(jù)進(jìn)行結(jié)構(gòu)和邏輯的轉(zhuǎn)換,轉(zhuǎn)化成滿足業(yè)務(wù)目標(biāo)的數(shù)據(jù)模型。 數(shù)據(jù)呈現(xiàn)調(diào)度 用于數(shù)據(jù)分
豐富的流生態(tài)圈。數(shù)據(jù)湖探索的流生態(tài)分為云服務(wù)生態(tài)和開(kāi)源生態(tài): 開(kāi)源生態(tài):通過(guò)增強(qiáng)型跨源連接建立與其他VPC的網(wǎng)絡(luò)連接后,用戶可以在數(shù)據(jù)湖探索的租戶獨(dú)享隊(duì)列中訪問(wèn)所有Flink和Spark支持的數(shù)據(jù)源與輸出源,如Kafka、Hbase、ElasticSearch等。 數(shù)據(jù)湖探索應(yīng)用場(chǎng)景
MapReduce提供多種主流計(jì)算引擎:MapReduce(批處理)、Tez(DAG模型)、Spark(內(nèi)存計(jì)算)、SparkStreaming(微批流計(jì)算)、Storm(流計(jì)算)、Flink(流計(jì)算),滿足多種大數(shù)據(jù)應(yīng)用場(chǎng)景,將數(shù)據(jù)進(jìn)行結(jié)構(gòu)和邏輯的轉(zhuǎn)換,轉(zhuǎn)化成滿足業(yè)務(wù)目標(biāo)的數(shù)據(jù)模型。 基于預(yù)設(shè)的數(shù)據(jù)模型,使用
什么是函數(shù)工作流 什么是函數(shù)工作流 由淺入深,帶您認(rèn)識(shí)華為云函數(shù)工作流 FunctionGraph 由淺入深,帶您認(rèn)識(shí)華為云函數(shù)工作流 FunctionGraph 函數(shù)工作流 FunctionGraph 函數(shù)工作流(FunctionGraph),是一項(xiàng)基于事件驅(qū)動(dòng)的函數(shù)托管計(jì)算服
了快速獲取數(shù)據(jù)價(jià)值,需要對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)分析,DWS的快速入庫(kù)和查詢能力可支持實(shí)時(shí)數(shù)據(jù)分析 優(yōu)勢(shì) 流式數(shù)據(jù)實(shí)時(shí)入庫(kù):IoT、互聯(lián)網(wǎng)等數(shù)據(jù)經(jīng)過(guò)流計(jì)算及AI服務(wù)處理后,可實(shí)時(shí)寫入DWS。 實(shí)時(shí)監(jiān)控與預(yù)測(cè):圍繞數(shù)據(jù)進(jìn)行分析和預(yù)測(cè),對(duì)設(shè)備進(jìn)行監(jiān)控,對(duì)行為進(jìn)行預(yù)測(cè),實(shí)現(xiàn)控制和優(yōu)化。 AI融合
ERP軟件系統(tǒng) 八神ERP,是基于各行業(yè)特性,整合商流、物流、信息流和資金流,助力企業(yè)建立扁平化、平臺(tái)化的供應(yīng)鏈;建立以交易為核心、更智能的財(cái)務(wù)管理與服務(wù)體系。 八神ERP,是基于各行業(yè)特性,整合商流、物流、信息流和資金流,助力企業(yè)建立扁平化、平臺(tái)化的供應(yīng)鏈;建立以交易為核心、更智能的財(cái)務(wù)管理與服務(wù)體系。
Hudi服務(wù)介紹 MRS Hudi是一種數(shù)據(jù)湖的存儲(chǔ)格式,在Hadoop文件系統(tǒng)之上提供了更新數(shù)據(jù)和刪除數(shù)據(jù)的能力以及消費(fèi)變化數(shù)據(jù)的能力。支持多種計(jì)算引擎,提供IUD接口,在HDFS的數(shù)據(jù)集上提供了插入更新和增量拉取的流原語(yǔ)。 MRS Hudi是一種數(shù)據(jù)湖的存儲(chǔ)格式,在Hadoop文件系
展,能夠通過(guò)SQL語(yǔ)句、Spark作業(yè)或者Flink作業(yè)訪問(wèn)其他數(shù)據(jù)存儲(chǔ)服務(wù)并導(dǎo)入、查詢、分析處理其中的數(shù)據(jù),數(shù)據(jù)湖探索跨源連接的功能是打通數(shù)據(jù)源之間的網(wǎng)絡(luò)連接。 數(shù)據(jù)湖探索跨源連接的功能是打通數(shù)據(jù)源之間的網(wǎng)絡(luò)連接,目前DLI支持跨源連接訪問(wèn)的數(shù)據(jù)源包括:CloudTable HBase,CloudTable
數(shù)據(jù)湖批流一體是什么
如今隨著互聯(lián)網(wǎng)以及物聯(lián)網(wǎng)等技術(shù)的不斷發(fā)展,越來(lái)越多數(shù)據(jù)被生產(chǎn)出來(lái), 數(shù)據(jù)管理 工具也得到了飛速的發(fā)展,大數(shù)據(jù)相關(guān)概念如雨后春筍一般應(yīng)運(yùn)而生,如從 數(shù)據(jù)庫(kù) 、 數(shù)據(jù)倉(cāng)庫(kù) 、數(shù)據(jù)湖、湖倉(cāng)一體等。這些概念分別指的是什么,又有著怎樣的聯(lián)系,同時(shí),華為對(duì)應(yīng)的產(chǎn)品與方案又是什么呢?本文將一一進(jìn)行對(duì)比介紹。
什么是數(shù)據(jù)庫(kù)?
數(shù)據(jù)庫(kù)是“按照數(shù)據(jù)結(jié)構(gòu)來(lái)組織、存儲(chǔ)和管理數(shù)據(jù)的倉(cāng)庫(kù)”。
廣義上的數(shù)據(jù)庫(kù),在20世紀(jì)60年代已經(jīng)在計(jì)算機(jī)中應(yīng)用了。但這個(gè)階段的數(shù)據(jù)庫(kù)結(jié)構(gòu)主要是層次或網(wǎng)狀的,且數(shù)據(jù)和程序之間具備非常強(qiáng)的依賴性,應(yīng)用較為有限。
現(xiàn)在通常所說(shuō)的數(shù)據(jù)庫(kù)指的是關(guān)系型數(shù)據(jù)庫(kù)。關(guān)系數(shù)據(jù)庫(kù)是指采用了關(guān)系模型來(lái)組織數(shù)據(jù)的數(shù)據(jù)庫(kù),其以行和列的形式存儲(chǔ)數(shù)據(jù),具有結(jié)構(gòu)化程度高,獨(dú)立性強(qiáng),冗余度低等優(yōu)點(diǎn)。1970年關(guān)系型數(shù)據(jù)庫(kù)的誕生,真正徹底把軟件中的數(shù)據(jù)和程序分開(kāi)來(lái),成為主流計(jì)算機(jī)系統(tǒng)不可或缺的組成部分。關(guān)系型數(shù)據(jù)庫(kù)已經(jīng)成為目前 數(shù)據(jù)庫(kù)產(chǎn)品 中最重要的一員,幾乎所有的數(shù)據(jù)庫(kù)廠商新出的數(shù)據(jù)庫(kù)產(chǎn)品都支持關(guān)系型數(shù)據(jù)庫(kù),即使一些非關(guān)系數(shù)據(jù)庫(kù)產(chǎn)品也幾乎都有支持關(guān)系數(shù)據(jù)庫(kù)的接口。
關(guān)系型數(shù)據(jù)庫(kù)主要用于聯(lián)機(jī)事務(wù)處理OLTP(OnLine Transaction Processing),主要進(jìn)行基本的、日常的事務(wù)處理,例如銀行交易等場(chǎng)景。
什么是數(shù)據(jù)倉(cāng)庫(kù)?
隨著數(shù)據(jù)庫(kù)的大規(guī)模應(yīng)用,使信息行業(yè)的數(shù)據(jù)爆炸式地增長(zhǎng)。為了研究數(shù)據(jù)之間的關(guān)系,挖掘數(shù)據(jù)隱藏的價(jià)值,人們?cè)絹?lái)越多的需要使用聯(lián)機(jī)分析處理OLAP(On-Line Analytical Processing)進(jìn)行數(shù)據(jù)分析,探究一些深層次的關(guān)系和信息。但是不同的數(shù)據(jù)庫(kù)之間很難做到數(shù)據(jù)共享,數(shù)據(jù)之間的集成與分析也存在非常大的挑戰(zhàn)。
為解決企業(yè)的數(shù)據(jù)集成與分析問(wèn)題,數(shù)據(jù)倉(cāng)庫(kù)之父比爾·恩門于1990年提出數(shù)據(jù)倉(cāng)庫(kù)(Data Warehouse)。數(shù)據(jù)倉(cāng)庫(kù)主要功能是將OLTP經(jīng)年累月所累積的大量數(shù)據(jù),通過(guò)數(shù)據(jù)倉(cāng)庫(kù)特有的數(shù)據(jù)儲(chǔ)存架構(gòu)進(jìn)行OLAP,最終幫助決策者能快速有效地從大量數(shù)據(jù)中,分析出有價(jià)值的信息,提供決策支持。自從數(shù)據(jù)倉(cāng)庫(kù)出現(xiàn)之后,信息產(chǎn)業(yè)就開(kāi)始從以關(guān)系型數(shù)據(jù)庫(kù)為基礎(chǔ)的運(yùn)營(yíng)式系統(tǒng)慢慢向決策支持系統(tǒng)發(fā)展。
數(shù)據(jù)倉(cāng)庫(kù)相比數(shù)據(jù)庫(kù),主要有以下兩個(gè)特點(diǎn):
- 數(shù)據(jù)倉(cāng)庫(kù)是面向主題集成的。數(shù)據(jù)倉(cāng)庫(kù)是為了支撐各種業(yè)務(wù)而建立的,數(shù)據(jù)來(lái)自于分散的操作型數(shù)據(jù)。因此需要將所需數(shù)據(jù)從多個(gè)異構(gòu)的數(shù)據(jù)源中抽取出來(lái),進(jìn)行加工與集成,按照主題進(jìn)行重組,最終進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)。
- 數(shù)據(jù)倉(cāng)庫(kù)主要用于支撐企業(yè)決策分析,所涉及的數(shù)據(jù)操作主要是數(shù)據(jù)查詢。因此數(shù)據(jù)倉(cāng)庫(kù)通過(guò)表結(jié)構(gòu)優(yōu)化、存儲(chǔ)方式優(yōu)化等方式提高查詢速度、降低開(kāi)銷。
|
維度 |
數(shù)據(jù)倉(cāng)庫(kù) |
數(shù)據(jù)庫(kù) |
|---|---|---|
|
應(yīng)用場(chǎng)景 |
OLAP |
OLTP |
|
數(shù)據(jù)來(lái)源 |
多數(shù)據(jù)源 |
單數(shù)據(jù)源 |
|
數(shù)據(jù)標(biāo)準(zhǔn)化 |
非標(biāo)準(zhǔn)化Schema |
高度標(biāo)準(zhǔn)化的靜態(tài)Schema |
|
數(shù)據(jù)讀取優(yōu)勢(shì) |
針對(duì)讀操作進(jìn)行優(yōu)化 |
針對(duì)寫操作進(jìn)行優(yōu)化 |
什么是數(shù)據(jù)湖?
在企業(yè)內(nèi)部,數(shù)據(jù)是一類重要資產(chǎn)已經(jīng)成為了共識(shí)。隨著企業(yè)的持續(xù)發(fā)展,數(shù)據(jù)不斷堆積,企業(yè)希望把生產(chǎn)經(jīng)營(yíng)中的所有相關(guān)數(shù)據(jù)都完整保存下來(lái),進(jìn)行有效管理與集中治理,挖掘和探索數(shù)據(jù)價(jià)值。
數(shù)據(jù)湖就是在這種背景下產(chǎn)生的。數(shù)據(jù)湖是一個(gè)集中存儲(chǔ)各類結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的大型數(shù)據(jù)倉(cāng)庫(kù),它可以存儲(chǔ)來(lái)自多個(gè)數(shù)據(jù)源、多種數(shù)據(jù)類型的原始數(shù)據(jù),數(shù)據(jù)無(wú)需經(jīng)過(guò)結(jié)構(gòu)化處理,就可以進(jìn)行存取、處理、分析和傳輸。數(shù)據(jù)湖能幫助企業(yè)快速完成異構(gòu)數(shù)據(jù)源的聯(lián)邦分析、挖掘和探索數(shù)據(jù)價(jià)值。
- 數(shù)據(jù)存儲(chǔ)架構(gòu):要有足夠的擴(kuò)展性和可靠性,可以存儲(chǔ)海量的任意類型的數(shù)據(jù),包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。
- 數(shù)據(jù)處理工具,則分為兩大類:
- 第一類工具,聚焦如何把數(shù)據(jù)“搬到”湖里。包括定義數(shù)據(jù)源、制定數(shù)據(jù)同步策略、移動(dòng)數(shù)據(jù)、編制數(shù)據(jù)目錄等。
- 第二類工具,關(guān)注如何對(duì)湖中的數(shù)據(jù)進(jìn)行分析、挖掘、利用。數(shù)據(jù)湖需要具備完善的數(shù)據(jù)管理能力、多樣化的數(shù)據(jù)分析能力、全面的數(shù)據(jù)生命周期管理能力、安全的數(shù)據(jù)獲取和數(shù)據(jù)發(fā)布能力。如果沒(méi)有這些數(shù)據(jù)治理工具,元數(shù)據(jù)缺失,湖里的數(shù)據(jù)質(zhì)量就沒(méi)法保障,最終會(huì)由數(shù)據(jù)湖變質(zhì)為數(shù)據(jù)沼澤。
隨著大數(shù)據(jù)和AI的發(fā)展,數(shù)據(jù)湖中數(shù)據(jù)的價(jià)值逐漸水漲船高,價(jià)值被重新定義。數(shù)據(jù)湖能給企業(yè)帶來(lái)多種能力,例如實(shí)現(xiàn)數(shù)據(jù)的集中式管理,幫助企業(yè)構(gòu)建更多優(yōu)化后的運(yùn)營(yíng)模型,也能為企業(yè)提供其他能力,如預(yù)測(cè)分析、推薦模型等,這些模型能刺激企業(yè)能力的后續(xù)增長(zhǎng)。
對(duì)于數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)湖的不同之處,可以類比為倉(cāng)庫(kù)和湖泊的區(qū)別:倉(cāng)庫(kù)存儲(chǔ)著來(lái)自特定來(lái)源的貨物;而湖泊的水來(lái)自河流、溪流和其他來(lái)源,并且是原始數(shù)據(jù)。
|
維度 |
數(shù)據(jù)湖 |
數(shù)據(jù)倉(cāng)庫(kù) |
|---|---|---|
|
應(yīng)用場(chǎng)景 |
可以探索性分析所有類型的數(shù)據(jù),包括機(jī)器學(xué)習(xí)、數(shù)據(jù)發(fā)現(xiàn)、特征分析、預(yù)測(cè)等 |
通過(guò)歷史的結(jié)構(gòu)化數(shù)據(jù)進(jìn)行數(shù)據(jù)分析 |
|
使用成本 |
起步成本低,后期成本較高 |
起步成本高,后期成本較低 |
|
數(shù)據(jù)質(zhì)量 |
包含大量原始數(shù)據(jù),使用前需要清洗和標(biāo)準(zhǔn)化處理 |
質(zhì)量高,可作為事實(shí)依據(jù) |
|
適用對(duì)象 |
數(shù)據(jù)科學(xué)家、數(shù)據(jù)開(kāi)發(fā)人員為主 |
業(yè)務(wù)分析師為主 |
華為 智能數(shù)據(jù)湖 方案
華為數(shù)據(jù)使能服務(wù) DataArts Studio ,為大型政企客戶量身定制跨越孤立系統(tǒng)、感知業(yè)務(wù)的數(shù)據(jù)資源智能管理解決方案,實(shí)現(xiàn)全域數(shù)據(jù)入湖,幫助政企客戶從多角度、多層次、多粒度挖掘數(shù)據(jù)價(jià)值,實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)的數(shù)字化轉(zhuǎn)型。
DataArts Studio的核心主要是華為智能數(shù)據(jù)湖 FusionInsight ,包含數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)湖等各計(jì)算引擎和 數(shù)據(jù)治理中心 DataArts Studio平臺(tái),提供了數(shù)據(jù)使能的全套能力,支持?jǐn)?shù)據(jù)的采集、匯聚、計(jì)算、資產(chǎn)管理、數(shù)據(jù)開(kāi)放服務(wù)的全生命周期管理。
華為FusionInsight解決方案,對(duì)應(yīng)的各服務(wù)如下:
- 數(shù)據(jù)庫(kù):
- 關(guān)系型數(shù)據(jù)庫(kù)包括: 云數(shù)據(jù)庫(kù) RDS、云數(shù)據(jù)庫(kù) TaurusDB、云數(shù)據(jù)庫(kù) GaussDB 、云數(shù)據(jù)庫(kù) PostgreSQL 、云數(shù)據(jù)庫(kù) SQL Server等。
- 非關(guān)系型數(shù)據(jù)庫(kù)包括: 文檔數(shù)據(jù)庫(kù)服務(wù) DDS、云數(shù)據(jù)庫(kù) GeminiDB(兼容Influx、Redis、Mongo以及Cassandra多種協(xié)議)等。
- 數(shù)據(jù)倉(cāng)庫(kù):數(shù)據(jù)倉(cāng)庫(kù)服務(wù)DWS。
- 數(shù)據(jù)湖: 云原生 大數(shù)據(jù) MRS 、數(shù)據(jù)湖探索DLI等。
- 數(shù)據(jù)治理平臺(tái):數(shù)據(jù)治理中心DataArts Studio。
數(shù)據(jù)湖批流一體是什么常見(jiàn)問(wèn)題
更多常見(jiàn)問(wèn)題 >>-
數(shù)據(jù)湖探索(Data Lake Insight,簡(jiǎn)稱DLI)是完全兼容Apache Spark和Apache Flink生態(tài), 實(shí)現(xiàn)批流一體的Serverless大數(shù)據(jù)計(jì)算分析服務(wù)。DLI支持多模引擎,企業(yè)僅需使用SQL或程序就可輕松完成異構(gòu)數(shù)據(jù)源的批處理、流處理等,挖掘和探索數(shù)據(jù)價(jià)值。
-
數(shù)據(jù)湖探索DLI用戶可以通過(guò)可視化界面、Restful API、JDBC、ODBC、Beeline等多種接入方式對(duì)云上CloudTable、RDS和DWS等異構(gòu)數(shù)據(jù)源進(jìn)行查詢分析,數(shù)據(jù)格式兼容CSV、JSON、Parquet、Carbon和ORC五種主流數(shù)據(jù)格式。
-
智能數(shù)據(jù)湖運(yùn)營(yíng)平臺(tái)(DAYU)是數(shù)據(jù)全生命周期一站式開(kāi)發(fā)運(yùn)營(yíng)平臺(tái),提供數(shù)據(jù)集成、數(shù)據(jù)開(kāi)發(fā)、數(shù)據(jù)治理、數(shù)據(jù)服務(wù)等功能,支持行業(yè)知識(shí)庫(kù)智能化建設(shè),支持大數(shù)據(jù)存儲(chǔ)、大數(shù)據(jù)計(jì)算分析引擎等數(shù)據(jù)底座,幫助企業(yè)客戶快速構(gòu)建數(shù)據(jù)運(yùn)營(yíng)能力。
-
數(shù)據(jù)湖探索的計(jì)費(fèi)包括存儲(chǔ)計(jì)費(fèi)和計(jì)算計(jì)費(fèi)。數(shù)據(jù)湖探索的計(jì)費(fèi)詳情及樣例,請(qǐng)參見(jiàn)以下說(shuō)明。數(shù)據(jù)湖探索服務(wù)目前支持三種作業(yè):SQL作業(yè),F(xiàn)link作業(yè)和Spark作業(yè)。 SQL作業(yè)的計(jì)費(fèi)包括存儲(chǔ)計(jì)費(fèi)和計(jì)算計(jì)費(fèi),其中計(jì)算計(jì)費(fèi)包括包年包月計(jì)費(fèi)和按需計(jì)費(fèi)兩種。 包年包月計(jì)費(fèi)根據(jù)購(gòu)買周期進(jìn)行扣費(fèi),推薦使用包年包月模式,價(jià)格優(yōu)惠且在周期內(nèi)獨(dú)享計(jì)算資源。
-
數(shù)據(jù)湖探索(Data Lake Insight,簡(jiǎn)稱DLI)是完全兼容Apache Spark和Apache Flink生態(tài), 實(shí)現(xiàn)批流一體的Serverless大數(shù)據(jù)計(jì)算分析服務(wù)。DLI支持多模引擎,企業(yè)僅需使用SQL或程序就可輕松完成異構(gòu)數(shù)據(jù)源的批處理、流處理等,挖掘和探索數(shù)據(jù)價(jià)值
-
DAYU智能數(shù)據(jù)湖運(yùn)營(yíng)平臺(tái)采用基礎(chǔ)包+增量包的計(jì)費(fèi)模式。基礎(chǔ)包按包年、包月計(jì)費(fèi);增量包分為批量數(shù)據(jù)遷移和實(shí)時(shí)數(shù)據(jù)接入兩類,均采用按需和套餐包的計(jì)費(fèi)模式。
更多相關(guān)專題
- 熱門產(chǎn)品
- 大模型即服務(wù)平臺(tái) MaaS
- Flexus云服務(wù)
- 云服務(wù)器
- 盤古大模型
- SSL證書
- 華為云WeLink
- 實(shí)用工具
- 文字識(shí)別
- 漏洞掃描
- 華為云會(huì)議
- 云服務(wù)健康看板
增值電信業(yè)務(wù)經(jīng)營(yíng)許可證:B1.B2-20200593 | 域名注冊(cè)服務(wù)機(jī)構(gòu)許可:黔D3-20230001 | 代理域名注冊(cè)服務(wù)機(jī)構(gòu):新網(wǎng)、西數(shù)