五月婷婷丁香性爱|j久久一级免费片|久久美女福利视频|中文观看在线观看|加勒比四区三区二|亚洲裸女视频网站|超碰97AV在线69网站免费观看|有码在线免费视频|久久青青日本视频|亚洲国产AAAA

[快速入門]數(shù)據(jù)湖批流一體是什么
數(shù)據(jù)倉(cāng)庫(kù)服務(wù) DWS

復(fù)雜SQL實(shí)時(shí)查詢,10+表格聯(lián)合運(yùn)算,秒級(jí)返回結(jié)果 實(shí)時(shí)入倉(cāng)融合60萬(wàn)/秒/節(jié)點(diǎn),T+0完成數(shù)據(jù)分析 多源數(shù)據(jù)融合,一站式統(tǒng)一平臺(tái),助力非傳統(tǒng)數(shù)倉(cāng)工程師便捷使用數(shù)據(jù) 多應(yīng)用場(chǎng)景全覆蓋,打造大數(shù)據(jù)時(shí)代新型數(shù)據(jù)倉(cāng)庫(kù) 傳統(tǒng)數(shù)倉(cāng)替換 一站式BI解決方案 數(shù)據(jù)湖分析 實(shí)時(shí)數(shù)據(jù)分析 傳統(tǒng)數(shù)倉(cāng)替換 傳統(tǒng)數(shù)倉(cāng)替換

智能數(shù)據(jù)湖_FusionInsight_數(shù)據(jù)湖應(yīng)用場(chǎng)景_大數(shù)據(jù)-華為云

FusionInsight全景圖 類別 場(chǎng)景 服務(wù) 優(yōu)勢(shì) 多元分析 一站式大數(shù)據(jù)平臺(tái) 云原生數(shù)據(jù)湖 MRS 全球累計(jì)交付30萬(wàn)+節(jié)點(diǎn),30%性價(jià)比提升 全托管大數(shù)據(jù)服務(wù) 數(shù)據(jù)湖探索 DLI 、、交互式一體,AIl in SQL,秒級(jí)擴(kuò)縮容 數(shù)據(jù)倉(cāng)庫(kù) 云數(shù)據(jù)倉(cāng)庫(kù) GaussDB(DWS)

MapReduce服務(wù)入門

程序和數(shù)據(jù)到HDFS。 購(gòu)買集群 進(jìn)入MapReduce管理控制臺(tái),單擊“購(gòu)買集群”并配置相關(guān)參數(shù)。用戶可以指定集群類型用于離線數(shù)據(jù)分析和處理任務(wù),指定集群中預(yù)置的彈性云服務(wù)器實(shí)例規(guī)格、實(shí)例數(shù)量、數(shù)據(jù)盤類型、要安裝的組件。 提交作業(yè) 您可以通過(guò)MRS控制臺(tái)界面提交作業(yè),也可以通過(guò)MRS集群節(jié)點(diǎn)使用命令提交作業(yè)。

數(shù)據(jù)倉(cāng)庫(kù)服務(wù)應(yīng)用場(chǎng)景_數(shù)據(jù)倉(cāng)庫(kù)服務(wù)客戶案例_GaussDB(DWS)

建議搭配使用 數(shù)據(jù)湖探索 DLI MapReduce服務(wù) 數(shù)據(jù)湖治理中心 DGC 實(shí)時(shí)數(shù)據(jù)分析 移動(dòng)互聯(lián)網(wǎng)、IoT場(chǎng)景下會(huì)產(chǎn)生大量實(shí)時(shí)數(shù)據(jù),為了快速獲取數(shù)據(jù)價(jià)值,需要對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)分析,DWS的快速入庫(kù)和查詢能力可支持實(shí)時(shí)數(shù)據(jù)分析 優(yōu)勢(shì) 流式數(shù)據(jù)實(shí)時(shí)入庫(kù) IoT、互聯(lián)網(wǎng)等數(shù)據(jù)經(jīng)過(guò)計(jì)算及AI服務(wù)處理后,可實(shí)時(shí)寫入DWS

華為云Astro大屏應(yīng)用

統(tǒng)一開(kāi)發(fā)者體驗(yàn) 通過(guò)對(duì)零碼、低碼、流程、大屏、高低碼結(jié)合等場(chǎng)景覆蓋,統(tǒng)一開(kāi)發(fā)者體驗(yàn) 華為云Astro工作 快速構(gòu)建工作應(yīng)用 滿足企業(yè)中人財(cái)事物的調(diào)、轉(zhuǎn)、入、離、審、評(píng)、等任務(wù)的數(shù)智化需求 場(chǎng)景詳情 華為云Astro大屏應(yīng)用 快速搭建大屏應(yīng)用 滿足運(yùn)營(yíng),業(yè)務(wù)監(jiān)控,風(fēng)險(xiǎn)預(yù)警等多

MapReduce服務(wù)

之旅 開(kāi)始使用 您可能感興趣的產(chǎn)品 您可能感興趣的產(chǎn)品 數(shù)據(jù)治理中心 DataArts Studio 一站式數(shù)據(jù)開(kāi)發(fā)與治理平臺(tái) 數(shù)據(jù)湖探索 DLI 處理、批處理的融合處理分析服務(wù) 數(shù)據(jù)可視化 DLV 提供可視化組件定制和應(yīng)用數(shù)據(jù)大屏

實(shí)時(shí)流計(jì)算服務(wù)

入自定義工作中 提供多種圖表類型實(shí)時(shí)展示作業(yè)數(shù)據(jù)輸出,用戶可以通過(guò)API網(wǎng)關(guān)服務(wù)自由訪問(wèn)作業(yè)數(shù)據(jù),接入自定義工作中 應(yīng)用場(chǎng)景 實(shí)時(shí)分析場(chǎng)景 物聯(lián)網(wǎng)IoT場(chǎng)景 實(shí)時(shí)分析場(chǎng)景 提供易用、低時(shí)延、高吞吐的實(shí)時(shí)分析服務(wù)。支持Stream SQL和用戶自定義作業(yè)做分析 優(yōu)勢(shì) 易用

數(shù)據(jù)治理中心

合能源等新興業(yè)務(wù)發(fā)展。 華為云助力山東黃金建立國(guó)際一礦山運(yùn)營(yíng)模式 華為云助力山東黃金實(shí)現(xiàn)勘探、化驗(yàn)、地測(cè)采選、產(chǎn)供銷等全鏈路數(shù)據(jù)采集,為礦山的安全生產(chǎn)、經(jīng)營(yíng)管理提供實(shí)時(shí)、精準(zhǔn)的數(shù)據(jù)支撐,建設(shè)基于智能決策和遠(yuǎn)程集中控制的國(guó)際一礦山運(yùn)營(yíng)模式。 華為云助力深圳機(jī)場(chǎng)集團(tuán)“智慧機(jī)場(chǎng)”數(shù)字化轉(zhuǎn)型

數(shù)據(jù)接入服務(wù) DIS

DIS提供百萬(wàn)連接并發(fā),單數(shù)據(jù)最高支持每日TB級(jí)別的數(shù)據(jù)量寫入,每個(gè)分區(qū)(partition)支持最高每日百GB級(jí)別的寫入量 DIS提供百萬(wàn)連接并發(fā),單數(shù)據(jù)最高支持每日TB級(jí)別的數(shù)據(jù)量寫入,每個(gè)分區(qū)(partition)支持最高每日百GB級(jí)別的寫入量 每個(gè)數(shù)據(jù)的吞吐能力可以通過(guò)動(dòng)態(tài)增加partition進(jìn)行擴(kuò)展

[相關(guān)產(chǎn)品]數(shù)據(jù)湖批流一體是什么
華為云智能數(shù)據(jù)培訓(xùn)服務(wù)

批處理、實(shí)時(shí)檢索、實(shí)時(shí)處理、合一計(jì)算平臺(tái)等。規(guī)格:培訓(xùn)時(shí)長(zhǎng)5天,每班最大人數(shù)20人  產(chǎn)品技術(shù)培訓(xùn)1.華為云數(shù)據(jù)治理高級(jí)工程師培訓(xùn)面向需要了解數(shù)據(jù)治理理論,使用華為數(shù)據(jù)湖治理中心 DGC進(jìn)行數(shù)據(jù)治理、建模及集成的工程師。課程內(nèi)容:深入講解華為云數(shù)據(jù)湖治理中心 DGC產(chǎn)品知識(shí)

Apache Hudi

Apache Hudi是下一代數(shù)據(jù)湖平臺(tái),它直接在數(shù)據(jù)湖中引入了核心的倉(cāng)庫(kù)和數(shù)據(jù)庫(kù)功能。Hudi提供了兩種原語(yǔ),使得除了經(jīng)典的批處理之外,還可以在數(shù)據(jù)湖上進(jìn)行處理。Apache Hudi,也被發(fā)音為“hoodie”,是下一代數(shù)據(jù)湖平臺(tái)。它直接在數(shù)據(jù)湖中引入了核心的倉(cāng)庫(kù)和數(shù)據(jù)庫(kù)功

Pulsar分布式消息流平臺(tái)

Pulsar是Apache軟件基金會(huì)的頂級(jí)項(xiàng)目,也是下一代云原生分布式消息平臺(tái)。它集消息、存儲(chǔ)、輕量化函數(shù)式計(jì)算為一體,采用計(jì)算與存儲(chǔ)分離架構(gòu)設(shè)計(jì)。Pulsar的主要特性包括:①支持多種消息模型:Pulsar提供了靈活的消息模型和直觀的客戶端API,支持發(fā)布-訂閱模式和點(diǎn)對(duì)點(diǎn)模

數(shù)元靈湖倉(cāng)數(shù)據(jù)智能中臺(tái)LakeInsight

同空間的數(shù)據(jù)互相隔離,保障企業(yè)數(shù)據(jù)安全。6. 單點(diǎn)登錄。支持多種企業(yè)內(nèi)部單點(diǎn)登錄系統(tǒng)對(duì)接。  數(shù)據(jù)資產(chǎn)底座,實(shí)時(shí)數(shù)據(jù)中臺(tái),數(shù)智一體化,湖倉(cāng)一體,一體

天冕數(shù)據(jù)中臺(tái)

發(fā):無(wú)侵入的實(shí)現(xiàn)實(shí)時(shí)數(shù)倉(cāng)。2.     數(shù)據(jù)開(kāi)發(fā)平臺(tái)數(shù)據(jù)開(kāi)發(fā)平臺(tái)用于大數(shù)據(jù)開(kāi)發(fā)的IDE套件;滿足用戶對(duì)于變量開(kāi)發(fā)、任務(wù)調(diào)度、運(yùn)維監(jiān)控以及一體等需求。該平臺(tái)以豐富的算法組件,實(shí)現(xiàn)拖、拉、拽式的開(kāi)發(fā)模式,以全圖形化的運(yùn)維界面,降低數(shù)據(jù)開(kāi)發(fā)、數(shù)據(jù)挖掘以及數(shù)據(jù)運(yùn)維環(huán)節(jié)對(duì)于使用者技術(shù)能

易流運(yùn)輸管理系統(tǒng)

E-TMS,以“互聯(lián)網(wǎng)+”模式重構(gòu)物流運(yùn)輸業(yè)務(wù),助力企業(yè)打造端到端透明的物流業(yè)務(wù)體系;基于大數(shù)據(jù)分析賦能,提升運(yùn)輸管理、路徑優(yōu)化等能力,實(shí)現(xiàn)高效協(xié)同過(guò)程可視、智能優(yōu)化。易E-TMS是易科技在物流透明管理實(shí)踐15年,戰(zhàn)略全面轉(zhuǎn)型為“供應(yīng)鏈物流行業(yè)數(shù)字化(IoT)基礎(chǔ)設(shè)施”,

Elsbiz企業(yè)管理云平臺(tái)

地連接起來(lái),從而為企業(yè)提供一套完善的供應(yīng)鏈解決方案,實(shí)現(xiàn)企業(yè)間產(chǎn)銷供、業(yè)務(wù)與財(cái)務(wù)稅務(wù)的一體化運(yùn)作。其社會(huì)化協(xié)作功能可確保上下游企業(yè),包括供應(yīng)商、制造商和分銷商之間的商業(yè)、物流、信息和資金整體運(yùn)作。通過(guò)開(kāi)放性的生態(tài)服務(wù),供應(yīng)鏈能提供更全面的供應(yīng)鏈服務(wù),幫助企業(yè)提升供應(yīng)鏈管理能

LDC精益數(shù)字云-任務(wù)管理系統(tǒng)

數(shù)據(jù)‘主動(dòng)溝通’能力,資源協(xié)同、變更管理、過(guò)程審批7.項(xiàng)目進(jìn)度可視化 - 隨時(shí)隨地管理項(xiàng)目進(jìn)度8.過(guò)程數(shù)據(jù)分析 - 多維度數(shù)據(jù)統(tǒng)計(jì)分析,配置型管理看板對(duì)全局把控,業(yè)數(shù)一體反哺企業(yè)業(yè)務(wù)shiyo那個(gè)   全方位、多維度看板查看,助力數(shù)據(jù)分析,透視數(shù)據(jù)價(jià)值,可直接在甘特圖中拖拽實(shí)現(xiàn)任務(wù)創(chuàng)建,直觀化、可視化進(jìn)行任務(wù)周期調(diào)整、綁定關(guān)聯(lián)關(guān)系

G7易流運(yùn)輸管理系統(tǒng)

G7易E-TMS,以“互聯(lián)網(wǎng)+”模式重構(gòu)物流運(yùn)輸業(yè)務(wù),助力企業(yè)打造端到端透明的物流業(yè)務(wù)體系;基于大數(shù)據(jù)分析賦能,提升運(yùn)輸管理、路徑優(yōu)化等能力,實(shí)現(xiàn)高效協(xié)同過(guò)程可視、智能優(yōu)化。G7易E-TMS是易科技在物流透明管理實(shí)踐15年,戰(zhàn)略全面轉(zhuǎn)型為“供應(yīng)鏈物流行業(yè)數(shù)字化(IoT)基礎(chǔ)

[相似文章]數(shù)據(jù)湖批流一體是什么
央國(guó)企15大行業(yè)場(chǎng)景化解決方案_政企深度用云_華為云Stack

數(shù)據(jù)鏈路實(shí)時(shí)性提升至10分鐘,支撐實(shí)時(shí)線損分析、有序用電、負(fù)荷預(yù)測(cè)等 電力計(jì)量大數(shù)據(jù) 實(shí)時(shí)數(shù)據(jù)湖,千萬(wàn)級(jí)終端采集頻率提升到分鐘級(jí) 實(shí)時(shí)數(shù)據(jù)湖,千萬(wàn)級(jí)終端采集頻率提升到分鐘級(jí) 電網(wǎng)營(yíng)銷2.0 一體計(jì)算,數(shù)據(jù)讀寫性能提升8倍,電費(fèi)測(cè)算提效20倍 一體計(jì)算,數(shù)據(jù)讀寫性能提升8倍,電費(fèi)測(cè)算提效20倍 油氣 油氣云

大數(shù)據(jù)分析是什么_使用MapReduce_創(chuàng)建MRS服務(wù)

MRS提供多種主流計(jì)算引擎:MapReduce(批處理)、Tez(DAG模型)、Spark(內(nèi)存計(jì)算)、SparkStreaming(微計(jì)算)、Storm(計(jì)算)、Flink(計(jì)算),滿足多種大數(shù)據(jù)應(yīng)用場(chǎng)景,將數(shù)據(jù)進(jìn)行結(jié)構(gòu)和邏輯的轉(zhuǎn)換,轉(zhuǎn)化成滿足業(yè)務(wù)目標(biāo)的數(shù)據(jù)模型。 數(shù)據(jù)呈現(xiàn)調(diào)度 用于數(shù)據(jù)分

什么是數(shù)據(jù)湖探索服務(wù)_數(shù)據(jù)湖探索DLI用途與特點(diǎn)

豐富的生態(tài)圈。數(shù)據(jù)湖探索的生態(tài)分為云服務(wù)生態(tài)和開(kāi)源生態(tài): 開(kāi)源生態(tài):通過(guò)增強(qiáng)型跨源連接建立與其他VPC的網(wǎng)絡(luò)連接后,用戶可以在數(shù)據(jù)湖探索的租戶獨(dú)享隊(duì)列中訪問(wèn)所有Flink和Spark支持的數(shù)據(jù)源與輸出源,如Kafka、Hbase、ElasticSearch等。 數(shù)據(jù)湖探索應(yīng)用場(chǎng)景

MapReduce工作原理_MapReduce是什么意思_MapReduce流程_MRS_華為云

MapReduce提供多種主流計(jì)算引擎:MapReduce(批處理)、Tez(DAG模型)、Spark(內(nèi)存計(jì)算)、SparkStreaming(微計(jì)算)、Storm(計(jì)算)、Flink(計(jì)算),滿足多種大數(shù)據(jù)應(yīng)用場(chǎng)景,將數(shù)據(jù)進(jìn)行結(jié)構(gòu)和邏輯的轉(zhuǎn)換,轉(zhuǎn)化成滿足業(yè)務(wù)目標(biāo)的數(shù)據(jù)模型。 基于預(yù)設(shè)的數(shù)據(jù)模型,使用

什么是函數(shù)工作流_functiongraph是什么_函數(shù)工作流服務(wù)

什么是函數(shù)工作 什么是函數(shù)工作 由淺入深,帶您認(rèn)識(shí)華為云函數(shù)工作 FunctionGraph 由淺入深,帶您認(rèn)識(shí)華為云函數(shù)工作 FunctionGraph 函數(shù)工作 FunctionGraph 函數(shù)工作(FunctionGraph),是一項(xiàng)基于事件驅(qū)動(dòng)的函數(shù)托管計(jì)算服

DWS產(chǎn)品介紹_DWS產(chǎn)品優(yōu)勢(shì)_DWS功能_DWS使用場(chǎng)景_DWS是什么

了快速獲取數(shù)據(jù)價(jià)值,需要對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)分析,DWS的快速入庫(kù)和查詢能力可支持實(shí)時(shí)數(shù)據(jù)分析 優(yōu)勢(shì) 流式數(shù)據(jù)實(shí)時(shí)入庫(kù):IoT、互聯(lián)網(wǎng)等數(shù)據(jù)經(jīng)過(guò)計(jì)算及AI服務(wù)處理后,可實(shí)時(shí)寫入DWS。 實(shí)時(shí)監(jiān)控與預(yù)測(cè):圍繞數(shù)據(jù)進(jìn)行分析和預(yù)測(cè),對(duì)設(shè)備進(jìn)行監(jiān)控,對(duì)行為進(jìn)行預(yù)測(cè),實(shí)現(xiàn)控制和優(yōu)化。 AI融合

ERP軟件系統(tǒng)_ERP系統(tǒng)運(yùn)維_供應(yīng)鏈ERP

ERP軟件系統(tǒng) 八神ERP,是基于各行業(yè)特性,整合商流、物流、信息和資金,助力企業(yè)建立扁平化、平臺(tái)化的供應(yīng)鏈;建立以交易為核心、更智能的財(cái)務(wù)管理與服務(wù)體系。 八神ERP,是基于各行業(yè)特性,整合商流、物流、信息和資金,助力企業(yè)建立扁平化、平臺(tái)化的供應(yīng)鏈;建立以交易為核心、更智能的財(cái)務(wù)管理與服務(wù)體系。

Hudi服務(wù)_什么是Hudi_如何使用Hudi

Hudi服務(wù)介紹 MRS Hudi是一種數(shù)據(jù)湖的存儲(chǔ)格式,在Hadoop文件系統(tǒng)之上提供了更新數(shù)據(jù)和刪除數(shù)據(jù)的能力以及消費(fèi)變化數(shù)據(jù)的能力。支持多種計(jì)算引擎,提供IUD接口,在HDFS的數(shù)據(jù)集上提供了插入更新和增量拉取的原語(yǔ)。 MRS Hudi是一種數(shù)據(jù)湖的存儲(chǔ)格式,在Hadoop文件系

什么是跨源連接-數(shù)據(jù)湖探索DLI跨源連接

展,能夠通過(guò)SQL語(yǔ)句、Spark作業(yè)或者Flink作業(yè)訪問(wèn)其他數(shù)據(jù)存儲(chǔ)服務(wù)并導(dǎo)入、查詢、分析處理其中的數(shù)據(jù),數(shù)據(jù)湖探索跨源連接的功能是打通數(shù)據(jù)源之間的網(wǎng)絡(luò)連接。 數(shù)據(jù)湖探索跨源連接的功能是打通數(shù)據(jù)源之間的網(wǎng)絡(luò)連接,目前DLI支持跨源連接訪問(wèn)的數(shù)據(jù)源包括:CloudTable HBase,CloudTable

數(shù)據(jù)湖批流一體是什么

如今隨著互聯(lián)網(wǎng)以及物聯(lián)網(wǎng)等技術(shù)的不斷發(fā)展,越來(lái)越多數(shù)據(jù)被生產(chǎn)出來(lái), 數(shù)據(jù)管理 工具也得到了飛速的發(fā)展,大數(shù)據(jù)相關(guān)概念如雨后春筍一般應(yīng)運(yùn)而生,如從 數(shù)據(jù)庫(kù) 數(shù)據(jù)倉(cāng)庫(kù) 、數(shù)據(jù)湖、湖倉(cāng)一體等。這些概念分別指的是什么,又有著怎樣的聯(lián)系,同時(shí),華為對(duì)應(yīng)的產(chǎn)品與方案又是什么呢?本文將一一進(jìn)行對(duì)比介紹。

什么是數(shù)據(jù)庫(kù)?

數(shù)據(jù)庫(kù)是“按照數(shù)據(jù)結(jié)構(gòu)來(lái)組織、存儲(chǔ)和管理數(shù)據(jù)的倉(cāng)庫(kù)”。

廣義上的數(shù)據(jù)庫(kù),在20世紀(jì)60年代已經(jīng)在計(jì)算機(jī)中應(yīng)用了。但這個(gè)階段的數(shù)據(jù)庫(kù)結(jié)構(gòu)主要是層次或網(wǎng)狀的,且數(shù)據(jù)和程序之間具備非常強(qiáng)的依賴性,應(yīng)用較為有限。

現(xiàn)在通常所說(shuō)的數(shù)據(jù)庫(kù)指的是關(guān)系型數(shù)據(jù)庫(kù)。關(guān)系數(shù)據(jù)庫(kù)是指采用了關(guān)系模型來(lái)組織數(shù)據(jù)的數(shù)據(jù)庫(kù),其以行和列的形式存儲(chǔ)數(shù)據(jù),具有結(jié)構(gòu)化程度高,獨(dú)立性強(qiáng),冗余度低等優(yōu)點(diǎn)。1970年關(guān)系型數(shù)據(jù)庫(kù)的誕生,真正徹底把軟件中的數(shù)據(jù)和程序分開(kāi)來(lái),成為主流計(jì)算機(jī)系統(tǒng)不可或缺的組成部分。關(guān)系型數(shù)據(jù)庫(kù)已經(jīng)成為目前 數(shù)據(jù)庫(kù)產(chǎn)品 中最重要的一員,幾乎所有的數(shù)據(jù)庫(kù)廠商新出的數(shù)據(jù)庫(kù)產(chǎn)品都支持關(guān)系型數(shù)據(jù)庫(kù),即使一些非關(guān)系數(shù)據(jù)庫(kù)產(chǎn)品也幾乎都有支持關(guān)系數(shù)據(jù)庫(kù)的接口。

關(guān)系型數(shù)據(jù)庫(kù)主要用于聯(lián)機(jī)事務(wù)處理OLTP(OnLine Transaction Processing),主要進(jìn)行基本的、日常的事務(wù)處理,例如銀行交易等場(chǎng)景。

什么是數(shù)據(jù)倉(cāng)庫(kù)?

隨著數(shù)據(jù)庫(kù)的大規(guī)模應(yīng)用,使信息行業(yè)的數(shù)據(jù)爆炸式地增長(zhǎng)。為了研究數(shù)據(jù)之間的關(guān)系,挖掘數(shù)據(jù)隱藏的價(jià)值,人們?cè)絹?lái)越多的需要使用聯(lián)機(jī)分析處理OLAP(On-Line Analytical Processing)進(jìn)行數(shù)據(jù)分析,探究一些深層次的關(guān)系和信息。但是不同的數(shù)據(jù)庫(kù)之間很難做到數(shù)據(jù)共享,數(shù)據(jù)之間的集成與分析也存在非常大的挑戰(zhàn)。

為解決企業(yè)的數(shù)據(jù)集成與分析問(wèn)題,數(shù)據(jù)倉(cāng)庫(kù)之父比爾·恩門于1990年提出數(shù)據(jù)倉(cāng)庫(kù)(Data Warehouse)。數(shù)據(jù)倉(cāng)庫(kù)主要功能是將OLTP經(jīng)年累月所累積的大量數(shù)據(jù),通過(guò)數(shù)據(jù)倉(cāng)庫(kù)特有的數(shù)據(jù)儲(chǔ)存架構(gòu)進(jìn)行OLAP,最終幫助決策者能快速有效地從大量數(shù)據(jù)中,分析出有價(jià)值的信息,提供決策支持。自從數(shù)據(jù)倉(cāng)庫(kù)出現(xiàn)之后,信息產(chǎn)業(yè)就開(kāi)始從以關(guān)系型數(shù)據(jù)庫(kù)為基礎(chǔ)的運(yùn)營(yíng)式系統(tǒng)慢慢向決策支持系統(tǒng)發(fā)展。

數(shù)據(jù)倉(cāng)庫(kù)相比數(shù)據(jù)庫(kù),主要有以下兩個(gè)特點(diǎn):

  • 數(shù)據(jù)倉(cāng)庫(kù)是面向主題集成的。數(shù)據(jù)倉(cāng)庫(kù)是為了支撐各種業(yè)務(wù)而建立的,數(shù)據(jù)來(lái)自于分散的操作型數(shù)據(jù)。因此需要將所需數(shù)據(jù)從多個(gè)異構(gòu)的數(shù)據(jù)源中抽取出來(lái),進(jìn)行加工與集成,按照主題進(jìn)行重組,最終進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)。
  • 數(shù)據(jù)倉(cāng)庫(kù)主要用于支撐企業(yè)決策分析,所涉及的數(shù)據(jù)操作主要是數(shù)據(jù)查詢。因此數(shù)據(jù)倉(cāng)庫(kù)通過(guò)表結(jié)構(gòu)優(yōu)化、存儲(chǔ)方式優(yōu)化等方式提高查詢速度、降低開(kāi)銷。
表1 數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)庫(kù)的對(duì)比

維度

數(shù)據(jù)倉(cāng)庫(kù)

數(shù)據(jù)庫(kù)

應(yīng)用場(chǎng)景

OLAP

OLTP

數(shù)據(jù)來(lái)源

多數(shù)據(jù)源

單數(shù)據(jù)源

數(shù)據(jù)標(biāo)準(zhǔn)化

非標(biāo)準(zhǔn)化Schema

高度標(biāo)準(zhǔn)化的靜態(tài)Schema

數(shù)據(jù)讀取優(yōu)勢(shì)

針對(duì)讀操作進(jìn)行優(yōu)化

針對(duì)寫操作進(jìn)行優(yōu)化

什么是數(shù)據(jù)湖?

在企業(yè)內(nèi)部,數(shù)據(jù)是一類重要資產(chǎn)已經(jīng)成為了共識(shí)。隨著企業(yè)的持續(xù)發(fā)展,數(shù)據(jù)不斷堆積,企業(yè)希望把生產(chǎn)經(jīng)營(yíng)中的所有相關(guān)數(shù)據(jù)都完整保存下來(lái),進(jìn)行有效管理與集中治理,挖掘和探索數(shù)據(jù)價(jià)值。

數(shù)據(jù)湖就是在這種背景下產(chǎn)生的。數(shù)據(jù)湖是一個(gè)集中存儲(chǔ)各類結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的大型數(shù)據(jù)倉(cāng)庫(kù),它可以存儲(chǔ)來(lái)自多個(gè)數(shù)據(jù)源、多種數(shù)據(jù)類型的原始數(shù)據(jù),數(shù)據(jù)無(wú)需經(jīng)過(guò)結(jié)構(gòu)化處理,就可以進(jìn)行存取、處理、分析和傳輸。數(shù)據(jù)湖能幫助企業(yè)快速完成異構(gòu)數(shù)據(jù)源的聯(lián)邦分析、挖掘和探索數(shù)據(jù)價(jià)值。

數(shù)據(jù)湖的本質(zhì),是由“數(shù)據(jù)存儲(chǔ)架構(gòu)+數(shù)據(jù)處理工具”組成的解決方案。
  • 數(shù)據(jù)存儲(chǔ)架構(gòu):要有足夠的擴(kuò)展性和可靠性,可以存儲(chǔ)海量的任意類型的數(shù)據(jù),包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。
  • 數(shù)據(jù)處理工具,則分為兩大類:
    • 第一類工具,聚焦如何把數(shù)據(jù)“搬到”湖里。包括定義數(shù)據(jù)源、制定數(shù)據(jù)同步策略、移動(dòng)數(shù)據(jù)、編制數(shù)據(jù)目錄等。
    • 第二類工具,關(guān)注如何對(duì)湖中的數(shù)據(jù)進(jìn)行分析、挖掘、利用。數(shù)據(jù)湖需要具備完善的數(shù)據(jù)管理能力、多樣化的數(shù)據(jù)分析能力、全面的數(shù)據(jù)生命周期管理能力、安全的數(shù)據(jù)獲取和數(shù)據(jù)發(fā)布能力。如果沒(méi)有這些數(shù)據(jù)治理工具,元數(shù)據(jù)缺失,湖里的數(shù)據(jù)質(zhì)量就沒(méi)法保障,最終會(huì)由數(shù)據(jù)湖變質(zhì)為數(shù)據(jù)沼澤。

隨著大數(shù)據(jù)和AI的發(fā)展,數(shù)據(jù)湖中數(shù)據(jù)的價(jià)值逐漸水漲船高,價(jià)值被重新定義。數(shù)據(jù)湖能給企業(yè)帶來(lái)多種能力,例如實(shí)現(xiàn)數(shù)據(jù)的集中式管理,幫助企業(yè)構(gòu)建更多優(yōu)化后的運(yùn)營(yíng)模型,也能為企業(yè)提供其他能力,如預(yù)測(cè)分析、推薦模型等,這些模型能刺激企業(yè)能力的后續(xù)增長(zhǎng)。

對(duì)于數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)湖的不同之處,可以類比為倉(cāng)庫(kù)和湖泊的區(qū)別:倉(cāng)庫(kù)存儲(chǔ)著來(lái)自特定來(lái)源的貨物;而湖泊的水來(lái)自河流、溪流和其他來(lái)源,并且是原始數(shù)據(jù)。

表2 數(shù)據(jù)湖與數(shù)據(jù)倉(cāng)庫(kù)的對(duì)比

維度

數(shù)據(jù)湖

數(shù)據(jù)倉(cāng)庫(kù)

應(yīng)用場(chǎng)景

可以探索性分析所有類型的數(shù)據(jù),包括機(jī)器學(xué)習(xí)、數(shù)據(jù)發(fā)現(xiàn)、特征分析、預(yù)測(cè)等

通過(guò)歷史的結(jié)構(gòu)化數(shù)據(jù)進(jìn)行數(shù)據(jù)分析

使用成本

起步成本低,后期成本較高

起步成本高,后期成本較低

數(shù)據(jù)質(zhì)量

包含大量原始數(shù)據(jù),使用前需要清洗和標(biāo)準(zhǔn)化處理

質(zhì)量高,可作為事實(shí)依據(jù)

適用對(duì)象

數(shù)據(jù)科學(xué)家、數(shù)據(jù)開(kāi)發(fā)人員為主

業(yè)務(wù)分析師為主

華為 智能數(shù)據(jù)湖 方案

華為數(shù)據(jù)使能服務(wù) DataArts Studio ,為大型政企客戶量身定制跨越孤立系統(tǒng)、感知業(yè)務(wù)的數(shù)據(jù)資源智能管理解決方案,實(shí)現(xiàn)全域數(shù)據(jù)入湖,幫助政企客戶從多角度、多層次、多粒度挖掘數(shù)據(jù)價(jià)值,實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)的數(shù)字化轉(zhuǎn)型。

DataArts Studio的核心主要是華為智能數(shù)據(jù)湖 FusionInsight ,包含數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)湖等各計(jì)算引擎和 數(shù)據(jù)治理中心 DataArts Studio平臺(tái),提供了數(shù)據(jù)使能的全套能力,支持?jǐn)?shù)據(jù)的采集、匯聚、計(jì)算、資產(chǎn)管理、數(shù)據(jù)開(kāi)放服務(wù)的全生命周期管理。

華為FusionInsight解決方案,對(duì)應(yīng)的各服務(wù)如下:

數(shù)據(jù)湖批流一體是什么常見(jiàn)問(wèn)題

更多常見(jiàn)問(wèn)題 >>
  • 數(shù)據(jù)湖探索(Data Lake Insight,簡(jiǎn)稱DLI)是完全兼容Apache Spark和Apache Flink生態(tài), 實(shí)現(xiàn)批流一體的Serverless大數(shù)據(jù)計(jì)算分析服務(wù)。DLI支持多模引擎,企業(yè)僅需使用SQL或程序就可輕松完成異構(gòu)數(shù)據(jù)源的批處理、流處理等,挖掘和探索數(shù)據(jù)價(jià)值。

  • 數(shù)據(jù)湖探索DLI用戶可以通過(guò)可視化界面、Restful API、JDBC、ODBC、Beeline等多種接入方式對(duì)云上CloudTable、RDS和DWS等異構(gòu)數(shù)據(jù)源進(jìn)行查詢分析,數(shù)據(jù)格式兼容CSV、JSON、Parquet、Carbon和ORC五種主流數(shù)據(jù)格式。

  • 智能數(shù)據(jù)湖運(yùn)營(yíng)平臺(tái)(DAYU)是數(shù)據(jù)全生命周期一站式開(kāi)發(fā)運(yùn)營(yíng)平臺(tái),提供數(shù)據(jù)集成、數(shù)據(jù)開(kāi)發(fā)、數(shù)據(jù)治理、數(shù)據(jù)服務(wù)等功能,支持行業(yè)知識(shí)庫(kù)智能化建設(shè),支持大數(shù)據(jù)存儲(chǔ)、大數(shù)據(jù)計(jì)算分析引擎等數(shù)據(jù)底座,幫助企業(yè)客戶快速構(gòu)建數(shù)據(jù)運(yùn)營(yíng)能力。

  • 數(shù)據(jù)湖探索的計(jì)費(fèi)包括存儲(chǔ)計(jì)費(fèi)和計(jì)算計(jì)費(fèi)。數(shù)據(jù)湖探索的計(jì)費(fèi)詳情及樣例,請(qǐng)參見(jiàn)以下說(shuō)明。數(shù)據(jù)湖探索服務(wù)目前支持三種作業(yè):SQL作業(yè),F(xiàn)link作業(yè)和Spark作業(yè)。 SQL作業(yè)的計(jì)費(fèi)包括存儲(chǔ)計(jì)費(fèi)和計(jì)算計(jì)費(fèi),其中計(jì)算計(jì)費(fèi)包括包年包月計(jì)費(fèi)和按需計(jì)費(fèi)兩種。 包年包月計(jì)費(fèi)根據(jù)購(gòu)買周期進(jìn)行扣費(fèi),推薦使用包年包月模式,價(jià)格優(yōu)惠且在周期內(nèi)獨(dú)享計(jì)算資源。

  • 數(shù)據(jù)湖探索(Data Lake Insight,簡(jiǎn)稱DLI)是完全兼容Apache Spark和Apache Flink生態(tài), 實(shí)現(xiàn)批流一體的Serverless大數(shù)據(jù)計(jì)算分析服務(wù)。DLI支持多模引擎,企業(yè)僅需使用SQL或程序就可輕松完成異構(gòu)數(shù)據(jù)源的批處理、流處理等,挖掘和探索數(shù)據(jù)價(jià)值

  • DAYU智能數(shù)據(jù)湖運(yùn)營(yíng)平臺(tái)采用基礎(chǔ)包+增量包的計(jì)費(fèi)模式。基礎(chǔ)包按包年、包月計(jì)費(fèi);增量包分為批量數(shù)據(jù)遷移和實(shí)時(shí)數(shù)據(jù)接入兩類,均采用按需和套餐包的計(jì)費(fèi)模式。

更多相關(guān)專題