華為云計算 云知識 數(shù)據(jù)倉庫服務(wù)架構(gòu)
數(shù)據(jù)倉庫服務(wù)架構(gòu)

DWS基于Shared-nothing分布式架構(gòu),具備MPP大規(guī)模并行處理引擎,由眾多擁有獨立且互不共享的CPU、內(nèi)存、存儲等系統(tǒng)資源的邏輯節(jié)點組成。在這樣的系統(tǒng)架構(gòu)中,業(yè)務(wù)數(shù)據(jù)被分散存儲在多個節(jié)點上,數(shù)據(jù)分析任務(wù)被推送到數(shù)據(jù)所在位置就近執(zhí)行,并行地完成大規(guī)模的數(shù)據(jù)處理工作,實現(xiàn)對數(shù)據(jù)處理的快速響應(yīng)。

圖1產(chǎn)品架構(gòu)

數(shù)據(jù)倉庫服務(wù)架構(gòu)

應(yīng)用層

數(shù)據(jù)加載工具、ETL(Extract-Transform-Load)工具、以及商業(yè)智能BI工具、數(shù)據(jù)挖掘和分析工具,均可以通過標(biāo)準(zhǔn)接口與DWS集成。DWS兼容PostgreSQL生態(tài),且SQL語法進(jìn)行了兼容MySQL、Oracle和Teradata的處理。應(yīng)用只需做少量改動即可向DWS平滑 遷移

接口

支持應(yīng)用程序通過標(biāo)準(zhǔn)JDBC 4.0和ODBC 3.5連接DWS。

DWS(MPP大規(guī)模并行處理集群)

一個DWS集群由多個在相同子網(wǎng)中的相同規(guī)格的節(jié)點組成,共同提供服務(wù)。集群的每個DN負(fù)責(zé)存儲數(shù)據(jù),其存儲介質(zhì)是磁盤。協(xié)調(diào)節(jié)點(Coordinator Node)負(fù)責(zé)接收來自應(yīng)用的訪問請求,并向客戶端返回執(zhí)行結(jié)果,此外,協(xié)調(diào)節(jié)點還負(fù)責(zé)分解任務(wù),并調(diào)度任務(wù)分片在各DN上并行執(zhí)行。

自動 數(shù)據(jù)備份

支持將集群快照自動備份到EB級 對象存儲服務(wù) OBS( Object Storage Service )中,方便利用業(yè)務(wù)空閑期對集群做周期備份以保證集群異常后的 數(shù)據(jù)恢復(fù)

快照是DWS集群在某一時間點的完整備份,記錄了這一時刻指定集群的所有配置數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)。

工具鏈

提供了數(shù)據(jù)并行加載工具GDS(General Data Service)、SQL語法遷移工具 DSC 、SQL開發(fā)工具Data Studio,并支持通過控制臺對集群進(jìn)行運維監(jiān)控。