華為云計算 云知識 數(shù)據(jù)湖工廠服務的功能
數(shù)據(jù)湖工廠服務的功能

數(shù)據(jù)湖 工廠服務(簡稱數(shù)據(jù)開發(fā)模塊)是華為云 大數(shù)據(jù) 重要的平臺產(chǎn)品,它可管理多種大數(shù)據(jù)服務,提供一站式的大數(shù)據(jù)開發(fā)環(huán)境、全托管的大數(shù)據(jù)調(diào)度能力,極大降低用戶使用大數(shù)據(jù)的門檻,幫助用戶快速構建大數(shù)據(jù)處理中心。

數(shù)據(jù)管理

支持管理DWS、DLI、MRS Hive等多種 數(shù)據(jù)倉庫 。

支持可視化和DDL方式管理 數(shù)據(jù)庫 表。

數(shù)據(jù)集

云數(shù)據(jù)遷移 服務( CDM )無縫集成,依托CDM的強力支撐,支持20多種異構數(shù)據(jù)源之間可靠高效的數(shù)據(jù)傳輸,輕松實現(xiàn)多數(shù)據(jù)源集成到數(shù)據(jù)倉庫。

腳本開發(fā)

提供在線腳本編輯器,支持多人協(xié)作進行SQL、Shell腳本在線代碼開發(fā)和調(diào)測。

支持使用變量和函數(shù)。

作業(yè)開發(fā)

提供圖形化設計器,支持拖拉拽方式快速構建數(shù)據(jù)處理工作流。

預設數(shù)據(jù)集成、SQL、MR、Spark、Shell、機器學習等多種任務類型,通過任務間依賴完成復雜數(shù)據(jù)分析處理。

支持導入和導出作業(yè)。

資源管理

支持統(tǒng)一管理在腳本開發(fā)和作業(yè)開發(fā)使用到的file、jar、archive類型的資源。

作業(yè)調(diào)度

支持單次調(diào)度、周期調(diào)度和事件驅(qū)動調(diào)度,周期調(diào)度支持分鐘、小時、天、周、月多種調(diào)度周期。

運維監(jiān)控

支持對作業(yè)進行運行、暫停、恢復、終止等多種操作。

支持查看作業(yè)和其內(nèi)各任務節(jié)點的運行詳情。

支持配置多種方式報警,作業(yè)和任務發(fā)生錯誤時可及時通知相關人,保證業(yè)務正常運行。