數(shù)據(jù)湖 工廠服務(簡稱數(shù)據(jù)開發(fā)模塊)是華為云 大數(shù)據(jù) 重要的平臺產(chǎn)品,它可管理多種大數(shù)據(jù)服務,提供一站式的大數(shù)據(jù)開發(fā)環(huán)境、全托管的大數(shù)據(jù)調(diào)度能力,極大降低用戶使用大數(shù)據(jù)的門檻,幫助用戶快速構建大數(shù)據(jù)處理中心。
支持管理DWS、DLI、MRS Hive等多種 數(shù)據(jù)倉庫 。
支持可視化和DDL方式管理 數(shù)據(jù)庫 表。
與 云數(shù)據(jù)遷移 服務( CDM )無縫集成,依托CDM的強力支撐,支持20多種異構數(shù)據(jù)源之間可靠高效的數(shù)據(jù)傳輸,輕松實現(xiàn)多數(shù)據(jù)源集成到數(shù)據(jù)倉庫。
腳本開發(fā)
提供在線腳本編輯器,支持多人協(xié)作進行SQL、Shell腳本在線代碼開發(fā)和調(diào)測。
支持使用變量和函數(shù)。
作業(yè)開發(fā)
提供圖形化設計器,支持拖拉拽方式快速構建數(shù)據(jù)處理工作流。
預設數(shù)據(jù)集成、SQL、MR、Spark、Shell、機器學習等多種任務類型,通過任務間依賴完成復雜數(shù)據(jù)分析處理。
支持導入和導出作業(yè)。
資源管理
支持統(tǒng)一管理在腳本開發(fā)和作業(yè)開發(fā)使用到的file、jar、archive類型的資源。
作業(yè)調(diào)度
支持單次調(diào)度、周期調(diào)度和事件驅(qū)動調(diào)度,周期調(diào)度支持分鐘、小時、天、周、月多種調(diào)度周期。
運維監(jiān)控
支持對作業(yè)進行運行、暫停、恢復、終止等多種操作。
支持查看作業(yè)和其內(nèi)各任務節(jié)點的運行詳情。
支持配置多種方式報警,作業(yè)和任務發(fā)生錯誤時可及時通知相關人,保證業(yè)務正常運行。