智能數(shù)據(jù)湖運(yùn)營(yíng)平臺(tái)(DAYU)是為了應(yīng)對(duì)上述挑戰(zhàn)、針對(duì)企業(yè)數(shù)字化運(yùn)營(yíng)訴求提供的數(shù)據(jù)全生命周期管理、具有智能 數(shù)據(jù)管理 能力的一站式治理運(yùn)營(yíng)平臺(tái),包含 數(shù)據(jù)集 成、規(guī)范設(shè)計(jì)、數(shù)據(jù)開(kāi)發(fā)、數(shù)據(jù)質(zhì)量監(jiān)控、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)服務(wù)等功能,支持行業(yè)知識(shí)庫(kù)智能化建設(shè),支持 大數(shù)據(jù) 存儲(chǔ)、大數(shù)據(jù)計(jì)算分析引擎等數(shù)據(jù)底座,幫助企業(yè)快速構(gòu)建從數(shù)據(jù)接入到數(shù)據(jù)分析的端到端智能數(shù)據(jù)系統(tǒng),消除數(shù)據(jù)孤島,統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn),加快數(shù)據(jù)變現(xiàn),實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型。
產(chǎn)品架構(gòu)如圖1所示。
圖1產(chǎn)品架構(gòu)
據(jù)湖運(yùn)營(yíng)平臺(tái).jpg)
數(shù)據(jù)集成
支持批量 數(shù)據(jù)遷移 、實(shí)時(shí)數(shù)據(jù)集成和 數(shù)據(jù)庫(kù) 實(shí)時(shí)同步,支持20+異構(gòu)數(shù)據(jù)源,全向?qū)脚渲煤凸芾?,支持單表、整?kù)、增量、周期性數(shù)據(jù)集成。
規(guī)范設(shè)計(jì)
作為 數(shù)據(jù)治理 的一個(gè)核心模塊,承擔(dān)數(shù)據(jù)治理過(guò)程中的數(shù)據(jù)加工并業(yè)務(wù)化的功能,提供智能數(shù)據(jù)規(guī)劃、自定義主題數(shù)據(jù)模型、統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)、可視化數(shù)據(jù)建模、標(biāo)注數(shù)據(jù)標(biāo)簽等功能,有利于改善數(shù)據(jù)質(zhì)量,有效支撐經(jīng)營(yíng)決策。
數(shù)據(jù)開(kāi)發(fā)
大數(shù)據(jù)開(kāi)發(fā)環(huán)境,降低用戶使用大數(shù)據(jù)的門檻,幫助用戶快速構(gòu)建大數(shù)據(jù)處理中心。支持?jǐn)?shù)據(jù)建模、數(shù)據(jù)集成、腳本開(kāi)發(fā)、工作流編排等操作,輕松完成整個(gè)數(shù)據(jù)的處理分析流程。
數(shù)據(jù)質(zhì)量
數(shù)據(jù)全生命周期管控,數(shù)據(jù)處理全流程質(zhì)量監(jiān)控,異常事件實(shí)時(shí)通知。
數(shù)據(jù)資產(chǎn)
提供企業(yè)級(jí)的元數(shù)據(jù)管理,厘清信息資產(chǎn)。通過(guò) 數(shù)據(jù)地圖 ,實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)的數(shù)據(jù)血緣和數(shù)據(jù)全景可視,提供數(shù)據(jù)智能搜索和運(yùn)營(yíng)監(jiān)控。
數(shù)據(jù)服務(wù)
標(biāo)準(zhǔn)化的數(shù)據(jù)服務(wù)平臺(tái),提供一站式數(shù)據(jù)服務(wù)開(kāi)發(fā)、測(cè)試部署能力,實(shí)現(xiàn)數(shù)據(jù)服務(wù)敏捷響應(yīng),降低數(shù)據(jù)獲取難度,提升數(shù)據(jù)消費(fèi)體驗(yàn)和效率,最終實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)的變現(xiàn)。
智能數(shù)據(jù)湖
DAYU集成了豐富的數(shù)據(jù)引擎,支持對(duì)接所有華為云的數(shù)據(jù)湖與數(shù)據(jù)庫(kù)云服務(wù),例如DLI、DWS等,也支持對(duì)接企業(yè)傳統(tǒng) 數(shù)據(jù)倉(cāng)庫(kù) ,例如Oracle、Greenplum等。