3步快速使用數(shù)據(jù)治理中心
3步快速使用數(shù)據(jù)治理中心
購(gòu)買(mǎi)DataArts Studio
DataArts Studio采用基礎(chǔ)包+增量包的計(jì)費(fèi)模式，其中基礎(chǔ)包即DataArts Studio實(shí)例。
登錄DataArts Studio
登錄華為云控制臺(tái)，在左上角的服務(wù)列表中選擇“數(shù)據(jù)治理中心DataArts Studio”，進(jìn)入DataArts Studio實(shí)例控制臺(tái)。
創(chuàng)建并管理工作空間
購(gòu)買(mǎi)DataArts Studio實(shí)例的用戶，系統(tǒng)將默認(rèn)為其創(chuàng)建一個(gè)默認(rèn)的工作空間“default”，并賦予該用戶管理員角色。您可以使用默認(rèn)的工作空間，也可以創(chuàng)建一個(gè)新的工作空間。
十分鐘帶您快速走進(jìn)數(shù)據(jù)治理中心
十分鐘帶您快速走進(jìn)數(shù)據(jù)治理中心
基于電商BI報(bào)表的數(shù)據(jù)開(kāi)發(fā)流程
本實(shí)踐通過(guò)DataArts Studio服務(wù)的數(shù)據(jù)開(kāi)發(fā)DLF組件和數(shù)據(jù)湖探索服務(wù)（DLI）對(duì)某電商商城的用戶、商品、評(píng)論數(shù)據(jù)（脫敏后）進(jìn)行分析。
基于電影評(píng)分的數(shù)據(jù)集成與開(kāi)發(fā)流程
本實(shí)踐通過(guò)DataArts Studio服務(wù)的數(shù)據(jù)集成CDM組件、數(shù)據(jù)開(kāi)發(fā)DLF組件和數(shù)據(jù)倉(cāng)庫(kù)服務(wù)（DWS）對(duì)電影評(píng)分原始數(shù)據(jù)進(jìn)行分析，輸出評(píng)分最高和最活躍Top10電影。
基于出租車(chē)出行的數(shù)據(jù)治理流程
本示例是一個(gè)DataArts Studio全流程入門(mén)教程，旨在介紹如何在DataArts Studio平臺(tái)完成端到端的全流程數(shù)據(jù)運(yùn)營(yíng)。
基于電商BI報(bào)表的數(shù)據(jù)開(kāi)發(fā)流程
本實(shí)踐通過(guò)DataArts Studio服務(wù)的數(shù)據(jù)開(kāi)發(fā)DLF組件和數(shù)據(jù)湖探索服務(wù)（DLI）對(duì)某電商商城的用戶、商品、評(píng)論數(shù)據(jù)（脫敏后）進(jìn)行分析。
基于電影評(píng)分的數(shù)據(jù)集成與開(kāi)發(fā)流程
本實(shí)踐通過(guò)DataArts Studio服務(wù)的數(shù)據(jù)集成CDM組件、數(shù)據(jù)開(kāi)發(fā)DLF組件和數(shù)據(jù)倉(cāng)庫(kù)服務(wù)（DWS）對(duì)電影評(píng)分原始數(shù)據(jù)進(jìn)行分析，輸出評(píng)分最高和最活躍Top10電影。
基于出租車(chē)出行的數(shù)據(jù)治理流程
本示例是一個(gè)DataArts Studio全流程入門(mén)教程，旨在介紹如何在DataArts Studio平臺(tái)完成端到端的全流程數(shù)據(jù)運(yùn)營(yíng)。
最佳實(shí)踐
最佳實(shí)踐
通過(guò)數(shù)據(jù)質(zhì)量對(duì)比數(shù)據(jù)遷移前后結(jié)果
數(shù)據(jù)對(duì)賬對(duì)數(shù)據(jù)遷移流程中的數(shù)據(jù)一致性至關(guān)重要，數(shù)據(jù)對(duì)賬的能力是檢驗(yàn)數(shù)據(jù)遷移或數(shù)據(jù)加工前后是否一致的關(guān)鍵指標(biāo)。
通過(guò)數(shù)據(jù)開(kāi)發(fā)實(shí)現(xiàn)數(shù)據(jù)增量遷移
DataArts Studio服務(wù)的DLF組件提供了一站式的大數(shù)據(jù)協(xié)同開(kāi)發(fā)平臺(tái)，借助DLF的在線腳本編輯、周期調(diào)度CDM的遷移作業(yè)，也可以實(shí)現(xiàn)增量數(shù)據(jù)遷移。
通過(guò)數(shù)據(jù)開(kāi)發(fā)使用參數(shù)傳遞靈活調(diào)度CDM作業(yè)
當(dāng)CDM作業(yè)接收來(lái)自數(shù)據(jù)開(kāi)發(fā)作業(yè)配置的參數(shù)時(shí)，則在數(shù)據(jù)開(kāi)發(fā)模塊可以使用諸如EL表達(dá)式傳遞動(dòng)態(tài)參數(shù)來(lái)調(diào)度CDM作業(yè)。
如何查看表行數(shù)和庫(kù)大小
在數(shù)據(jù)治理流程中，我們常常需要統(tǒng)計(jì)數(shù)據(jù)表行數(shù)或數(shù)據(jù)庫(kù)的大小。其中，數(shù)據(jù)表的行數(shù)可以通過(guò)SQL命令或數(shù)據(jù)質(zhì)量作業(yè)獲?。粩?shù)據(jù)庫(kù)大小可以直接在數(shù)據(jù)目錄組件中查看。
跨工作空間的DataArts Studio數(shù)據(jù)搬遷
您可以參考本文檔，將原有工作空間的數(shù)據(jù)（包含管理中心數(shù)據(jù)連接、數(shù)據(jù)集成連接和作業(yè)、數(shù)據(jù)架構(gòu)表、數(shù)據(jù)開(kāi)發(fā)腳本、數(shù)據(jù)開(kāi)發(fā)作業(yè)、數(shù)據(jù)質(zhì)量作業(yè)等），搬遷到新建的工作空間中。
通過(guò)CDM節(jié)點(diǎn)批量創(chuàng)建分表遷移作業(yè)
業(yè)務(wù)系統(tǒng)中，數(shù)據(jù)源往往會(huì)采用分表的形式，以減少單表大小，支持復(fù)雜的業(yè)務(wù)應(yīng)用場(chǎng)景。在這種情況下，通過(guò)CDM進(jìn)行數(shù)據(jù)集成時(shí)，需要針對(duì)每張表創(chuàng)建一個(gè)數(shù)據(jù)遷移作業(yè)。