3步快速使用數(shù)據(jù)治理中心
3步快速使用數(shù)據(jù)治理中心
購買DataArts Studio
DataArts Studio采用基礎(chǔ)包+增量包的計(jì)費(fèi)模式，其中基礎(chǔ)包即DataArts Studio實(shí)例。
登錄DataArts Studio
登錄華為云控制臺，在左上角的服務(wù)列表中選擇“數(shù)據(jù)治理中心DataArts Studio”，進(jìn)入DataArts Studio實(shí)例控制臺。
創(chuàng)建并管理工作空間
購買DataArts Studio實(shí)例的用戶，系統(tǒng)將默認(rèn)為其創(chuàng)建一個(gè)默認(rèn)的工作空間“default”，并賦予該用戶管理員角色。您可以使用默認(rèn)的工作空間，也可以創(chuàng)建一個(gè)新的工作空間。
十分鐘帶您快速走進(jìn)數(shù)據(jù)治理中心
十分鐘帶您快速走進(jìn)數(shù)據(jù)治理中心
基于電商BI報(bào)表的數(shù)據(jù)開發(fā)流程
本實(shí)踐通過DataArts Studio服務(wù)的數(shù)據(jù)開發(fā)DLF組件和數(shù)據(jù)湖探索服務(wù)（DLI）對某電商商城的用戶、商品、評論數(shù)據(jù)（脫敏后）進(jìn)行分析。
基于電影評分的數(shù)據(jù)集成與開發(fā)流程
本實(shí)踐通過DataArts Studio服務(wù)的數(shù)據(jù)集成CDM組件、數(shù)據(jù)開發(fā)DLF組件和數(shù)據(jù)倉庫服務(wù)（DWS）對電影評分原始數(shù)據(jù)進(jìn)行分析，輸出評分最高和最活躍Top10電影。
基于出租車出行的數(shù)據(jù)治理流程
本示例是一個(gè)DataArts Studio全流程入門教程，旨在介紹如何在DataArts Studio平臺完成端到端的全流程數(shù)據(jù)運(yùn)營。
基于電商BI報(bào)表的數(shù)據(jù)開發(fā)流程
本實(shí)踐通過DataArts Studio服務(wù)的數(shù)據(jù)開發(fā)DLF組件和數(shù)據(jù)湖探索服務(wù)（DLI）對某電商商城的用戶、商品、評論數(shù)據(jù)（脫敏后）進(jìn)行分析。
基于電影評分的數(shù)據(jù)集成與開發(fā)流程
本實(shí)踐通過DataArts Studio服務(wù)的數(shù)據(jù)集成CDM組件、數(shù)據(jù)開發(fā)DLF組件和數(shù)據(jù)倉庫服務(wù)（DWS）對電影評分原始數(shù)據(jù)進(jìn)行分析，輸出評分最高和最活躍Top10電影。
基于出租車出行的數(shù)據(jù)治理流程
本示例是一個(gè)DataArts Studio全流程入門教程，旨在介紹如何在DataArts Studio平臺完成端到端的全流程數(shù)據(jù)運(yùn)營。
最佳實(shí)踐
最佳實(shí)踐
通過數(shù)據(jù)質(zhì)量對比數(shù)據(jù)遷移前后結(jié)果
數(shù)據(jù)對賬對數(shù)據(jù)遷移流程中的數(shù)據(jù)一致性至關(guān)重要，數(shù)據(jù)對賬的能力是檢驗(yàn)數(shù)據(jù)遷移或數(shù)據(jù)加工前后是否一致的關(guān)鍵指標(biāo)。
通過數(shù)據(jù)開發(fā)實(shí)現(xiàn)數(shù)據(jù)增量遷移
DataArts Studio服務(wù)的DLF組件提供了一站式的大數(shù)據(jù)協(xié)同開發(fā)平臺，借助DLF的在線腳本編輯、周期調(diào)度CDM的遷移作業(yè)，也可以實(shí)現(xiàn)增量數(shù)據(jù)遷移。
通過數(shù)據(jù)開發(fā)使用參數(shù)傳遞靈活調(diào)度CDM作業(yè)
當(dāng)CDM作業(yè)接收來自數(shù)據(jù)開發(fā)作業(yè)配置的參數(shù)時(shí)，則在數(shù)據(jù)開發(fā)模塊可以使用諸如EL表達(dá)式傳遞動態(tài)參數(shù)來調(diào)度CDM作業(yè)。
如何查看表行數(shù)和庫大小
在數(shù)據(jù)治理流程中，我們常常需要統(tǒng)計(jì)數(shù)據(jù)表行數(shù)或數(shù)據(jù)庫的大小。其中，數(shù)據(jù)表的行數(shù)可以通過SQL命令或數(shù)據(jù)質(zhì)量作業(yè)獲?。粩?shù)據(jù)庫大小可以直接在數(shù)據(jù)目錄組件中查看。
跨工作空間的DataArts Studio數(shù)據(jù)搬遷
您可以參考本文檔，將原有工作空間的數(shù)據(jù)（包含管理中心數(shù)據(jù)連接、數(shù)據(jù)集成連接和作業(yè)、數(shù)據(jù)架構(gòu)表、數(shù)據(jù)開發(fā)腳本、數(shù)據(jù)開發(fā)作業(yè)、數(shù)據(jù)質(zhì)量作業(yè)等），搬遷到新建的工作空間中。
通過CDM節(jié)點(diǎn)批量創(chuàng)建分表遷移作業(yè)
業(yè)務(wù)系統(tǒng)中，數(shù)據(jù)源往往會采用分表的形式，以減少單表大小，支持復(fù)雜的業(yè)務(wù)應(yīng)用場景。在這種情況下，通過CDM進(jìn)行數(shù)據(jù)集成時(shí)，需要針對每張表創(chuàng)建一個(gè)數(shù)據(jù)遷移作業(yè)。