檢測到您已登錄華為云國際站賬號,為了您更好的體驗,建議您訪問國際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
查看數(shù)據(jù)資產(chǎn) 通過數(shù)據(jù)目錄可以對各類資產(chǎn)進行搜索、過濾、查看詳情等操作。 業(yè)務(wù)資產(chǎn)來自于數(shù)據(jù)架構(gòu)組件中定義并發(fā)布過的邏輯實體與數(shù)據(jù)表。 技術(shù)資產(chǎn)來自于數(shù)據(jù)連接和元數(shù)據(jù)采集任務(wù),其中的數(shù)據(jù)連接來源于管理中心的數(shù)據(jù)連接,庫表列等來源于數(shù)據(jù)目錄的元數(shù)據(jù)采集任務(wù)。
-成長地圖 | 華為云
數(shù)據(jù)權(quán)限簡介(待下線) 為確保數(shù)據(jù)使用安全可控,使用數(shù)據(jù)表需要先申請權(quán)限。 數(shù)據(jù)權(quán)限模塊為用戶提供便捷的權(quán)限管控能力,提供可視化申請審批流程,并可以進行權(quán)限的審計和管理。提高數(shù)據(jù)安全的同時,還可以方便用戶進行數(shù)據(jù)權(quán)限管控。
取值范圍: REPLACE_NEW:表示對于已經(jīng)存在值的元數(shù)據(jù)進行替換,不存在值的元數(shù)據(jù)進行賦值,未指定的元數(shù)據(jù)保持不變(自定義頭域作替換處理)。
完成ODS層->DWI層的數(shù)據(jù)同步,在此過程中完成數(shù)據(jù)的清洗轉(zhuǎn)換,以及多源異構(gòu)數(shù)據(jù)的整合; 完成DWI層->DWR層的數(shù)據(jù)同步,在DWR層將數(shù)據(jù)按分析/主題維度匯聚,并根據(jù)業(yè)務(wù)需求進行不同粒度的輕度匯總; 完成DWR層->DM層的數(shù)據(jù)同步,對應(yīng)數(shù)據(jù)應(yīng)用系統(tǒng)的需求,在DM層將數(shù)據(jù)按應(yīng)用維度進行匯聚
數(shù)據(jù)倉庫相比數(shù)據(jù)庫,主要有以下兩個特點: 數(shù)據(jù)倉庫是面向主題集成的。數(shù)據(jù)倉庫是為了支撐各種業(yè)務(wù)而建立的,數(shù)據(jù)來自于分散的操作型數(shù)據(jù)。因此需要將所需數(shù)據(jù)從多個異構(gòu)的數(shù)據(jù)源中抽取出來,進行加工與集成,按照主題進行重組,最終進入數(shù)據(jù)倉庫。
如果元數(shù)據(jù)中的字段不在請求參數(shù)中,則保持不變 如果元數(shù)據(jù)中包含了敏感數(shù)據(jù),您應(yīng)當采取適當?shù)拇胧﹣肀Wo敏感數(shù)據(jù),比如限制訪問范圍、加密等。
數(shù)據(jù)安全簡介(待下線) 在已上線數(shù)據(jù)安全組件的區(qū)域,數(shù)據(jù)目錄中的數(shù)據(jù)安全功能已由數(shù)據(jù)安全組件提供,不再作為數(shù)據(jù)目錄組件能力。當前數(shù)據(jù)目錄中的數(shù)據(jù)安全功能僅限于存量用戶使用。
數(shù)據(jù)倉庫相比數(shù)據(jù)庫,主要有以下兩個特點: 數(shù)據(jù)倉庫是面向主題集成的。數(shù)據(jù)倉庫是為了支撐各種業(yè)務(wù)而建立的,數(shù)據(jù)來自于分散的操作型數(shù)據(jù)。因此需要將所需數(shù)據(jù)從多個異構(gòu)的數(shù)據(jù)源中抽取出來,進行加工與集成,按照主題進行重組,最終進入數(shù)據(jù)倉庫。
彈性云服務(wù)器元數(shù)據(jù)支持:Openstack類型、兼容EC2類型、華為云類型,如表1所示。 對于支持的元數(shù)據(jù)類型,本節(jié)詳細介紹了其URI和使用方法。 使用須知 如果元數(shù)據(jù)中包含了敏感數(shù)據(jù),您應(yīng)當采取適當?shù)拇胧﹣肀Wo敏感數(shù)據(jù),比如限制訪問范圍、加密等。
數(shù)據(jù)安全概述 數(shù)據(jù)安全以數(shù)據(jù)為中心,基于數(shù)據(jù)動態(tài)流動場景,構(gòu)建全鏈路數(shù)據(jù)湖安全的解決方案,全方位保障數(shù)據(jù)湖安全,以此滿足不同角色(如數(shù)據(jù)開發(fā)工程師,數(shù)據(jù)安全管理員,數(shù)據(jù)安全審計員和數(shù)據(jù)安全運營人員)對數(shù)據(jù)安全和數(shù)據(jù)治理的訴求。
在DataArts Studio控制臺首頁,選擇對應(yīng)工作空間的“數(shù)據(jù)開發(fā)”模塊,進入數(shù)據(jù)開發(fā)頁面。 創(chuàng)建一個DWS SQL腳本,以通過DWS SQL語句來創(chuàng)建數(shù)據(jù)表。
查看表元數(shù)據(jù) 元數(shù)據(jù)說明 元數(shù)據(jù)(Metadata)是用來定義數(shù)據(jù)類型的數(shù)據(jù)。主要是描述數(shù)據(jù)自身信息,包含源、大小、格式或其它數(shù)據(jù)特征。數(shù)據(jù)庫字段中,元數(shù)據(jù)用于詮釋數(shù)據(jù)倉庫的內(nèi)容。 創(chuàng)建表時,會定義元數(shù)據(jù),由列名、類型、列描述三列組成。
-成長地圖 | 華為云
新建數(shù)據(jù)分類(待下線) 本章主要介紹如何創(chuàng)建數(shù)據(jù)分類規(guī)則。 在已上線數(shù)據(jù)安全組件的區(qū)域,數(shù)據(jù)目錄中的數(shù)據(jù)安全功能已由數(shù)據(jù)安全組件提供,不再作為數(shù)據(jù)目錄組件能力。當前數(shù)據(jù)目錄中的數(shù)據(jù)安全功能僅限于存量用戶使用。
新建整庫遷移作業(yè) 操作場景 CDM支持在同構(gòu)、異構(gòu)數(shù)據(jù)源之間進行整庫遷移,遷移原理與新建表/文件遷移作業(yè)相同,關(guān)系型數(shù)據(jù)庫的每張表、Redis的每個鍵前綴、Elasticsearch的每個類型、MongoDB的每個集合都會作為一個子任務(wù)并發(fā)執(zhí)行。
數(shù)據(jù)運營成本高,數(shù)據(jù)未服務(wù)化,導致數(shù)據(jù)復制多、數(shù)據(jù)口徑不一致,同時數(shù)據(jù)重復開發(fā),造成資源浪費。 數(shù)據(jù)創(chuàng)新的挑戰(zhàn) 企業(yè)內(nèi)部存在大量數(shù)據(jù)孤島,導致數(shù)據(jù)不共享、不流通,無法實現(xiàn)跨領(lǐng)域的數(shù)據(jù)分析與數(shù)據(jù)創(chuàng)新。
寫入模式: 線性:線性邏輯卷是將一個或多個物理卷整合為一個邏輯卷,實際寫入數(shù)據(jù)時會先往一個基本物理卷上寫入,當存儲空間占滿時再往另一個基本物理卷寫入。 條帶化:有兩塊以上數(shù)據(jù)盤時才可支持選擇條帶化模式。
異構(gòu)型數(shù)據(jù)庫之間由于格式不同,不支持直接導入導出。但只要導入導出的格式數(shù)據(jù)兼容,理論上,導入表數(shù)據(jù)也是可行的。 異構(gòu)型數(shù)據(jù)庫之間數(shù)據(jù)導入導出,一般需要使用Ugo或第三方軟件,通過數(shù)據(jù)復制的方式來實現(xiàn)。
成長地圖 | 華為云 數(shù)據(jù)工坊 數(shù)據(jù)工坊(Data Workroom,DWR)是一款近數(shù)據(jù)處理服務(wù),通過易用的數(shù)據(jù)處理工作流編排和開放生態(tài)的數(shù)據(jù)處理算子,能夠在云上實現(xiàn)各種靈活的數(shù)據(jù)處理業(yè)務(wù)。