數(shù)據(jù)治理中心基本概念介紹
常用的基本概念
DataArts Studio實(shí)例:是數(shù)據(jù)治理中心給用戶提供的最小計(jì)算資源單位。數(shù)據(jù)治理中心以DataArts Studio實(shí)例的方式提供給用戶,用戶可以同時(shí)創(chuàng)建多個(gè)DataArts Studio實(shí)例,并分別管理和訪問每個(gè)DataArts Studio實(shí)例。
工作空間:是從系統(tǒng)層面為管理者提供對使用DataArts Studio的用戶(成員)權(quán)限、資源、DataArts Studio底層計(jì)算引擎配置的管理能力。工作空間作為成員管理、角色和權(quán)限分配的基本單元,每個(gè)團(tuán)隊(duì)都可具有獨(dú)立的工作空間。您只有在加入工作空間并被分配權(quán)限后,才可具備各個(gè)模塊的系列操作權(quán)限。
成員與角色:成員是被授予工作空間訪問或使用權(quán)限的華為云帳號。在添加工作空間成員時(shí),您需要同時(shí)為添加的成員設(shè)置相應(yīng)的角色。
角色是一組操作權(quán)限的集合。不同的角色擁有不同的操作權(quán)限,把角色授予成員后,成員即具有了角色的所有權(quán)限。每位成員至少要擁有一個(gè)角色,并且可以同時(shí)擁有多種角色。
數(shù)據(jù)集成集群:一個(gè)數(shù)據(jù)集成集群運(yùn)行在一個(gè)彈性云服務(wù)器之上,用戶可以在集群中創(chuàng)建數(shù)據(jù)遷移作業(yè),在云上和云下的同構(gòu)/異構(gòu)數(shù)據(jù)源之間批量遷移數(shù)據(jù)。
數(shù)據(jù)源:即數(shù)據(jù)的來源,本質(zhì)是講存儲或處理數(shù)據(jù)的媒介,比如:關(guān)系型數(shù)據(jù)庫、數(shù)據(jù)倉庫、數(shù)據(jù)湖等。每一種數(shù)據(jù)源不同,其數(shù)據(jù)的存儲、傳輸、處理和應(yīng)用的模式、場景、技術(shù)和工具也不相同。
源數(shù)據(jù):源數(shù)據(jù)強(qiáng)調(diào)數(shù)據(jù)狀態(tài)是“創(chuàng)建”之后的“原始狀態(tài)”,也就是沒有被加工處理的數(shù)據(jù)。在數(shù)據(jù)管理的過程中,源數(shù)據(jù)一般是指直接來自源文件(業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫、線下文件、IoT等)的數(shù)據(jù),或者直接拷貝源文件的“副本數(shù)據(jù)”。
數(shù)據(jù)連接:定義訪問數(shù)據(jù)實(shí)體存儲(計(jì)算)空間所需的信息的集合,包括連接類型、名稱和登錄信息等。
并發(fā)數(shù):并發(fā)數(shù)是數(shù)據(jù)集成作業(yè)中,可以從源端并行讀取的最大線程數(shù)。
作業(yè):在數(shù)據(jù)開發(fā)中,作業(yè)由一個(gè)或多個(gè)節(jié)點(diǎn)組成,共同執(zhí)行以完成對數(shù)據(jù)的一系列操作。
節(jié)點(diǎn):節(jié)點(diǎn)用于定義對數(shù)據(jù)執(zhí)行的操作。例如,使用“MRS Spark”節(jié)點(diǎn)可以實(shí)現(xiàn)在MRS中執(zhí)行預(yù)先定義的Spark作業(yè)。
表達(dá)式:數(shù)據(jù)開發(fā)作業(yè)中的節(jié)點(diǎn)參數(shù)可以使用表達(dá)式語言(Expression Language,簡稱EL),根據(jù)運(yùn)行環(huán)境動態(tài)生成參數(shù)值。數(shù)據(jù)開發(fā) EL表達(dá)式使用簡單的算術(shù)和邏輯計(jì)算,引用內(nèi)嵌對象,包括作業(yè)對象和一些工具類對象。
補(bǔ)數(shù)據(jù):手工觸發(fā)周期方式調(diào)度的作業(yè)任務(wù),生成過去某時(shí)間段內(nèi)的實(shí)例。
產(chǎn)品優(yōu)勢
-
一站式數(shù)據(jù)運(yùn)營平臺
-
全鏈路數(shù)據(jù)治理管控
-
豐富的數(shù)據(jù)開發(fā)類型
-
統(tǒng)一調(diào)度和運(yùn)維
-
可復(fù)用行業(yè)知識庫
-
統(tǒng)一數(shù)據(jù)資產(chǎn)管理
-
數(shù)據(jù)運(yùn)營全場景可視
-
全方位的安全保障