DAYU實(shí)例
DAYU實(shí)例是 智能數(shù)據(jù)湖 運(yùn)營(yíng)平臺(tái)給用戶提供的最小計(jì)算資源單位。智能 數(shù)據(jù)湖 運(yùn)營(yíng)平臺(tái)以DAYU實(shí)例的方式提供給用戶,用戶可以同時(shí)創(chuàng)建多個(gè)DAYU實(shí)例,并分別管理和訪問(wèn)每個(gè)DAYU實(shí)例。每個(gè)DAYU實(shí)例具有用戶指定的基礎(chǔ)計(jì)算資源,包含管理中心、規(guī)范設(shè)計(jì)、 數(shù)據(jù)集 成、數(shù)據(jù)開發(fā)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)資產(chǎn)和數(shù)據(jù)服務(wù)七個(gè)模塊。用戶可根據(jù)業(yè)務(wù)需要申請(qǐng)相應(yīng)規(guī)格的DAYU實(shí)例。
工作空間
工作空間是從系統(tǒng)層面為管理者提供對(duì)使用DAYU的用戶(成員)權(quán)限、資源、DAYU底層計(jì)算引擎配置的管理能力。
工作空間作為成員管理、角色和權(quán)限分配的基本單元,每個(gè)團(tuán)隊(duì)都可具有獨(dú)立的工作空間。
您只有在加入工作空間并被分配權(quán)限后,才可具備管理中心、數(shù)據(jù)資產(chǎn)、數(shù)據(jù)質(zhì)量、業(yè)務(wù)指標(biāo)、數(shù)據(jù)規(guī)范、數(shù)據(jù)服務(wù)、數(shù)據(jù)開發(fā)、 數(shù)據(jù)遷移 和數(shù)據(jù)接入模塊的系列操作權(quán)限。
成員和角色
成員是被授予工作空間訪問(wèn)或使用權(quán)限的云賬號(hào)。在添加工作空間成員時(shí),您需要同時(shí)為添加的成員設(shè)置相應(yīng)的角色。
角色是一組操作權(quán)限的集合。不同的角色擁有不同的操作權(quán)限,把角色授予成員后,成員即具有了角色的所有權(quán)限。每位成員至少要擁有一個(gè)角色,并且可以同時(shí)擁有多種角色。
工作空間有四種角色,包括:管理員、開發(fā)者、運(yùn)維者和訪客。
數(shù)據(jù)資源及其應(yīng)用過(guò)程中相關(guān)管控活動(dòng)、績(jī)效和風(fēng)險(xiǎn)管理的集合。
以數(shù)據(jù)搜索為核心,通過(guò)可視化方式,綜合反映有關(guān)數(shù)據(jù)來(lái)源、數(shù)量、分布、標(biāo)準(zhǔn)、流向、關(guān)聯(lián)關(guān)系、數(shù)據(jù)質(zhì)量。讓用戶找到數(shù)據(jù)、讀懂?dāng)?shù)據(jù)、消費(fèi)數(shù)據(jù),致力于為用戶提供高效率的數(shù)據(jù)消費(fèi)產(chǎn)品。
數(shù)據(jù)資產(chǎn)
由企業(yè)擁有或者控制的,能夠?yàn)槠髽I(yè)帶來(lái)未來(lái)經(jīng)濟(jì)利益的,以物理或電子的方式記錄的數(shù)據(jù)資源。在企業(yè)中并非所有的數(shù)據(jù)都構(gòu)成數(shù)據(jù)資產(chǎn),數(shù)據(jù)資產(chǎn)是能夠?yàn)槠髽I(yè)產(chǎn)生價(jià)值的數(shù)據(jù)資源。
元數(shù)據(jù)
元數(shù)據(jù)是關(guān)于數(shù)據(jù)的組織、數(shù)據(jù)域及其關(guān)系的信息,簡(jiǎn)言之,元數(shù)據(jù)就是關(guān)于數(shù)據(jù)的數(shù)據(jù)。元數(shù)據(jù)包括元數(shù)據(jù)實(shí)體和元數(shù)據(jù)元素。元數(shù)據(jù)元素是元數(shù)據(jù)的基本單元,若干個(gè)相關(guān)的元數(shù)據(jù)元素構(gòu)成了元數(shù)據(jù)實(shí)體。
數(shù)據(jù)資產(chǎn)采集
支持創(chuàng)建自定義策略的采集任務(wù),采集數(shù)據(jù)源中的技術(shù)元數(shù)據(jù)。
數(shù)據(jù)資產(chǎn)報(bào)告
數(shù)據(jù)資產(chǎn)總覽與統(tǒng)計(jì)信息展示。
數(shù)據(jù)服務(wù)
數(shù)據(jù)服務(wù)是基于數(shù)據(jù)分發(fā)、發(fā)布的框架,將數(shù)據(jù)作為一種服務(wù)產(chǎn)品提供,滿足客戶的實(shí)時(shí)數(shù)據(jù)需求,能復(fù)用并符合企業(yè)和工業(yè)標(biāo)準(zhǔn),兼顧數(shù)據(jù)共享和安全。
數(shù)據(jù)調(diào)研
基于現(xiàn)有業(yè)務(wù)數(shù)據(jù)、行業(yè)現(xiàn)狀進(jìn)行數(shù)據(jù)調(diào)查、需求梳理、業(yè)務(wù)調(diào)研,輸出企業(yè)業(yè)務(wù)流程以及數(shù)據(jù)主題劃分。
主題設(shè)計(jì)
通過(guò)分層架構(gòu)表達(dá)對(duì)數(shù)據(jù)的分類和定義,幫助厘清數(shù)據(jù)資產(chǎn),明確業(yè)務(wù)領(lǐng)域和業(yè)務(wù)對(duì)象的關(guān)聯(lián)關(guān)系。
主題域分組
基于業(yè)務(wù)場(chǎng)景對(duì)主題域分組。
主題域
互不重疊數(shù)據(jù)的高層面的數(shù)據(jù)分類,用于管理其下一級(jí)的業(yè)務(wù)對(duì)象。
業(yè)務(wù)對(duì)象
指企業(yè)運(yùn)作和管理中不可缺少的重要人、事、物信息。
流程設(shè)計(jì)
流程設(shè)計(jì)是針對(duì)流程的一個(gè)結(jié)構(gòu)化的整體框架,描述了企業(yè)流程的分類、層級(jí)以及邊界、范圍、輸入/輸出關(guān)系等,反映了企業(yè)的商業(yè)模式及業(yè)務(wù)特點(diǎn)。
數(shù)據(jù)標(biāo)準(zhǔn)
數(shù)據(jù)標(biāo)準(zhǔn)用于描述公司層面需共同遵守的數(shù)據(jù)含義和業(yè)務(wù)規(guī)則。其描述了公司層面對(duì)某個(gè)數(shù)據(jù)的共同理解,這些理解一旦確定下來(lái),就應(yīng)作為企業(yè)層面的標(biāo)準(zhǔn)在企業(yè)內(nèi)被共同遵守。
碼表
通常只包括一系列允許的值和附加文本描述,與數(shù)據(jù)標(biāo)準(zhǔn)關(guān)聯(lián)用于生成值域校驗(yàn)質(zhì)量監(jiān)控。
SDI
Source Data Integration(SDI)又稱貼源數(shù)據(jù)層。SDI是源系統(tǒng)數(shù)據(jù)的簡(jiǎn)單落地。
DWI
Data Warehouse Integration(DWI)又稱數(shù)據(jù)整合層。DWI整合多個(gè)源系統(tǒng)數(shù)據(jù),源系統(tǒng)進(jìn)來(lái)數(shù)據(jù)會(huì)有整合、清洗,基于三范式關(guān)系建模。
DWR
Data Warehouse Report(DWR)又稱數(shù)據(jù)報(bào)告層。DWR基于多維模型,和DWI層數(shù)據(jù)粒度保持一致。
DM
Data Mart(DM)又稱數(shù)據(jù)集市。DM面向展現(xiàn)層,數(shù)據(jù)有多級(jí)匯總。
關(guān)系建模
關(guān)系建模是用實(shí)體關(guān)系(Entity Relationship,ER)模型描述企業(yè)業(yè)務(wù),它在范式理論上符合3NF,出發(fā)點(diǎn)是整合數(shù)據(jù),將各個(gè)系統(tǒng)中的數(shù)據(jù)以整個(gè)企業(yè)角度按主題進(jìn)行相似性組合和合并,并進(jìn)行一致性處理,為數(shù)據(jù)分析決策服務(wù),但是并不能直接用于分析決策。
維度建模
維度建模是從分析決策的需求出發(fā)構(gòu)建多維模型,它主要是為分析需求服務(wù),因此它重點(diǎn)關(guān)注用戶如何更快速地完成需求分析,同時(shí)具有較好的大規(guī)模復(fù)雜查詢的響應(yīng)性能。
多維模型是由數(shù)字型度量值組成的一張事實(shí)表連接到一組包含描述屬性的多張維度表,事實(shí)表與維度表通過(guò)主/外鍵實(shí)現(xiàn)關(guān)聯(lián)。
在DAYU規(guī)范設(shè)計(jì)中,維度建模是以維度建模理論為基礎(chǔ),構(gòu)建總線矩陣、抽象出事實(shí)和維度,構(gòu)建維度模型和事實(shí)模型,同時(shí)對(duì)報(bào)表需求進(jìn)行抽象整理出相關(guān)指標(biāo)體系,構(gòu)建出匯總模型。
指標(biāo)
指標(biāo)是衡量目標(biāo)總體特征的統(tǒng)計(jì)數(shù)值,是能表征企業(yè)某一業(yè)務(wù)活動(dòng)中業(yè)務(wù)狀況的數(shù)值指示器。指標(biāo)一般由指標(biāo)名稱和指標(biāo)數(shù)值兩部分組成,指標(biāo)名稱及其涵義體現(xiàn)了指標(biāo)質(zhì)的規(guī)定性和量的規(guī)定性兩個(gè)方面的特點(diǎn),指標(biāo)數(shù)值反映了指標(biāo)在具體時(shí)間、地點(diǎn)、條件下的數(shù)量表現(xiàn)。
度量
度量是用于衡量業(yè)務(wù)狀況的可量化的數(shù)值表現(xiàn),通常為數(shù)字,如:金額、數(shù)量、周期等。指標(biāo)與度量的關(guān)系:度量是一個(gè)數(shù)值型數(shù)據(jù),其本身不帶有業(yè)務(wù)含義,只有將度量放在業(yè)務(wù)語(yǔ)境下,方能體現(xiàn)出業(yè)務(wù)含義,才能成為指標(biāo)。
維度
維度是用于觀察和分析業(yè)務(wù)數(shù)據(jù)的視角,支撐對(duì)數(shù)據(jù)匯聚、鉆取、切片分析,用于SQL中的GROUP BY條件。多數(shù)維度具有層級(jí)結(jié)構(gòu),如:地理維度(其中包括國(guó)家、地區(qū)、省以及城市等級(jí)別的內(nèi)容)、時(shí)間維度(其中包括年度、季度、月度等級(jí)別的內(nèi)容)。
原子指標(biāo)
原子指標(biāo)中的度量和屬性來(lái)源于多維模型中的維度表和事實(shí)表,與多維模型所屬的業(yè)務(wù)對(duì)象保持一致,與多維模型中的最細(xì)數(shù)據(jù)粒度保持一致。原子指標(biāo)中僅含有唯一度量,所含其它所有與該度量、該業(yè)務(wù)對(duì)象相關(guān)的屬性,旨在用于支撐指標(biāo)的敏捷自助消費(fèi)。
衍生指標(biāo)
衍生指標(biāo)是原子指標(biāo)通過(guò)添加口徑/修飾詞、維度卷積而成,口徑/修飾詞、維度均來(lái)源于原子指標(biāo)中的屬性。例如:促銷員門店覆蓋率。
復(fù)合指標(biāo)
復(fù)合指標(biāo)由一個(gè)或多個(gè)衍生指標(biāo)疊加計(jì)算而成,其中的維度、口徑/修飾詞均繼承于衍生指標(biāo)(不能脫離衍生指標(biāo)維度和口徑/修飾詞的范圍,去產(chǎn)生新的維度和口徑/修飾詞)。
口徑/修飾詞
口徑/修飾詞是對(duì)業(yè)務(wù)場(chǎng)景限定抽象,用于度量范圍的圈定,用于SQL中的WHERE條件。
數(shù)據(jù)質(zhì)量規(guī)則
不符合業(yè)務(wù)實(shí)質(zhì)、不滿足數(shù)據(jù)應(yīng)用要求的數(shù)據(jù)判斷邏輯。
接入通道
租戶創(chuàng)建的用于發(fā)送或者接收實(shí)時(shí)數(shù)據(jù)的邏輯單位,用以區(qū)分不同租戶實(shí)時(shí)數(shù)據(jù)的集合。
分區(qū)
分區(qū)(Partition)是接入實(shí)時(shí)數(shù)據(jù)流的基本吞吐量單位,每個(gè)Partition提供1MB/秒數(shù)據(jù)輸入和2MB/秒數(shù)據(jù)輸出容量。一個(gè)分區(qū)最高可支持每秒1000個(gè)PUT記錄。創(chuàng)建數(shù)據(jù)流時(shí),您將指定所需的分區(qū)數(shù)量。
批量數(shù)據(jù) 遷移 集群
批量數(shù)據(jù)遷移給用戶提供的最小資源單位,一個(gè)批量數(shù)據(jù)遷移集群運(yùn)行在一個(gè)彈性 云服務(wù)器 之上,用戶可以在集群中創(chuàng)建數(shù)據(jù)遷移作業(yè),在云上和云下的同構(gòu)/異構(gòu)數(shù)據(jù)源之間批量遷移數(shù)據(jù)。
數(shù)據(jù)連接
定義訪問(wèn)數(shù)據(jù)實(shí)體存儲(chǔ)(計(jì)算)空間所需的信息的集合,包括連接類型、名稱和登錄信息等。
解決方案
解決方案定位于為用戶提供便捷的、系統(tǒng)的方式管理作業(yè),更好地實(shí)現(xiàn)業(yè)務(wù)需求和目標(biāo)。每個(gè)解決方案可以包含一個(gè)或多個(gè)業(yè)務(wù)相關(guān)的作業(yè),一個(gè)作業(yè)可以被多個(gè)解決方案復(fù)用。
作業(yè)(數(shù)據(jù)開發(fā))
在數(shù)據(jù)開發(fā)中,作業(yè)由一個(gè)或多個(gè)節(jié)點(diǎn)組成,共同執(zhí)行以完成對(duì)數(shù)據(jù)的一系列操作。
節(jié)點(diǎn)
節(jié)點(diǎn)用于定義對(duì)數(shù)據(jù)執(zhí)行的操作。例如,使用“MRS Spark”節(jié)點(diǎn)可以實(shí)現(xiàn)在MRS中執(zhí)行預(yù)先定義的Spark作業(yè)。
資源
用戶可以上傳自定義的代碼或文本文件作為資源,并在節(jié)點(diǎn)運(yùn)行時(shí)調(diào)用。
函數(shù)
函數(shù)可以作為腳本/作業(yè)參數(shù)的值,所有函數(shù)都以“$”符號(hào)開頭,后面接函數(shù)名和參數(shù)序列。
表達(dá)式
數(shù)據(jù)開發(fā)作業(yè)中的節(jié)點(diǎn)參數(shù)可以使用表達(dá)式語(yǔ)言(Expression Language,簡(jiǎn)稱EL),根據(jù)運(yùn)行環(huán)境動(dòng)態(tài)生成參數(shù)值。數(shù)據(jù)開發(fā)EL表達(dá)式使用簡(jiǎn)單的算術(shù)和邏輯計(jì)算,引用內(nèi)嵌對(duì)象,包括作業(yè)對(duì)象和一些工具類對(duì)象。
環(huán)境變量
環(huán)境變量是在操作系統(tǒng)中一個(gè)具有特定名字的對(duì)象,它包含了一個(gè)或者多個(gè)應(yīng)用程序所將使用到的信息。
補(bǔ)數(shù)據(jù)
手工觸發(fā)周期方式調(diào)度的作業(yè)任務(wù),生成過(guò)去某時(shí)間段內(nèi)的實(shí)例。