華為云計算 云知識 Serverless DLI基本概念
Serverless DLI基本概念

租戶

DLI支持多個組織、部門或應用共享使用資源。通過提供一個邏輯實體來統(tǒng)一使用不同資源和服務,這個邏輯實體就是租戶。多個不同的租戶統(tǒng)稱多租戶。租戶對應公司。一個租戶可以創(chuàng)建多個子用戶,并可以對不同用戶授予不同權(quán)限。

項目

各個服務中的一些可以訪問的資源集合稱為項目。一個賬號可以在一個區(qū)域下創(chuàng)建多個項目,并基于項目進行授權(quán)。不同項目下的資源相互隔離。項目可以是一個部門或者一個項目組。

數(shù)據(jù)庫

DLI中數(shù)據(jù)庫的概念、基本用法與Oracle數(shù)據(jù)庫基本相同,它還是DLI管理權(quán)限的基礎單元,賦權(quán)以數(shù)據(jù)庫為單位。

在DLI中,表和數(shù)據(jù)庫是定義底層數(shù)據(jù)的元數(shù)據(jù)容器。表中的元數(shù)據(jù)讓DLI知道數(shù)據(jù)所在的位置,并指定了數(shù)據(jù)的結(jié)構(gòu),例如列名稱、數(shù)據(jù)類型和表名稱。數(shù)據(jù)庫是表的邏輯分組。

元數(shù)據(jù)

元數(shù)據(jù)(Metadata)是用來定義數(shù)據(jù)類型的數(shù)據(jù)。主要是描述數(shù)據(jù)自身信息,包含源、大小、格式或其它數(shù)據(jù)特征。數(shù)據(jù)庫字段中,元數(shù)據(jù)用于詮釋 數(shù)據(jù)倉庫 的內(nèi)容。

計算資源

DLI服務中的隊列即為計算資源,計算資源是使用DLI服務的基礎,用戶執(zhí)行的SQL作業(yè)和Spark作業(yè)都需要使用計算資源。

存儲資源

存儲資源是DLI服務內(nèi)部存儲的資源,用于存儲數(shù)據(jù)庫和DLI表,是向DLI導入數(shù)據(jù)的必備條件,體現(xiàn)用戶數(shù)據(jù)存儲在DLI中的數(shù)據(jù)量。

SQL作業(yè)

在SQL作業(yè)編輯器執(zhí)行的SQL語句、導入數(shù)據(jù)和導出數(shù)據(jù)等操作,在系統(tǒng)中對應的執(zhí)行實體,稱之為SQL作業(yè)。

Spark作業(yè)

Spark作業(yè)是指用戶通過可視化界面和RESTful API提交的作業(yè),支持提交Spark Core/DataSet/Streaming/MLlib/GraphX等Spark全棧作業(yè)。

CU

CU是隊列的計價單位。1CU=1Core 4GMem。不同規(guī)格的隊列對應的計算能力不一樣,規(guī)格越高計算能力越好。

OBS表、DLI表、CloudTable表

不同表類型表示不同的數(shù)據(jù)存儲位置。

OBS表表示數(shù)據(jù)存儲在OBS服務的桶中。

DLI表表示數(shù)據(jù)存儲在本服務內(nèi)部的表中。

CloudTable表表示數(shù)據(jù)儲存在CloudTable服務的表中。

可通過DLI創(chuàng)建表,與其他服務的數(shù)據(jù)進行關(guān)聯(lián),以此來實現(xiàn)不同數(shù)據(jù)源的聯(lián)合查詢分析。