操作場景

DLI 可以查詢存儲在RDS 數(shù)據(jù)庫 中的數(shù)據(jù)，本節(jié)操作介紹使用DLI提交SQL作業(yè)查詢RDS MySQL數(shù)據(jù)的操作步驟。

本例創(chuàng)建RDS實例并新建數(shù)據(jù)庫和表，創(chuàng)建DLI彈性資源池隊列，通過增強型跨源連接打通DLI彈性資源池和RDS實例的網(wǎng)絡(luò)，并提交SQL作業(yè)跨源訪問RDS的表數(shù)據(jù)。

操作流程

使用DLI提交SQL作業(yè)查詢RDS MySQL數(shù)據(jù)操作流程如表1所示。

開始進行如下操作前，請務(wù)必參考準備工作完成必要操作。

準備工作

• 已注冊華為賬號并開通華為云，且在使用DLI前檢查賬號狀態(tài)，賬號不能處于欠費或凍結(jié)狀態(tài)。
• 配置DLI委托訪問授權(quán)。
  DLI使用過程中涉及到 OBS 、 VPC 、 SMN 等服務(wù)交互，首次使用DLI需要用戶配置委托授權(quán)，允許訪問這些依賴服務(wù)。

  1. 使用華為云賬號登錄DLI管理控制臺，在左側(cè)導(dǎo)航欄單擊“全局配置 > 服務(wù)授權(quán)”。
  2. 在委托設(shè)置頁面，勾選基礎(chǔ)使用、跨源場景、運維場景的委托權(quán)限后，單擊“更新委托權(quán)限”。
  3. 查看并了解更新委托的提示信息，單擊“確定”。完成DLI委托權(quán)限的更新。
     圖1 配置DLI委托訪問授權(quán)
     
  4. 完成配置后，在 IAM 控制臺的委托列表中，可查看到dli_management_agency的委托信息。
• 配置DLI作業(yè)桶。

  請務(wù)必在使用DLI提交作業(yè)前配置DLI作業(yè)桶，該桶用于存儲DLI作業(yè)運行過程中產(chǎn)生的臨時數(shù)據(jù)，例如：作業(yè)日志、作業(yè)結(jié)果。

  參考配置DLI作業(yè)桶在DLI管理控制臺的“全局配置 > 工程配置”頁面配置DLI作業(yè)桶。

步驟1：創(chuàng)建RDS MySQL實例

本樣例中，假設(shè)作業(yè)名稱為“JobSample”，采用RDS服務(wù)作為數(shù)據(jù)源，創(chuàng)建RDS MySQL實例。

具體操作請參見購買 RDS for MySQL 實例。

1. 登錄RDS管理控制臺。
2. 在管理控制臺左上角選擇區(qū)域和項目。
3. 在“實例管理”頁面，單擊“購買數(shù)據(jù)庫實例”。
4. 在購買數(shù)據(jù)庫實例頁面，選擇計費模式，填寫并選擇實例相關(guān)信息后，單擊“立即購買”。

   根據(jù)業(yè)務(wù)規(guī)劃配置參數(shù)信息，本例參數(shù)配置信息如所示。

   更多RDS實例的參數(shù)配置信息請參考購買RDS實例。

   表2 RDS MySQL實例參數(shù)配置信息

   參數(shù)名稱	參數(shù)說明	取值樣例
   計費模式	選擇RDS實例的計費模式。	按需計費
   區(qū)域	資源所在的區(qū)域。	華東-上海二
   實例名稱	實例名稱。	rds-demo
   數(shù)據(jù)庫引擎	MySQL	MySQL
   數(shù)據(jù)庫版本	選用RDS for MySQL數(shù)據(jù)庫時，請根據(jù)實際業(yè)務(wù)需求選擇合適的數(shù)據(jù)庫引擎版本。建議您選擇當前可用的最高版本數(shù)據(jù)庫，因其性能更穩(wěn)定，安全性更高，使用更可靠。	8.0
   實例類型	選擇實例的主備類型。	單機
   存儲類型	實例的存儲類型決定實例的讀寫速度。最大吞吐量越高，讀寫速度越快。	SSD云盤
   可用區(qū)	對于單機實例，僅需選擇單個可用區(qū)。	-
   時區(qū)	由于世界各國家與地區(qū)經(jīng)度不同，地方時也有所不同，因此會劃分為不同的時區(qū)。時區(qū)可在創(chuàng)建實例時選擇，后期可修改。	默認
   性能規(guī)格	實例的CPU和內(nèi)存。不同性能規(guī)格對應(yīng)不同連接數(shù)和最大IOPS。	2vCPUs | 4GB
   存儲空間	如果存儲類型為SSD云盤或極速型SSD，可設(shè)置存儲空間自動擴容，當存儲空間可用率過小時，會自動擴容存儲空間。	40GB
   磁盤加密	選擇是否開啟磁盤加密功能。	不加密
   虛擬私有云	選擇已有的虛擬 私有云 。 如需重新創(chuàng)建VPC和子網(wǎng)，請參考創(chuàng)建虛擬私有云和子網(wǎng)。 說明： 跨源場景數(shù)據(jù)源網(wǎng)段和彈性資源池的網(wǎng)段不能重合。	-
   數(shù)據(jù)庫端口	默認使用3306端口。	3306
   安全組	安全組限制實例的安全訪問規(guī)則，加強 云數(shù)據(jù)庫 RDS服務(wù)與其他服務(wù)間的安全訪問。 數(shù)據(jù)源的安全組需放通DLI彈性資源池的網(wǎng)段。	-
   設(shè)置密碼	設(shè)置實例的登錄密碼。	-
   管理員賬號	root	root
   管理員密碼	設(shè)置管理員密碼。	-
   參數(shù)模板	數(shù)據(jù)庫參數(shù)模板就像是數(shù)據(jù)庫引擎配置值的容器，參數(shù)模板中的參數(shù)可應(yīng)用于一個或多個相同類型的數(shù)據(jù)庫實例。	系統(tǒng)默認模板：Default-MySQL-5.7
   表名大小寫	配置表名不區(qū)分大小寫。	不區(qū)分大小寫
   企業(yè)項目	對于已成功關(guān)聯(lián)企業(yè)項目的用戶，僅需在“企業(yè)項目”下拉框中選擇目標項目。	default
   購買數(shù)量	實例購買數(shù)量	1
   只讀實例	為了實現(xiàn)讀取能力的彈性擴展，分擔數(shù)據(jù)庫壓力，您可以在某個區(qū)域中創(chuàng)建一個或多個只讀實例。	暫不購買

5. 單擊“立即購買”，進入規(guī)格確認頁面。
6. 單擊“提交”，完成購買RDS MySQL實例。
7. 實例創(chuàng)建成功后，用戶可以在“實例管理”頁面對其進行查看和管理。

   創(chuàng)建實例過程中，狀態(tài)顯示為“創(chuàng)建中”，創(chuàng)建完成的實例狀態(tài)顯示為“正?！薄Ｄ梢酝ㄟ^“任務(wù)中心”查看詳細進度和結(jié)果。

步驟2：創(chuàng)建RDS數(shù)據(jù)庫表

1. 登錄RDS管理控制臺。
2. 在管理控制臺左上角選擇區(qū)域和項目。
3. 在“實例管理頁面”，找到您已經(jīng)創(chuàng)建的RDS實例，記錄并保存RDS實例的內(nèi)網(wǎng)地址。
   圖2 內(nèi)網(wǎng)地址
   
4. 單擊所創(chuàng)建RDS實例的“登錄”，跳轉(zhuǎn)至“ 數(shù)據(jù)管理服務(wù) - DAS ”。輸入相關(guān)賬戶信息，單擊“測試連接”。顯示連接成功后，單擊“登錄”，進入“實例登錄”頁面。
   圖3 登錄RDS
   
   圖4 實例登錄
   
5. 登錄RDS實例后，單擊“新建數(shù)據(jù)庫”，創(chuàng)建名稱為“dli_demo”的數(shù)據(jù)庫。
6. 單擊“SQL查詢”，執(zhí)行如下SQL創(chuàng)建表。

   CREATE TABLE `dli_demo`.`tabletest` (`id` VARCHAR(32) NOT NULL,`name` VARCHAR(32) NOT NULL,PRIMARY KEY (`id`))ENGINE = InnoDBDEFAULT CHARACTER SET = utf8mb4;

步驟3：創(chuàng)建彈性資源池并添加隊列

執(zhí)行跨源場景的SQL作業(yè)，不能使用系統(tǒng)已有的default隊列，需要您創(chuàng)建SQL隊列，本例創(chuàng)建彈性資源池“dli_resource_pool”、隊列“dli_queue_01”。

1. 登錄DLI管理控制臺。
2. 在左側(cè)導(dǎo)航欄單擊“資源管理 > 彈性資源池”，可進入彈性資源池管理頁面。
3. 在彈性資源池管理界面，單擊界面右上角的“購買彈性資源池”。
4. 在“購買彈性資源池”界面，填寫具體的彈性資源池參數(shù)。
   本例在華東-上海二區(qū)域購買按需計費的彈性資源池。相關(guān)參數(shù)說明如表3所示。

   表3 參數(shù)說明

   參數(shù)名稱	參數(shù)說明	配置樣例
   計費模式	選擇彈性資源池計費模式。	按需計費
   區(qū)域	選擇彈性資源池所在區(qū)域。	華東-上海二
   項目	每個區(qū)域默認對應(yīng)一個項目，由系統(tǒng)預(yù)置。	系統(tǒng)默認項目
   名稱	彈性資源池名稱。	dli_resource_pool
   規(guī)格	選擇彈性資源池規(guī)格。	標準版
   CU范圍	彈性資源池最大最小CU范圍。	64-64
   網(wǎng)段	規(guī)劃彈性資源池所屬的網(wǎng)段。如需使用DLI增強型跨源，彈性資源池網(wǎng)段與數(shù)據(jù)源網(wǎng)段不能重合。彈性資源池網(wǎng)段設(shè)置后不支持更改。	172.16.0.0/19
   企業(yè)項目	選擇對應(yīng)的企業(yè)項目。	default

5. 參數(shù)填寫完成后，單擊“立即購買”，在界面上確認當前配置是否正確。
6. 單擊“提交”完成彈性資源池的創(chuàng)建。
7. 在彈性資源池的列表頁，選擇要操作的彈性資源池，單擊操作列的“添加隊列”。
8. 配置隊列的基礎(chǔ)配置，具體參數(shù)信息如下。

   表4 彈性資源池添加隊列基礎(chǔ)配置

   參數(shù)名稱	參數(shù)說明	配置樣例
   名稱	彈性資源池添加的隊列名稱。	dli_queue_01
   類型	選擇創(chuàng)建的隊列類型。 執(zhí)行SQL作業(yè)請選擇SQL隊列。 執(zhí)行Flink或Spark作業(yè)請選擇通用隊列。	_
   執(zhí)行引擎	SQL隊列可以選擇隊列引擎為Spark或者HetuEngine。	_
   企業(yè)項目	選擇對應(yīng)的企業(yè)項目。	default

9. 單擊“下一步”，配置隊列的擴縮容策略。

   單擊“新增”，可以添加不同優(yōu)先級、時間段、“最小CU”和“最大CU”擴縮容策略。

   本例配置的擴縮容策略如圖5所示。

   圖5 添加隊列時配置擴縮容策略
   

   表5 擴縮容策略參數(shù)說明

   參數(shù)名稱	參數(shù)說明	配置樣例
   優(yōu)先級	當前彈性資源池中的優(yōu)先級數(shù)字越大表示優(yōu)先級越高。本例設(shè)置一條擴縮容策略，默認優(yōu)先級為1。	1
   時間段	首條擴縮容策略是默認策略，不能刪除和修改時間段配置。 即設(shè)置00-24點的擴縮容策略。	00-24
   最小CU	設(shè)置擴縮容策略支持的最小CU數(shù)。	16
   最大CU	當前擴縮容策略支持的最大CU數(shù)。	64

10. 單擊“確定”完成添加隊列配置。

步驟4：創(chuàng)建增強型跨源連接

1. 在RDS實例所在的安全組上放通DLI隊列網(wǎng)段
   1. 在RDS管理控制臺，在RDS實例列表頁單擊對應(yīng)的RDS實例名稱，進入到RDS實例的基本信息頁面。
   2. 單擊“連接管理”配置安全組規(guī)則，在“入方向規(guī)則”中添加放通隊列網(wǎng)段的規(guī)則。

      例如，本示例隊列網(wǎng)段為“172.16.0.0/19”，規(guī)則添加為：

      • 優(yōu)先級選擇：1，策略選擇：允許
      • 類型：IPv4
      • 協(xié)議端口：基本協(xié)議\自定義TCP，端口值不填
      • 源地址為：選擇IP地址，172.16.0.0/19

      單擊“確定”完成安全組規(guī)則添加。

2. 創(chuàng)建RDS與DLI的增強型跨源連接。

   創(chuàng)建增強型跨源連接具體操作請參考創(chuàng)建增強型跨源連接。

   

   綁定跨源的彈性資源池的網(wǎng)段和數(shù)據(jù)源網(wǎng)段不能重合。

   1. 在DLI管理控制臺左側(cè)導(dǎo)航欄中，選擇“跨源管理”。
   2. 選擇“增強型跨源”頁簽，單擊左上角的“創(chuàng)建”按鈕。配置參數(shù)：
      • 連接名稱：dlirds
      • 彈性資源池：選擇步驟3：創(chuàng)建彈性資源池并添加隊列中創(chuàng)建的彈性資源池。
      • 虛擬私有云：選擇MySQL 實例所在的VPC，即步驟2：創(chuàng)建RDS數(shù)據(jù)庫表中選擇的VPC。
      • 子網(wǎng)：選擇MySQL 實例所在的子網(wǎng)，即步驟2：創(chuàng)建RDS數(shù)據(jù)庫表中選擇的子網(wǎng)。

        在RDS控制臺“實例管理”頁面，單擊對應(yīng)實例名稱，查看“連接信息”>“子網(wǎng)”，也可獲取對應(yīng)信息。

   3. 單擊“確定”，創(chuàng)建增強型跨源連接。
   4. 在“增強型跨源”頁簽，單擊創(chuàng)建的連接名稱：dlirds，查看對等連接ID及連接狀態(tài)，連接狀態(tài)為“已激活”表示連接成功。
   5. 測試隊列與RDS實例連通性。
      1. 單擊“資源管理 > 隊列管理”，選擇步驟3：創(chuàng)建彈性資源池并添加隊列添加的隊列，單擊“操作”列中的“更多 > 測試地址連通性”。
         圖6 檢測地址連通性
         
      2. 輸入步驟2：創(chuàng)建RDS數(shù)據(jù)庫表中記錄的RDS MySQL實例內(nèi)網(wǎng)地址，進行網(wǎng)絡(luò)連通性測試。
         

         在RDS控制臺“實例管理”頁面，單擊對應(yīng)實例名稱，查看“連接信息”>“內(nèi)網(wǎng)地址”，即可獲取對應(yīng)信息。

         • 測試結(jié)果顯示可達，則DLI隊列與MySQL實例的網(wǎng)絡(luò)已經(jīng)聯(lián)通。
           圖7 測試結(jié)果
           
         • 如果測試結(jié)果不可達，請參考創(chuàng)建跨源成功但測試網(wǎng)絡(luò)連通性失敗怎么辦？進行排查。

           排查完成后，重新進行網(wǎng)絡(luò)連通性測試。

步驟5：創(chuàng)建跨源認證

跨源分析場景中，如果在作業(yè)中直接配置認證信息會觸發(fā)密碼泄露的風險，因此推薦您使用DLI提供的跨源認證方式來存儲數(shù)據(jù)源的認證信息。

RDS數(shù)據(jù)源在Spark SQL作業(yè)場景可以創(chuàng)建Password類型的跨源認證。

1. 登錄DLI管理控制臺。
2. 選擇“跨源管理 > 跨源認證”。
3. 單擊“創(chuàng)建”。

   填寫認證信息，詳細參數(shù)說明請參考表6。

   表6 跨源認證參數(shù)說明

   參數(shù)	參數(shù)說明
   類型	選擇Password。
   認證信息名稱	所創(chuàng)建的跨源認證信息名稱。 名稱只能包含數(shù)字、英文字母和下劃線，但不能是純數(shù)字，且不能以下劃線開頭。 輸入長度不能超過128個字符。
   用戶名稱	訪問RDS實例用戶名。
   用戶密碼	RDS實例登錄密碼。

   圖8 創(chuàng)建認證信息-Password
   

步驟6：提交SQL作業(yè)

本節(jié)示例以SQL作業(yè)為例說明如何跨源訪問RDS表。

1. 在DLI管理控制臺的左側(cè)導(dǎo)航欄中，單擊“SQL編輯器”，進入SQL作業(yè)編輯器頁面。
2. 在“SQL編輯器”頁面右側(cè)的編輯窗口中，輸入如下SQL語句創(chuàng)建數(shù)據(jù)庫db1，單擊“執(zhí)行”。

   create database db1;

3. 在編輯窗口中，選擇隊列“dli_queue_01”和數(shù)據(jù)庫“db1”。輸入如下SQL語句創(chuàng)建表，向RDS表插入數(shù)據(jù)，以及查詢數(shù)據(jù)，單擊“執(zhí)行”。
   根據(jù)界面顯示的執(zhí)行結(jié)果查詢RDS表數(shù)據(jù)信息，整個操作完成。

   CREATE TABLE IF NOT EXISTS rds_test USING JDBC OPTIONS (  'url' = 'jdbc:mysql://{{ip}}:{{port}}',  //RDS內(nèi)網(wǎng)地址及端口  'driver' = 'com.mysql.jdbc.Driver',  'dbtable' = 'dli_demo.tabletest', //在RDS創(chuàng)建的庫名及表名  'encryption' = 'true',  'passwdauth'="xxxxx" // DLI側(cè)創(chuàng)建的Password類型的跨源認證名稱。使用跨源認證則無需在作業(yè)中配置賬號和密碼。)insert into rds_test VALUES ('123','abc');SELECT * from rds_test;

后續(xù)指引

完成增強型跨源連接訪問RDS快速入門操作后，如果您想了解更多關(guān)于跨源連接的相關(guān)操作，建議您參考以下指引閱讀。