操作場(chǎng)景

數(shù)據(jù)倉(cāng)庫(kù)服務(wù)DWS是完全托管的企業(yè)級(jí)云上數(shù)據(jù)倉(cāng)庫(kù)服務(wù)，具備免運(yùn)維、在線(xiàn)擴(kuò)展、高效的多源數(shù)據(jù)加載能力，兼容 PostgreSQL 生態(tài)。助力企業(yè)經(jīng)濟(jì)高效地對(duì)海量數(shù)據(jù)進(jìn)行在線(xiàn)分析，實(shí)現(xiàn)數(shù)據(jù)快速變現(xiàn)。

本文以創(chuàng)建3節(jié)點(diǎn)的DWS集群為例，通過(guò)導(dǎo)入 OBS 桶上csv格式的數(shù)據(jù)，完成簡(jiǎn)單的數(shù)據(jù)查詢(xún)。

DWS集群不支持跨區(qū)域訪(fǎng)問(wèn)OBS桶數(shù)據(jù)，創(chuàng)建DWS集群前需規(guī)劃好DWS集群與OBS桶在同一個(gè)區(qū)域內(nèi)，本文以“華北-北京四”為例。

• 計(jì)費(fèi)方式：按需
• 版本選擇：存算一體
• 集群節(jié)點(diǎn)：3
• 連接集群方式：SQL編輯器
• 存儲(chǔ)容量：20G/節(jié)點(diǎn)
• 數(shù)據(jù)源：OBS桶的csv數(shù)據(jù)
• 集群版本：8.1.3.x

視頻介紹

操作流程

準(zhǔn)備工作

• 已注冊(cè)賬號(hào)并實(shí)名認(rèn)證，且在使用DWS 前檢查賬號(hào)狀態(tài)，賬號(hào)不能處于欠費(fèi)或凍結(jié)狀態(tài)。
• 獲取此賬號(hào)的“AK/SK”，參見(jiàn)訪(fǎng)問(wèn)密鑰。
• 已創(chuàng)建VPC和子網(wǎng)。

步驟一：創(chuàng)建DWS集群

1. 登錄DWS管理控制臺(tái)購(gòu)買(mǎi)頁(yè)面。
2. 參見(jiàn)表2進(jìn)行基礎(chǔ)配置。

   表2 基礎(chǔ)配置

   參數(shù)	示例	說(shuō)明
   區(qū)域	選擇“華北-北京四”。 說(shuō)明： 本指導(dǎo)以“華北-北京四”為例進(jìn)行介紹，如果您需要選擇其他區(qū)域，請(qǐng)確保其他云服務(wù)均在同一區(qū)域。	請(qǐng)就近選擇靠近您業(yè)務(wù)的區(qū)域，可以降低網(wǎng)絡(luò)時(shí)延、提高訪(fǎng)問(wèn)速度。DWS創(chuàng)建后無(wú)法更換區(qū)域，請(qǐng)謹(jǐn)慎選擇。 更多信息，請(qǐng)參見(jiàn)區(qū)域和可用分區(qū)。
   計(jì)費(fèi)模式	按需計(jì)費(fèi)。	支持包年/包月計(jì)費(fèi)、按需計(jì)費(fèi)。如長(zhǎng)期使用，建議使用包年/包月，可享受更大折扣。 更多信息，請(qǐng)參見(jiàn)計(jì)費(fèi)說(shuō)明。
   可用分區(qū)	單AZ，可用區(qū)1（如規(guī)格售罄，可選擇其他可用區(qū)）。	單AZ：集群的所有節(jié)點(diǎn)部署在同一個(gè)AZ內(nèi)。 多AZ：集群的節(jié)點(diǎn)部署在多個(gè)AZ內(nèi)，滿(mǎn)足集群跨AZ高可用要求，對(duì)高可用要求更高的業(yè)務(wù)，建議使用多AZ。

   圖1 基礎(chǔ)配置
   

3. 參見(jiàn)表3，進(jìn)行數(shù)據(jù)倉(cāng)庫(kù)配置。

   表3 數(shù)據(jù)倉(cāng)庫(kù)配置

   參數(shù)	示例	說(shuō)明
   版本選擇	存算一體	存算一體：數(shù)據(jù)存儲(chǔ)在計(jì)算節(jié)點(diǎn)的本地磁盤(pán)。 存算分離：計(jì)算節(jié)點(diǎn)本地盤(pán)僅做數(shù)據(jù)緩存和存儲(chǔ)元數(shù)據(jù)，用戶(hù)數(shù)據(jù)存儲(chǔ)在OBS 對(duì)象存儲(chǔ) 上。
   存儲(chǔ)類(lèi)型	SSD云盤(pán)	SSD云盤(pán)：使用SSD類(lèi)型的 EVS 作為數(shù)據(jù)存儲(chǔ)介質(zhì)，存儲(chǔ)容量更加靈活，支持磁盤(pán)擴(kuò)容。 SSD本地盤(pán)：使用 ECS 規(guī)格自帶的本地磁盤(pán)作為數(shù)據(jù)存儲(chǔ)介質(zhì)，容量固定，性能更高，不支持磁盤(pán)擴(kuò)容。 更多信息，請(qǐng)參見(jiàn)SSD云盤(pán)和本地盤(pán)的區(qū)別。
   CPU架構(gòu)	鯤鵬	集群節(jié)點(diǎn)的CPU架構(gòu)：支持鯤鵬和X86。
   節(jié)點(diǎn)規(guī)格	dwsk2.xlarge 說(shuō)明： 如規(guī)格售罄，可選擇其他可用區(qū)或規(guī)格。	節(jié)點(diǎn)規(guī)格是衡量DWS算力的一個(gè)指標(biāo)，包含vCPUs和內(nèi)存，請(qǐng)根據(jù)業(yè)務(wù)需求合理選擇，通常對(duì)查詢(xún)性能要求越高，選擇的規(guī)格越大。 更多信息，請(qǐng)參見(jiàn)數(shù)據(jù)倉(cāng)庫(kù)規(guī)格。
   熱數(shù)據(jù)存儲(chǔ)	20GB / 節(jié)點(diǎn)	每節(jié)點(diǎn)可用存儲(chǔ)容量。界面上顯示的是業(yè)務(wù)數(shù)據(jù)實(shí)際存儲(chǔ)容量，例如20GB/節(jié)點(diǎn)，節(jié)點(diǎn)總數(shù)3，則業(yè)務(wù)數(shù)據(jù)總?cè)萘繛?0GB。對(duì)于業(yè)務(wù)數(shù)據(jù)量較大的客戶(hù)，請(qǐng)合理規(guī)劃存儲(chǔ)容量。
   節(jié)點(diǎn)數(shù)量	3	集群節(jié)點(diǎn)的數(shù)量。支持的節(jié)點(diǎn)數(shù)范圍為3～256。

   圖2 數(shù)據(jù)倉(cāng)庫(kù)配置
   

4. 單擊“下一步：網(wǎng)絡(luò)配置”。
5. 參見(jiàn)表4進(jìn)行網(wǎng)絡(luò)配置。

   表4 網(wǎng)絡(luò)配置

   參數(shù)	示例	說(shuō)明
   虛擬私有云	vpc-default	DWS所在的虛擬 私有云 網(wǎng)絡(luò)。
   子網(wǎng)	subnet-default(192.168.0.0/24)	虛擬私有云的子網(wǎng)。
   安全組	自動(dòng)創(chuàng)建安全組	支持“自動(dòng)創(chuàng)建安全組”或選擇已創(chuàng)建的安全組。 系統(tǒng)默認(rèn)選中“自動(dòng)創(chuàng)建安全組”，設(shè)置為該選項(xiàng)時(shí)，系統(tǒng)將會(huì)自動(dòng)創(chuàng)建一個(gè)默認(rèn)安全組。 默認(rèn)安全組的規(guī)則如下：出方向允許所有訪(fǎng)問(wèn)，入方向只開(kāi)放用戶(hù)設(shè)置的DWS 集群的數(shù)據(jù)庫(kù)端口8000。
   公網(wǎng)訪(fǎng)問(wèn)	暫不使用	如果連接DWS的客戶(hù)端跟DWS不在一個(gè)虛擬私有云網(wǎng)絡(luò)內(nèi)，需要選擇使用 彈性公網(wǎng)IP 。
   彈性負(fù)載均衡	暫不使用	用戶(hù)使用客戶(hù)端連接DWS集群時(shí)，如果用戶(hù)僅連接一個(gè)CN節(jié)點(diǎn)地址，通過(guò)該CN節(jié)點(diǎn)內(nèi)網(wǎng)IP或彈性 公網(wǎng)IP 連接時(shí)，只能連接到固定的CN節(jié)點(diǎn)上，存在CN單點(diǎn)問(wèn)題。 利用 ELB 健康檢查機(jī)制可將集群的CN請(qǐng)求快速轉(zhuǎn)發(fā)到正常工作的CN節(jié)點(diǎn)上，當(dāng)有CN故障節(jié)點(diǎn)時(shí)，也能第一時(shí)間切換流量到健康節(jié)點(diǎn)上，最大化降低集群訪(fǎng)問(wèn)故障。 更多信息，請(qǐng)參見(jiàn)集群綁定和解綁ELB。

   圖3 網(wǎng)絡(luò)配置
   

6. 單擊“下一步：高級(jí)配置”，參見(jiàn)表5進(jìn)行高級(jí)配置。

   表5 高級(jí)配置

   參數(shù)	示例	說(shuō)明
   集群名稱(chēng)	dws-demo	集群名稱(chēng)，用戶(hù)自定義，支持后續(xù)修改。
   集群版本	使用推薦版本	每個(gè)版本支持的數(shù)據(jù)庫(kù)功能不同，默認(rèn)選擇推薦版本。如需使用高版本功能，請(qǐng)選擇更高版本。 說(shuō)明： 白名單客戶(hù)界面，會(huì)顯示其他集群版本，請(qǐng)根據(jù)界面實(shí)際情況選擇。 集群各版本支持功能，請(qǐng)參見(jiàn)產(chǎn)品公告。
   管理員用戶(hù)	dbadmin	指定數(shù)據(jù)庫(kù)系統(tǒng)管理員的用戶(hù)名，默認(rèn)即可。 數(shù)據(jù)庫(kù)系統(tǒng)管理員默認(rèn)具有SYSADMIN屬性，非三權(quán)分立模式下，擁有數(shù)據(jù)庫(kù)最高權(quán)限。可用于規(guī)劃數(shù)據(jù)庫(kù)對(duì)象，例如創(chuàng)建數(shù)據(jù)庫(kù)、用戶(hù)、授權(quán)用戶(hù)角色等操作。 更多信息，請(qǐng)參見(jiàn)數(shù)據(jù)庫(kù)用戶(hù)。
   管理員密碼	-	數(shù)據(jù)庫(kù)系統(tǒng)管理員密碼。
   確認(rèn)密碼	-	數(shù)據(jù)庫(kù)系統(tǒng)管理員密碼。
   數(shù)據(jù)庫(kù)端口	8000	客戶(hù)端連接DWS數(shù)據(jù)庫(kù)的端口，默認(rèn)8000即可。
   企業(yè)項(xiàng)目	default	僅當(dāng)使用企業(yè)類(lèi)型的賬號(hào)創(chuàng)建DWS時(shí)，會(huì)顯示該參數(shù)。 用于按項(xiàng)目統(tǒng)一管理云資源。
   高級(jí)配置	默認(rèn)配置	高級(jí)配置支持“默認(rèn)配置”和“自定義”。當(dāng)選擇“自定義”時(shí)，支持以下高級(jí)配置： 備份設(shè)備：OBS或者NFS。 CN部署量：在大規(guī)模集群下，建議部署多個(gè)CN。 標(biāo)簽：在DWS中，當(dāng)用戶(hù)創(chuàng)建集群后，如果想對(duì)集群添加如項(xiàng)目名稱(chēng)、業(yè)務(wù)類(lèi)別、背景信息等相關(guān)信息的標(biāo)識(shí)，用戶(hù)可以通過(guò)添加標(biāo)簽來(lái)實(shí)現(xiàn)。如果用戶(hù)在其他云服務(wù)中使用了標(biāo)簽，那么建議用戶(hù)為同一個(gè)業(yè)務(wù)所使用的云資源創(chuàng)建相同的標(biāo)簽鍵值對(duì)以保持一致性。 加密數(shù)據(jù)庫(kù)。開(kāi)啟后，DWS將使用KMS（密鑰管理服務(wù)）為集群及其快照的數(shù)據(jù)啟用加密功能。

   圖4 高級(jí)配置
   

7. 單擊“下一步：確認(rèn)配置”，確認(rèn)無(wú)誤后，單擊“立即購(gòu)買(mǎi)”。

   等待約10分鐘，集群創(chuàng)建成功。

步驟二：上傳數(shù)據(jù)到OBS桶

1. 創(chuàng)建OBS桶，參見(jiàn)OBS用戶(hù)指南。

   關(guān)鍵參數(shù)按如下填寫(xiě)，其他參數(shù)默認(rèn)即可。

   

   不支持跨區(qū)域訪(fǎng)問(wèn)OBS桶數(shù)據(jù)，OBS桶需跟DWS創(chuàng)在同一個(gè)區(qū)域。例如“華北-北京四”。

   • 區(qū)域：華北-北京四
   • 桶名稱(chēng)：dws-obs01 （如提示沖突，可以依次遞增到02、03）
   • 桶策略：私有

2. 創(chuàng)建OBS桶成功后，左側(cè)選擇“桶列表”，單擊新創(chuàng)建的dws-obs01桶名，左側(cè)導(dǎo)航選擇“對(duì)象”，單擊“新建文件夾”，文件夾名稱(chēng)為“input_data”，單擊“確定”。
   圖5 新建文件夾
   

3. 在本地PC創(chuàng)建3個(gè)csv數(shù)據(jù)文件，名字（含格式后綴）分別為product_info0.csv、product_info1.csv、product_info2.csv。
   圖6 創(chuàng)建csv文件
   

4. 使用文本編輯工具分別打開(kāi)3個(gè)csv文件，復(fù)制以下內(nèi)容到每個(gè)csv文件中。
   • product_info0.csv：

     12345

     100,XHDK-A,2017-09-01,A,2017 Shirt Women,red,M,328,2017-09-04,715,good! 205,KDKE-B,2017-09-01,A,2017 T-shirt Women,pink,L,584,2017-09-05,40,very good! 300,JODL-X,2017-09-01,A,2017 T-shirt men,red,XL,15,2017-09-03,502,Bad. 310,QQPX-R,2017-09-02,B,2017 jacket women,red,L,411,2017-09-05,436,It's nice. 150,ABEF-C,2017-09-03,B,2017 Jeans Women,blue,M,123,2017-09-06,120,good.

   • product_info1.csv：

     12345

     200,BCQP-E,2017-09-04,B,2017 casual pants men,black,L,997,2017-09-10,301,good quality. 250,EABE-D,2017-09-10,A,2017 dress women,black,S,841,2017-09-15,299,This dress fits well. 108,CDXK-F,2017-09-11,A,2017 dress women,red,M,85,2017-09-14,22,It's really amazing to buy. 450,MMCE-H,2017-09-11,A,2017 jacket women,white,M,114,2017-09-14,22,very good. 260,OCDA-G,2017-09-12,B,2017 woolen coat women,red,L,2004,2017-09-15,826,Very comfortable.

   • product_info2.csv：

     1 2 3 4 5 6 7 8 910

     980,"ZKDS-J",2017-09-13,"B","2017 Women's Cotton Clothing","red","M",112,,, 98,"FKQB-I",2017-09-15,"B","2017 new shoes men","red","M",4345,2017-09-18,547350,"DMQY-K",2017-09-21,"A","2017 pants men","red","37",28,2017-09-25,58,"good","good","good"80,"GKLW-l",2017-09-22,"A","2017 Jeans Men","red","39",58,2017-09-25,72,"Very comfortable."30,"HWEC-L",2017-09-23,"A","2017 shoes women","red","M",403,2017-09-26,607,"good!"40,"IQPD-M",2017-09-24,"B","2017 new pants Women","red","M",35,2017-09-27,52,"very good."50,"LPEC-N",2017-09-25,"B","2017 dress Women","red","M",29,2017-09-28,47,"not good at all."60,"NQAB-O",2017-09-26,"B","2017 jacket women","red","S",69,2017-09-29,70,"It's beautiful."70,"HWNB-P",2017-09-27,"B","2017 jacket women","red","L",30,2017-09-30,55,"I like it so much"80,"JKHU-Q",2017-09-29,"C","2017 T-shirt","red","M",90,2017-10-02,82,"very good."

5. 使用文本編輯工具轉(zhuǎn)為UTF-8編碼，并保存。
6. 回到瀏覽器上的OBS控制臺(tái)，左側(cè)導(dǎo)航選擇“桶列表”，單擊新創(chuàng)建的dws-obs01桶名。
7. 左側(cè)導(dǎo)航選擇“對(duì)象”，單擊“input_data”文件夾。
8. 單擊“上傳對(duì)象”，單擊“添加文件”。
9. 將product_info0.csv、product_info1.csv、product_info2.csv 3個(gè)文件上傳到OBS桶。

步驟三：連接DWS集群并導(dǎo)入數(shù)據(jù)進(jìn)行分析

1. 瀏覽器切換到DWS管理控制臺(tái)。
2. 左側(cè)導(dǎo)航選擇“數(shù)據(jù) > SQL編輯器”，單擊“新增數(shù)據(jù)源”。
3. 填寫(xiě)數(shù)據(jù)庫(kù)連接信息。
   • 集群：選擇本文創(chuàng)建的dws-demo集群。
   • 數(shù)據(jù)庫(kù)：保持gaussdb默認(rèn)。
   • 數(shù)據(jù)源名稱(chēng)：dws-demo-01。
   • 用戶(hù)名：dbadmin
   • 密碼：步驟一：創(chuàng)建DWS集群中創(chuàng)建DWS時(shí)設(shè)置的密碼。

4. 勾選“記住密碼”，單擊“測(cè)試連接”。
   圖7 數(shù)據(jù)庫(kù)連接信息
   

5. 單擊“確定”。

   如下圖，數(shù)據(jù)源名稱(chēng)前面圖標(biāo)為綠色，表示數(shù)據(jù)庫(kù)連接成功。右側(cè)區(qū)域?yàn)镾QL編輯器窗口，可進(jìn)行后續(xù)的SQL編寫(xiě)并執(zhí)行SQL語(yǔ)句。

   圖8 連接數(shù)據(jù)庫(kù)成功
   
   

   后續(xù)連接會(huì)話(huà)超時(shí)，或者瀏覽器重新刷新時(shí)，圖標(biāo)置為灰色，表示連接斷開(kāi)，可以直接雙擊數(shù)據(jù)源名稱(chēng)重新連接數(shù)據(jù)庫(kù)。

   

6. 將以下SQL語(yǔ)句復(fù)制到SQL編輯器窗口中，并將OBS桶名稱(chēng)、AK值、SK值，替換成實(shí)際值。

   本文OBS桶名為dws-obs01，AK值和SK值從訪(fǎng)問(wèn)密鑰獲取。

   1 2 3 4 5 6 7 8 9101112131415161718192021222324252627282930

   CREATE FOREIGN TABLE product_info_ext ( product_price integer not null, product_id char(30) not null, product_time date, product_level char(10), product_name varchar(200), product_type1 varchar(20), product_type2 char(10), product_monthly_sales_cnt integer, product_comment_time date, product_comment_num integer, product_comment_content varchar(200) ) SERVER gsmpp_server OPTIONS( LOCATION 'obs://OBS桶名稱(chēng)/input_data/', FORMAT ' CS V' , DELIMITER ',', ENCODING 'utf8', HEADER 'false', A CCE SS_KEY 'AK值', SECRET_AC CES S_KEY 'SK值', FILL_MISSING_FIELDS 'true', IGNORE_EXTRA_DATA 'true' )READ ONLY LOG INTO product_info_err PER NODE REJECT LIMIT 'unlimited';

   圖9 創(chuàng)建OBS外表
   

7. 核對(duì)SQL語(yǔ)句無(wú)誤，單擊“運(yùn)行”，創(chuàng)建OBS外表成功。
   圖10 創(chuàng)建OBS外表成功
   

8. 復(fù)制以下SQL語(yǔ)句，在SQL窗口中執(zhí)行，創(chuàng)建普通表。

   1 2 3 4 5 6 7 8 91011121314151617181920

   CREATE TABLE product_info ( product_price integer not null, product_id char(30) not null, product_time date , product_level char(10) , product_name varchar(200) , product_type1 varchar(20) , product_type2 char(10) , product_monthly_sales_cnt integer , product_comment_time date , product_comment_num integer , product_comment_content varchar(200) ) WITH( orientation = column, compression=middle ) DISTRIBUTE BY hash (product_id);

9. 復(fù)制以下SQL語(yǔ)句，在SQL窗口中執(zhí)行，通過(guò)INSERT語(yǔ)句將OBS外表數(shù)據(jù)導(dǎo)入DWS數(shù)據(jù)庫(kù)。

   1	INSERT INTO product_info SELECT * FROM product_info_ext;

10. 復(fù)制以下SQL語(yǔ)句，在SQL窗口中執(zhí)行，進(jìn)行VACUUM和ANALYZE操作。

    了解更多語(yǔ)法，請(qǐng)參考相關(guān)SQL語(yǔ)法章節(jié)。

    12	VACUUM FULL product_info; ANALYZE product_info;

11. 復(fù)制以下SQL語(yǔ)句，在SQL窗口中執(zhí)行，查詢(xún)數(shù)據(jù)明細(xì)成功。

    1	SELECT * FROM product_info;

    圖11 查詢(xún)數(shù)據(jù)成功