新一代、全場景數(shù)據(jù)倉庫，一站式分析，性能、容量無限擴(kuò)展，守護(hù)高價值數(shù)據(jù)、創(chuàng)享高價值分析，企業(yè)數(shù)字化轉(zhuǎn)型堅實伙伴
企業(yè)級數(shù)據(jù)倉庫和標(biāo)準(zhǔn)SQL的支持
當(dāng)創(chuàng)建好DWS集群后，用戶就可以使用SQL客戶端工具連接集群，然后執(zhí)行創(chuàng)建數(shù)據(jù)庫、管理數(shù)據(jù)庫、導(dǎo)入/導(dǎo)出數(shù)據(jù)以及查詢數(shù)據(jù)的操作。
DWS為用戶提供了PB（petabyte）級高性能數(shù)據(jù)庫，主要體現(xiàn)在：
1）MPP大規(guī)模并行處理框架，支持行列混存、向量化執(zhí)行，實現(xiàn)萬億數(shù)據(jù)關(guān)聯(lián)分析秒級響應(yīng)。
2）內(nèi)存計算，基于Bloom Filter的Hash Join優(yōu)化，性能提升2~10倍。
3）基于電信技術(shù)優(yōu)化的大規(guī)模集群通信，提升計算節(jié)點間的傳輸效率。
4）基于代價的智能優(yōu)化器，根據(jù)集群規(guī)模、數(shù)據(jù)量、生成最優(yōu)計劃，提高執(zhí)行效率。
DWS具有完備的SQL能力：
5）支持SQL 92、SQL 2003標(biāo)準(zhǔn)，支持存儲過程，支持GBK和UTF-8字符集，支持SQL標(biāo)準(zhǔn)函數(shù)與OLAP分析函數(shù)。
6）兼容PostgreSQL生態(tài)，與主流第三方數(shù)據(jù)庫ETL，BI（business intelligence）工具廠商對接認(rèn)證。
7）支持位圖roaring bitmap數(shù)據(jù)類型及對應(yīng)常見函數(shù)，在互聯(lián)網(wǎng)、零售、教育、游戲等行業(yè)，提取用戶特征、用戶畫像等場景有廣泛應(yīng)用。
8）在現(xiàn)有范圍分區(qū)（Range Partitioning）基礎(chǔ)上，新增支持list分區(qū)方式：PARTITION BY LIST (partition_key,[...])，滿足用戶使用習(xí)慣。
9）HDFS/OBS外表READ ONLY外表支持JSON文件格式。
10）支持系統(tǒng)表賦權(quán)給普通用戶，vacuum能夠單獨賦權(quán)，以及支持可擴(kuò)展的預(yù)定義權(quán)限角色功能。
a.新增表級權(quán)限Alter/Drop/Vacuum。
b.新增Schema級權(quán)限Alter/Drop。
c.新增預(yù)置角色role_signal_backend、role_read_all_stats。
多樣化的數(shù)據(jù)導(dǎo)入方式
支持多數(shù)據(jù)源高效入庫，典型的入庫方式如下所示:
1)從OBS并行導(dǎo)入數(shù)據(jù)
2)使用GDS從遠(yuǎn)端服務(wù)器導(dǎo)入數(shù)據(jù)
3)從MRS導(dǎo)入數(shù)據(jù)到集群
4)從DWS集群導(dǎo)入數(shù)據(jù)到新集群
5)使用gsql元命令\COPY導(dǎo)入數(shù)據(jù)
6)使用COPY FROM STDIN導(dǎo)入數(shù)據(jù)
7)使用DRS將數(shù)據(jù)導(dǎo)入DWS
8)使用CDM遷移數(shù)據(jù)到DWS
9)使用DGC數(shù)據(jù)接入服務(wù)遷移數(shù)據(jù)到DWS
10)使用DSC工具遷移SQL腳本
11)使用gs_dump和gs_dumpall命令導(dǎo)出元數(shù)據(jù)
12)使用gs_restore導(dǎo)入數(shù)據(jù)
集群管理
一個DWS集群由多個在相同子網(wǎng)中的相同規(guī)格的節(jié)點組成，共同提供服務(wù)。DWS為用戶提供了簡單易用的Web管理控制臺，讓用戶可以快速申請集群，輕松執(zhí)行數(shù)據(jù)倉庫管理任務(wù)，專注于數(shù)據(jù)和業(yè)務(wù)。
集群管理的主要功能如下：
1)創(chuàng)建集群
如果用戶需要在云上環(huán)境中使用數(shù)據(jù)倉庫服務(wù)，首先應(yīng)創(chuàng)建一個DWS集群。用戶可根據(jù)業(yè)務(wù)需求選擇相應(yīng)的產(chǎn)品規(guī)格和節(jié)點規(guī)格快速創(chuàng)建集群。您也可以先購買包年/包月折扣套餐，然后再創(chuàng)建集群。
2)管理快照
快照是DWS集群在某一時間點的完整備份，記錄了這一時刻指定集群的所有配置數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)，快照可用于還原某一時刻的集群。用戶可以為集群手動創(chuàng)建快照，也可以開啟定時創(chuàng)建自動快照。自動快照有保留天數(shù)限制，用戶可以對自動快照進(jìn)行復(fù)制，生成手工快照以便長期保留。
當(dāng)您從快照恢復(fù)集群時，系統(tǒng)將為您創(chuàng)建一個與原始集群規(guī)格相同、節(jié)點數(shù)也相同的新集群，并導(dǎo)入快照數(shù)據(jù)。
對于不再需要的快照，可以選擇刪除快照，以釋放存儲空間。
3)管理節(jié)點
用戶可查看所創(chuàng)集群的節(jié)點列表，在節(jié)點管理頁面可以清晰的查詢各節(jié)點的狀態(tài)、節(jié)點規(guī)格、是否已使用等信息。若用戶需要進(jìn)行大規(guī)模擴(kuò)容操作時，可通過節(jié)點管理功能提前分批次添加準(zhǔn)備好用于擴(kuò)容的節(jié)點。例如需要新擴(kuò)容180個BMS節(jié)點，可分3批各添加60個，如果其中有一部分添加失敗，可再次添加失敗數(shù)量的節(jié)點，等180個節(jié)點添加成功后，再使用這些添加好的節(jié)點進(jìn)行擴(kuò)容；添加節(jié)點過程中不影響集群業(yè)務(wù)。
4)擴(kuò)容集群
隨著業(yè)務(wù)的增長，現(xiàn)有集群規(guī)?？赡軣o法滿足業(yè)務(wù)需要，此時，用戶可以擴(kuò)容集群，為集群增加計算節(jié)點。擴(kuò)容時業(yè)務(wù)不中斷。進(jìn)行擴(kuò)容操作時，用戶可根據(jù)需求選擇是否在線擴(kuò)容和自動重分布。
5)管理重分布
默認(rèn)情況下，在擴(kuò)容之后將自動調(diào)起重分布任務(wù)，為了增強擴(kuò)容重分布整個流程的可靠性，可以選擇在擴(kuò)容時關(guān)閉自動重分布功能，在擴(kuò)容成功之后再手動使用重分布功能執(zhí)行重分布任務(wù)，數(shù)據(jù)重分布后將大大提升業(yè)務(wù)響應(yīng)速率。當(dāng)前重分布支持離線重分布、在線重分布兩種模式，默認(rèn)情況下，提交重分布任務(wù)時將選擇離線重分布模式。
6)磁盤擴(kuò)容
隨著客戶業(yè)務(wù)的發(fā)展，磁盤空間往往最先出現(xiàn)資源瓶頸，在其他資源尚且充足的情況下，執(zhí)行傳統(tǒng)擴(kuò)容操作不僅耗時久，還伴隨著資源浪費問題，擴(kuò)容過程也不具備在線能力。通過磁盤擴(kuò)容可快速緩解存儲資源瓶頸現(xiàn)象，操作過程中無需暫停業(yè)務(wù)，并且不會造成CPU、內(nèi)存等資源浪費。用戶可在沒有其他業(yè)務(wù)情況下選擇磁盤擴(kuò)容操作，擴(kuò)容成功后可以繼續(xù)磁盤擴(kuò)容，若擴(kuò)容失敗用戶可嘗試重新進(jìn)行磁盤擴(kuò)容操作。
7)資源管理
當(dāng)您有多個數(shù)據(jù)庫用戶同時查詢作業(yè)時，一些復(fù)雜查詢可能會長時間占用集群資源，從而影響其他查詢的性能。例如一組數(shù)據(jù)庫用戶不斷提交復(fù)雜、耗時的查詢，而另一組用戶經(jīng)常提交短查詢。在這種情況下，短時查詢可能不得不在隊列中等待耗時查詢完成。為了提高效率，DWS提供了資源管理功能，DWS資源管理以資源池為資源承載，對于不同的業(yè)務(wù)類型可以創(chuàng)建不同的資源池，為這些資源池配置不同的資源占比，然后將數(shù)據(jù)庫用戶添加至對應(yīng)的資源池中，以此來限制這些數(shù)據(jù)庫用戶的資源使用。
8)邏輯集群
邏輯集群是基于Node Group機(jī)制來劃分物理節(jié)點的一種集群模式，從節(jié)點層次將大集群進(jìn)行劃分，和數(shù)據(jù)庫形成交叉。一個數(shù)據(jù)庫中的表可以按邏輯集群來分配到不同的物理節(jié)點，而一個邏輯集群也可以包含多個數(shù)據(jù)庫的表。
9)重啟集群
重啟集群將有可能會導(dǎo)致正在運行中的業(yè)務(wù)數(shù)據(jù)丟失，如果需要執(zhí)行重啟操作，請確定不存在正在運行的業(yè)務(wù)，所有數(shù)據(jù)都已經(jīng)保存。
10)刪除集群
當(dāng)用戶不再需要集群時，可選擇刪除集群。此操作為高危操作，刪除集群可能導(dǎo)致數(shù)據(jù)丟失，請謹(jǐn)慎操作。
監(jiān)控與審計
1)監(jiān)控集群
DWS與云監(jiān)控服務(wù)集成，使您能夠?qū)褐械挠嬎愎?jié)點和數(shù)據(jù)庫進(jìn)行實時監(jiān)控。
2)數(shù)據(jù)庫監(jiān)控
數(shù)據(jù)庫監(jiān)控（DMS）是一個為DWS數(shù)據(jù)庫提供多維度監(jiān)控服務(wù)的系統(tǒng)，為客戶數(shù)據(jù)庫的快速、穩(wěn)定運行提供保駕護(hù)航的能力。該功能對業(yè)務(wù)數(shù)據(jù)庫所使用磁盤、網(wǎng)絡(luò)、OS指標(biāo)數(shù)據(jù)，集群運行關(guān)鍵性能指標(biāo)數(shù)據(jù)進(jìn)行收集、監(jiān)控、分析。通過綜合收集到的多種類型指標(biāo)，對數(shù)據(jù)庫主機(jī)、實例、業(yè)務(wù)SQL進(jìn)行診斷，及時暴露數(shù)據(jù)庫中關(guān)鍵故障及性能問題，指導(dǎo)客戶進(jìn)行優(yōu)化解決。
3)事件通知
DWS與消息通知服務(wù)對接，使您能夠查看觸發(fā)的各類事件。
4)告警管理
告警管理包含查看告警規(guī)則、告警規(guī)則配置與告警信息訂閱功能。其中，告警規(guī)則可以提供過去一周的告警信息統(tǒng)計與告警信息明細(xì)，方便用戶自行查看租戶下的告警。該特性除了以默認(rèn)值的形式提供一套DWS告警最佳實踐外，還允許用戶根據(jù)自己的業(yè)務(wù)特點，個性化修改告警閾值。
5)事件通知
DWS與消息通知服務(wù)對接，使您能夠訂閱事件并查看觸發(fā)的各類事件。
6)審計日志
DWS與云審計服務(wù)集成，使您能夠?qū)λ械墓芾砜刂婆_操作及API調(diào)用進(jìn)行審計。詳情請參見查看管理控制臺關(guān)鍵操作審計日志查看管理控制臺關(guān)鍵操作審計日志“查看管理控制臺關(guān)鍵操作審計日志”章節(jié)。
DWS數(shù)據(jù)庫還會記錄所有的SQL操作，包括連接嘗試、查詢和數(shù)據(jù)庫的變動。
支持多種數(shù)據(jù)庫工具
DWS提供了以下幾款自研工具，用戶可以在DWS管理控制臺下載相關(guān)的工具包。
1)gsql工具
它是一款運行在Linux操作系統(tǒng)的命令行SQL客戶端工具，用于連接DWS集群中的數(shù)據(jù)庫，并對數(shù)據(jù)庫進(jìn)行操作和維護(hù)。
2)SQL編輯器
DWS為用戶提供了一站式數(shù)據(jù)開發(fā)、接入、處理等功能的數(shù)據(jù)開發(fā)工具，即界面化SQL開發(fā)工具，以便用戶能更好的使用DWS。
3)GDS工具
它是DWS提供的數(shù)據(jù)服務(wù)工具，通過和外表機(jī)制的配合，實現(xiàn)數(shù)據(jù)的高速導(dǎo)入導(dǎo)出。
GDS工具包需要安裝在數(shù)據(jù)源文件所在的服務(wù)器上，數(shù)據(jù)源文件所在的服務(wù)器稱為數(shù)據(jù)服務(wù)器，也稱為GDS服務(wù)器。
4)DSC SQL語法遷移工具
DSC（Database Schema Convertor）是一款運行在Linux或Windows操作系統(tǒng)上的命令行工具，致力于向客戶提供簡單、快速、可靠的應(yīng)用程序SQL腳本遷移服務(wù)，通過內(nèi)置的語法遷移邏輯解析源數(shù)據(jù)庫應(yīng)用程序SQL腳本，并遷移為適用于DWS數(shù)據(jù)庫的應(yīng)用程序SQL腳本。
DSC支持遷移Teradata、Oracle、Netezza、MySQL和DB2數(shù)據(jù)庫的SQL腳本。
5)數(shù)據(jù)管理服務(wù)（Data Admin Service，簡稱DAS）
DWS支持頁面登錄功能（WebSQL)，該功能依賴DAS，目前具體支持“庫管理”和“SQL操作”。使用時，用戶需填寫數(shù)據(jù)庫登錄名和密碼方可連接集群，查看元數(shù)據(jù)及執(zhí)行SQL等操作。
6)gs_dump和gs_dumpall
gs_dump支持導(dǎo)出單個數(shù)據(jù)庫或其內(nèi)的對象，而gs_dumpall支持導(dǎo)出集群中所有數(shù)據(jù)庫或各庫的公共全局對象。
通過導(dǎo)入工具將導(dǎo)出的元數(shù)據(jù)信息導(dǎo)入至需要的數(shù)據(jù)庫，可以完成數(shù)據(jù)庫信息的遷移。
7)gs_restore在數(shù)據(jù)庫遷移場景下，支持使用gs_restore工具將事先使用gs_dump工具導(dǎo)出的文件格式，重新導(dǎo)入DWS集群，實現(xiàn)表定義、數(shù)據(jù)庫對象定義等元數(shù)據(jù)的導(dǎo)入。