DWS資源如何管理
數(shù)據(jù)倉(cāng)庫(kù) 服務(wù)開(kāi)發(fā)者資源,DWS開(kāi)發(fā)者資源,數(shù)據(jù)倉(cāng)庫(kù)使用
BS源數(shù)據(jù)導(dǎo)入數(shù)據(jù)倉(cāng)庫(kù),完成數(shù)據(jù)的簡(jiǎn)易查詢。 立即體驗(yàn) 使用GaussDB(DWS)導(dǎo)入Hive數(shù)據(jù),實(shí)現(xiàn)對(duì)大數(shù)據(jù)的融合分析 指導(dǎo)用戶創(chuàng)建數(shù)據(jù)倉(cāng)庫(kù)集群GaussDB(DWS),并將Hive數(shù)據(jù)導(dǎo)入數(shù)據(jù)倉(cāng)庫(kù),實(shí)現(xiàn)跨集群大數(shù)據(jù)的融合分析。 立即體驗(yàn) 使用GaussDB(DWS)實(shí)現(xiàn)零售業(yè)經(jīng)營(yíng)狀況的多維度查詢分析
冷熱數(shù)據(jù)管理優(yōu)秀實(shí)踐 根據(jù)業(yè)務(wù)系統(tǒng)中用戶對(duì)不同時(shí)期數(shù)據(jù)的不同使用需求,對(duì)膨脹的數(shù)據(jù)進(jìn)行“冷熱”分級(jí)管理,不僅可以提高數(shù)據(jù)分析性能還能降低業(yè)務(wù)成本。 資源管理實(shí)踐 演示DWS的資源管理功能,幫助企業(yè)客戶解決數(shù)據(jù)分析過(guò)程中,多用戶查詢作業(yè)遇到的性能瓶頸,最終實(shí)現(xiàn)多用戶執(zhí)行SQL作業(yè)互不影響,節(jié)省資源消耗。
支持事務(wù)強(qiáng)一致 資源管理:可以根據(jù)業(yè)務(wù)優(yōu)先級(jí)進(jìn)行資源動(dòng)態(tài)分配,實(shí)現(xiàn)“快慢通道” 按需擴(kuò)容:彈性按需擴(kuò)容,靈活應(yīng)對(duì)用戶數(shù)據(jù)及負(fù)載潮汐變化 倉(cāng)湖一體:DWS可以直接讀寫(xiě)OBS對(duì)象存儲(chǔ)系統(tǒng)的數(shù)據(jù),支持數(shù)據(jù)冷熱分級(jí) 多源數(shù)據(jù)融合,實(shí)時(shí)數(shù)據(jù)迅捷分析 多源數(shù)據(jù)融合,實(shí)時(shí)數(shù)據(jù)迅捷分析 復(fù)雜SQ
效率,且確保了資源配置的一致性 提高管理安全性 提高管理安全性 RAM服務(wù)內(nèi)置了不同資源類型的共享權(quán)限,資源使用者只能對(duì)資源進(jìn)行權(quán)限內(nèi)的訪問(wèn),保證共享資源在滿足資源使用者業(yè)務(wù)訴求的同時(shí),提升資源管理的安全性 組織級(jí)共享管理 組織級(jí)共享管理 用戶通過(guò)RAM服務(wù)將資源共享給指定的組織
STDIN導(dǎo)入數(shù)據(jù) 7)使用DRS將數(shù)據(jù)導(dǎo)入DWS 8)使用CDM遷移數(shù)據(jù)到DWS 9)使用DGC數(shù)據(jù)接入服務(wù)遷移數(shù)據(jù)到DWS 10)使用DSC工具遷移SQL腳本 11)使用gs_dump和gs_dumpall命令導(dǎo)出元數(shù)據(jù) 12)使用gs_restore導(dǎo)入數(shù)據(jù) 集群管理 一個(gè)DW
彈性負(fù)載均衡 ELB(可選) DWS集群支持綁定彈性負(fù)載均衡,所需費(fèi)用按照彈性負(fù)載均衡(ELB)服務(wù)的計(jì)費(fèi)規(guī)則進(jìn)行計(jì)費(fèi)。 數(shù)據(jù)庫(kù)加密密鑰(可選) 在創(chuàng)建DWS集群時(shí),如果開(kāi)啟“加密數(shù)據(jù)庫(kù)”的功能,需使用KMS(密鑰管理服務(wù))的密鑰加解密數(shù)據(jù)庫(kù)。密鑰按照數(shù)據(jù)加密服務(wù)密鑰的計(jì)費(fèi)規(guī)則進(jìn)行計(jì)費(fèi)。
少清理碎片工作量。 數(shù)據(jù)分區(qū)帶來(lái)的好處如下: 改善可管理性 利用分區(qū),可以將表和索引劃分為一些更小、更易管理的單元。這樣,數(shù)據(jù)庫(kù)管理員在進(jìn)行數(shù)據(jù)管理時(shí)就能采取“分而治之”的方法。 有了分區(qū),維護(hù)操作可以專門(mén)針對(duì)表的特定部分執(zhí)行。 可提升刪除操作的性能 刪除數(shù)據(jù)時(shí)可以刪除整個(gè)分區(qū),
GaussDB(DWS)提供了數(shù)據(jù)遷移/備份,數(shù)據(jù)導(dǎo)入導(dǎo)出等多種數(shù)據(jù)管理工具,可以快速、方便地在不同數(shù)據(jù)庫(kù)之間、GaussDB(DWS)的不同集群之間轉(zhuǎn)移數(shù)據(jù),為用戶升級(jí)、擴(kuò)展、替換、備份數(shù)據(jù)庫(kù)系統(tǒng)提供有力地保障。 GaussDB(DWS)提供可視化的集群管理界面,可以一鍵部署
式查詢分析。 跨數(shù)據(jù)中心協(xié)同分析 隨著數(shù)據(jù)量的不斷增加,在單數(shù)據(jù)中心存儲(chǔ)計(jì)算能力有限情況下,不可能把所有數(shù)據(jù)都統(tǒng)一匯總到單個(gè)數(shù)據(jù)中心。而在進(jìn)行數(shù)據(jù)挖掘、碰撞分析時(shí),又需要涉及更多更全面的數(shù)據(jù),此時(shí),一個(gè)統(tǒng)計(jì)查詢業(yè)務(wù)就可能涉及到多個(gè)數(shù)據(jù)中心。 GaussDB(DWS)支持直接跨庫(kù)訪
DWS.DCS設(shè)計(jì)云系統(tǒng)是一個(gè)高度集成且協(xié)同化的研發(fā)管理系統(tǒng),通過(guò)平臺(tái)的建設(shè)可為用戶單位提供精準(zhǔn)定位連接內(nèi)部研發(fā)所需的圖形硬件支撐資源(工作站/圖形服務(wù)器)、三維應(yīng)用工具軟件,用戶無(wú)論身處何地,都能輕松訪問(wèn)平臺(tái),進(jìn)行高質(zhì)量的三維設(shè)計(jì)業(yè)務(wù)開(kāi)展產(chǎn)品功能:戴西DWS.DCS設(shè)計(jì)云系統(tǒng)是
標(biāo)、產(chǎn)品設(shè)計(jì)與仿真數(shù)據(jù)管理、產(chǎn)品試驗(yàn)數(shù)據(jù)管理、參數(shù)化建模與自動(dòng)化仿真、第三方系統(tǒng)集成、敏捷聯(lián)合開(kāi)發(fā)平臺(tái)等。產(chǎn)品特點(diǎn):戴西DWS數(shù)字化研發(fā)平臺(tái)是一種綜合性數(shù)字化研發(fā)解決方案,由戴西軟件結(jié)合15年經(jīng)驗(yàn)自主研發(fā)。將3D顯示現(xiàn)實(shí)技術(shù)、仿真計(jì)算技術(shù)、創(chuàng)新協(xié)作技術(shù)、數(shù)據(jù)管理和智能化分析等功能
數(shù)據(jù)資源管理平臺(tái)是一站式數(shù)據(jù)資源管理及開(kāi)發(fā)工具。通過(guò)數(shù)據(jù)管理、數(shù)據(jù)治理等核心能力,推動(dòng)實(shí)施人員一站式實(shí)現(xiàn)數(shù)據(jù)治理,提升工作效率;幫助客戶改善數(shù)據(jù)質(zhì)量,沉淀數(shù)據(jù)資產(chǎn),釋放數(shù)據(jù)價(jià)值。數(shù)據(jù)資源管理平臺(tái)是易華錄基于數(shù)據(jù)全生命周期治理的技術(shù)積累和實(shí)踐優(yōu)勢(shì),打造的一站式數(shù)據(jù)資源開(kāi)發(fā)及管理工具
退出等措施網(wǎng)絡(luò)設(shè)備防護(hù) 當(dāng)對(duì)網(wǎng)絡(luò)設(shè)備進(jìn)行遠(yuǎn)程管理時(shí),應(yīng)采取必要措施防止鑒別信息在網(wǎng)絡(luò)傳輸過(guò)程中被竊聽(tīng)云資源維保管理服務(wù)-企業(yè)版可以根據(jù)企業(yè)自身需求進(jìn)行定制開(kāi)發(fā)云資源維保管理服務(wù)-智能版智能版本加入了AI智能處理,安全大數(shù)據(jù)庫(kù)模型漏洞掃描,木馬查殺,后門(mén)檢查,預(yù)防等
,GaussDB(DWS)對(duì)象設(shè)計(jì),GaussDB(DWS)性能管理,GaussDB(DWS)數(shù)據(jù)訪問(wèn),GaussDB(DWS)安全管理,GaussDB(DWS)資源管控,GaussDB(DWS)高可靠,GaussDB(DWS)高可用,GaussDB(DWS)運(yùn)維監(jiān)控規(guī)格:培訓(xùn)時(shí)
優(yōu)速云EHR系統(tǒng)的智分析BI為企業(yè)管理者定制了許多常用的人力資源分析模型,運(yùn)用大數(shù)據(jù)分析技術(shù),可以讓不同層級(jí)的管理者實(shí)時(shí)掌握企業(yè)內(nèi)人力資源的總體狀況,并從多個(gè)維度進(jìn)行分析展現(xiàn)。 學(xué)習(xí)系統(tǒng)、考試系統(tǒng)、能力評(píng)判標(biāo)準(zhǔn)化,完善建立人員學(xué)習(xí)體系,,績(jī)效管理、薪酬管理、考勤管理,招聘管理,人事管理一體化,人員
通過(guò)醫(yī)院人力資源管理平臺(tái)統(tǒng)一管理全院人員(包括編內(nèi)和編外),可實(shí)現(xiàn)有效的人力數(shù)據(jù)共享,滿足復(fù)雜的人員考勤需求,人事管理信息互通共享,幫助人員能力提升與戰(zhàn)略執(zhí)行。1.提供客觀的人力資源信息,支撐醫(yī)院科學(xué)決策,2.通過(guò)平臺(tái)實(shí)現(xiàn)全員協(xié)同、人力管理、頂層管控,幫助醫(yī)院實(shí)現(xiàn)高效運(yùn)營(yíng)和高績(jī)效組織
為菜單欄,根據(jù)個(gè)人權(quán)限不同顯示不同,主要包含我的辦公、考勤管理、員工管理。主頁(yè)中間下半部分為要我審批、要我處理、我發(fā)起的的快捷展示,可以點(diǎn)擊打開(kāi)并進(jìn)行單據(jù)的處理。右邊上半部分為公司項(xiàng)目圖片,下半部分為功能快捷鍵。二、建議配置WIN8及以上操作系統(tǒng)(含IOS系統(tǒng)),并安裝谷歌瀏覽器
幫助零售品牌企業(yè)運(yùn)營(yíng)會(huì)員資產(chǎn),實(shí)現(xiàn)精準(zhǔn)營(yíng)銷(xiāo)、高效運(yùn)營(yíng)的目標(biāo)。,解決電商型企業(yè)的問(wèn)題,幫助企業(yè)公域平臺(tái)自動(dòng)同步庫(kù)存及物流單號(hào)。,通過(guò)倉(cāng)庫(kù)的合理規(guī)劃,規(guī)范管理,提升倉(cāng)儲(chǔ)的效率和拓寬倉(cāng)儲(chǔ)的空間,為企業(yè)整個(gè)貨品的快速流轉(zhuǎn)。
間段的資源配置自動(dòng)切換。 資源管理計(jì)劃功能 資源管理計(jì)劃功能支持業(yè)務(wù)資源自動(dòng)切換。用戶可以在控制臺(tái)上添加資源管理計(jì)劃,啟動(dòng)資源管理計(jì)劃,查看資源管理計(jì)劃執(zhí)行日志,停止資源管理計(jì)劃等操作。 資源管理計(jì)劃功能支持業(yè)務(wù)資源自動(dòng)切換。用戶可以在控制臺(tái)上添加資源管理計(jì)劃,啟動(dòng)資源管理計(jì)劃,
GaussDB(DWS)安全管理 GaussDB(DWS)安全管理 DWS可靠保護(hù)數(shù)據(jù)庫(kù)中存儲(chǔ)的數(shù)據(jù),確保數(shù)據(jù)安全、完整、可用。 DWS可靠保護(hù)數(shù)據(jù)庫(kù)中存儲(chǔ)的數(shù)據(jù),確保數(shù)據(jù)安全、完整、可用。 管理控制臺(tái) 幫助文檔 數(shù)據(jù)庫(kù)安全 數(shù)據(jù)庫(kù)系統(tǒng)存儲(chǔ)著各類重要、敏感的數(shù)據(jù),同時(shí)作為多用戶的
用戶云上快速創(chuàng)建DWS數(shù)據(jù)倉(cāng)庫(kù)集群,并將OBS源數(shù)據(jù)導(dǎo)入數(shù)據(jù)倉(cāng)庫(kù),完成數(shù)據(jù)的簡(jiǎn)易查詢。 DWS熱門(mén)視頻 看視頻輕松了解和使用DWS 數(shù)據(jù)倉(cāng)庫(kù)服務(wù)產(chǎn)品介紹 04:38 數(shù)據(jù)倉(cāng)庫(kù)服務(wù)快速入門(mén) 03:29 DWS助力消費(fèi)者BG大數(shù)據(jù)平臺(tái)云化 05:30 數(shù)據(jù)倉(cāng)庫(kù)服務(wù)集群管理 05:30 數(shù)據(jù)倉(cāng)庫(kù)服務(wù)產(chǎn)品介紹
調(diào)用GaussDB(DWS) API接口 調(diào)用GaussDB(DWS) API接口 數(shù)據(jù)倉(cāng)庫(kù)服務(wù)所提供的接口為自研接口,您可以使用數(shù)據(jù)倉(cāng)庫(kù)服務(wù)的可用區(qū)、集群管理、快照管理、事件管理、數(shù)據(jù)源、審計(jì)日志、資源管理、告警管理、連接管理、標(biāo)簽管理、配額管理、容災(zāi)管理、任務(wù)管理以及主機(jī)監(jiān)控等功能。
境。 環(huán)境內(nèi)網(wǎng)絡(luò)互通,可以按環(huán)境維度來(lái)管理資源、部署服務(wù),減少具體基礎(chǔ)資源運(yùn)維管理的復(fù)雜性。 同一個(gè)項(xiàng)目下,最多支持創(chuàng)建300個(gè)環(huán)境。 應(yīng)用管理與運(yùn)維平臺(tái)虛擬機(jī)類型環(huán)境管理使用流程 由淺入深,帶您輕松了解應(yīng)用管理與運(yùn)維平臺(tái)虛擬機(jī)類型環(huán)境管理使用流程。 登錄ServiceStage控制臺(tái)
3副本冗余 3副本冗余 數(shù)據(jù)持久性高達(dá)99.9999999% 數(shù)據(jù)持久性高達(dá)99.9999999% 數(shù)據(jù)加密 數(shù)據(jù)加密 系統(tǒng)盤(pán)和數(shù)據(jù)盤(pán)均支持數(shù)據(jù)加密,保護(hù)數(shù)據(jù)安全 系統(tǒng)盤(pán)和數(shù)據(jù)盤(pán)均支持數(shù)據(jù)加密,保護(hù)數(shù)據(jù)安全 實(shí)時(shí)寫(xiě)入新數(shù)據(jù) 時(shí)序數(shù)據(jù)的寫(xiě)入是實(shí)時(shí)的,采集的數(shù)據(jù)反應(yīng)客觀信息,數(shù)據(jù)是隨著時(shí)間推進(jìn)不斷產(chǎn)生,不存在舊數(shù)據(jù)更新場(chǎng)景。
Flink將MySQL數(shù)據(jù)導(dǎo)入DWS集群 MySQL 使用華為云DLI服務(wù)的Flink作業(yè),將MySQL數(shù)據(jù)實(shí)時(shí)同步到GaussDB(DWS)。 操作簡(jiǎn)單。 使用CDM遷移數(shù)據(jù)到GaussDB(DWS) 數(shù)據(jù)庫(kù)、NoSQL、文件系統(tǒng)、大數(shù)據(jù)平臺(tái) CDM提供同構(gòu)/異構(gòu)數(shù)據(jù)源之間批量數(shù)據(jù)遷移的功能
資源池僅提供邏輯隔離,專屬資源池的隔離性、安全性要高于公共資源池。 專屬資源池用戶資源獨(dú)享,在資源充足的情況下,作業(yè)是不會(huì)排隊(duì)的;而公共資源池使用共享資源,在任何時(shí)候都有可能排隊(duì)。 專屬資源池支持打通用戶的網(wǎng)絡(luò),在該專屬資源池中運(yùn)行的作業(yè)可以訪問(wèn)打通網(wǎng)絡(luò)中的存儲(chǔ)和資源。例如,在創(chuàng)
如何使用WeLink做好企業(yè)知識(shí)管理 企業(yè)的知識(shí)管理和學(xué)習(xí)平臺(tái) 下載客戶端 服務(wù)咨詢 了解更多 WeLink知識(shí)產(chǎn)品介紹 WeLink知識(shí)是內(nèi)置于華為云WeLink的一款知識(shí)管理和學(xué)習(xí)服務(wù),助力企業(yè)快速搭建線上知識(shí)管理平臺(tái),高效發(fā)布政策公告、構(gòu)建知識(shí)分享圈子,為員工創(chuàng)建知識(shí)經(jīng)驗(yàn)分
DWS資源如何管理
功能描述
創(chuàng)建DWS表用于與輸入流連接,從而生成相應(yīng)的寬表。
前提條件
- 請(qǐng)務(wù)必確保您的賬戶下已在數(shù)據(jù)倉(cāng)庫(kù)服務(wù)(DWS)里創(chuàng)建了DWS集群。如何創(chuàng)建DWS集群,請(qǐng)參考《數(shù)據(jù)倉(cāng)庫(kù)服務(wù)管理指南》中“創(chuàng)建集群”章節(jié)。
- 請(qǐng)確保已創(chuàng)建DWS 數(shù)據(jù)庫(kù) 表。
- 該場(chǎng)景作業(yè)需要運(yùn)行在 DLI 的獨(dú)享隊(duì)列上,因此要與DWS集群建立增強(qiáng)型跨源連接,且用戶可以根據(jù)實(shí)際所需設(shè)置相應(yīng)安全組規(guī)則。
- 如何建立增強(qiáng)型跨源連接,請(qǐng)參考《 數(shù)據(jù)湖探索 用戶指南》中增強(qiáng)型跨源連接章節(jié)。
- 如何設(shè)置安全組規(guī)則,請(qǐng)參見(jiàn)《 虛擬私有云 用戶指南》中“安全組”章節(jié)。
- Flink跨源開(kāi)發(fā)場(chǎng)景中直接配置跨源認(rèn)證信息存在密碼泄露的風(fēng)險(xiǎn),優(yōu)先推薦您使用DLI提供的跨源認(rèn)證。
跨源認(rèn)證簡(jiǎn)介及操作方法請(qǐng)參考跨源認(rèn)證簡(jiǎn)介。
注意事項(xiàng)
創(chuàng)建Flink OpenSource SQL作業(yè)時(shí),在作業(yè)編輯界面的“運(yùn)行參數(shù)”處,“Flink版本”需要選擇“1.12”,勾選“保存作業(yè)日志”并設(shè)置保存作業(yè)日志的 OBS 桶,方便后續(xù)查看作業(yè)日志。
語(yǔ)法格式
1 2 3 4 5 6 7 8 91011 |
create table dwsSource ( attr_name attr_type (',' attr_name attr_type)* )with ( 'connector' = 'gaussdb', 'url' = '', 'table-name' = '', 'username' = '', 'password' = ''); |
參數(shù)說(shuō)明
|
參數(shù) |
是否必選 |
默認(rèn)值 |
數(shù)據(jù)類型 |
說(shuō)明 |
|---|---|---|---|---|
|
connector |
是 |
無(wú) |
String |
connector類型,需配置為'gaussdb'。 |
|
url |
是 |
無(wú) |
String |
jdbc連接地址。 使用gsjdbc4驅(qū)動(dòng)連接時(shí),格式為:jdbc:postgresql://${ip}:${port}/${dbName} 。 使用gsjdbc200驅(qū)動(dòng)連接時(shí),格式為:jdbc:gaussdb://${ip}:${port}/${dbName}。 |
|
table-name |
是 |
無(wú) |
String |
讀取數(shù)據(jù)庫(kù)中的數(shù)據(jù)所在的表名。 |
|
driver |
否 |
無(wú) |
String |
jdbc連接驅(qū)動(dòng),默認(rèn)為: org.postgresql.Driver。
|
|
username |
否 |
無(wú) |
String |
數(shù)據(jù)庫(kù)認(rèn)證用戶名,需要和'password'一起配置。 |
|
password |
否 |
無(wú) |
String |
數(shù)據(jù)庫(kù)認(rèn)證密碼,需要和'username'一起配置。 |
|
scan.partition.column |
否 |
無(wú) |
String |
用于對(duì)輸入進(jìn)行分區(qū)的列名。 與scan.partition.lower-bound、scan.partition.upper-bound、scan.partition.num必須同時(shí)存在或者同時(shí)不存在。 |
|
scan.partition.lower-bound |
否 |
無(wú) |
Integer |
第一個(gè)分區(qū)的最小值。 與scan.partition.column、scan.partition.upper-bound、scan.partition.num必須同時(shí)存在或者同時(shí)不存在。 |
|
scan.partition.upper-bound |
否 |
無(wú) |
Integer |
最后一個(gè)分區(qū)的最大值。 與scan.partition.column、scan.partition.lower-bound、scan.partition.num必須同時(shí)存在或者同時(shí)不存在。 |
|
scan.partition.num |
否 |
無(wú) |
Integer |
分區(qū)的個(gè)數(shù)。 與scan.partition.column、scan.partition.upper-bound、scan.partition.upper-bound必須同時(shí)存在或者同時(shí)不存在。 |
|
scan.fetch-size |
否 |
0 |
Integer |
每次從數(shù)據(jù)庫(kù)拉取數(shù)據(jù)的行數(shù)。默認(rèn)值為0,表示不限制。 |
|
scan.auto-commit |
否 |
true |
Boolean |
設(shè)置自動(dòng)提交標(biāo)志。 它決定每一個(gè)statement是否以事務(wù)的方式自動(dòng)提交。 |
|
lookup.cache.max-rows |
否 |
無(wú) |
Integer |
維表配置,緩存的最大行數(shù),超過(guò)該值時(shí),最先添加的數(shù)據(jù)將被標(biāo)記為過(guò)期。 默認(rèn)表示不使用該配置。 |
|
lookup.cache.ttl |
否 |
無(wú) |
Duration |
維表配置,緩存超時(shí)時(shí)間,超過(guò)該時(shí)間的數(shù)據(jù)會(huì)被剔除。格式為:{length value}{time unit label},如123ms, 321s,支持的時(shí)間單位包括: d,h,min,s,ms等,默認(rèn)為ms。 默認(rèn)表示不使用該配置。 |
|
lookup.max-retries |
否 |
3 |
Integer |
維表配置,數(shù)據(jù)拉取最大重試次數(shù)。 |
|
pwd_auth_name |
否 |
無(wú) |
String |
DLI側(cè)創(chuàng)建的Password類型的跨源認(rèn)證名稱。 使用跨源認(rèn)證則無(wú)需在作業(yè)中配置賬號(hào)和密碼。 |
示例
從Kafka源表中讀取數(shù)據(jù),將DWS表作為維表,并將二者生成的寬表信息寫(xiě)入Kafka結(jié)果表中,其具體步驟如下:
- 參考增強(qiáng)型跨源連接,在DLI上根據(jù)DWS和Kafka所在的虛擬 私有云 和子網(wǎng)分別創(chuàng)建相應(yīng)的增強(qiáng)型跨源連接,并綁定所要使用的Flink彈性資源池。
- 設(shè)置DWS和Kafka的安全組,添加入向規(guī)則使其對(duì)Flink的隊(duì)列網(wǎng)段放通。參考測(cè)試地址連通性分別根據(jù)DWS和Kafka的地址測(cè)試隊(duì)列連通性。若能連通,則表示跨源已經(jīng)綁定成功,否則表示未成功。
- 連接DWS數(shù)據(jù)庫(kù)實(shí)例,在DWS中創(chuàng)建相應(yīng)的表,作為維表,表名為area_info,SQL語(yǔ)句如下:
create table public.area_info( area_id VARCHAR, area_province_name VARCHAR, area_city_name VARCHAR, area_county_name VARCHAR, area_street_name VARCHAR, region_name VARCHAR);
- 連接DWS數(shù)據(jù)庫(kù)實(shí)例,向DWS維表area_info中插入測(cè)試數(shù)據(jù),其語(yǔ)句如下:
insert into area_info (area_id, area_province_name, area_city_name, area_county_name, area_street_name, region_name) values ('330102', 'a1', 'b1', 'c1', 'd1', 'e1'), ('330106', 'a1', 'b1', 'c2', 'd2', 'e1'), ('330108', 'a1', 'b1', 'c3', 'd3', 'e1'), ('330110', 'a1', 'b1', 'c4', 'd4', 'e1'); - 參考創(chuàng)建Flink OpenSource作業(yè),創(chuàng)建flink opensource sql作業(yè),輸入以下作業(yè)運(yùn)行腳本,提交運(yùn)行作業(yè)。該作業(yè)腳本將Kafka作為數(shù)據(jù)源,DWS作為維表,數(shù)據(jù)輸出到Kafka結(jié)果表中。
注意:創(chuàng)建作業(yè)時(shí),在作業(yè)編輯界面的“運(yùn)行參數(shù)”處,“Flink版本”選擇“1.12”,勾選“保存作業(yè)日志”并設(shè)置保存作業(yè)日志的OBS桶,方便后續(xù)查看作業(yè)日志。如下腳本中的加粗參數(shù)請(qǐng)根據(jù)實(shí)際環(huán)境修改。
CREATE TABLE orders ( order_id string, order_channel string, order_time string, pay_amount double, real_pay double, pay_time string, user_id string, user_name string, area_id string, proctime as Proctime()) WITH ( 'connector' = 'kafka', 'topic' = 'KafkaSourceTopic', 'properties.bootstrap.servers' = 'KafkaAddress1:KafkaPort,KafkaAddress2:KafkaPort', 'properties.group.id' = 'dws-order', 'scan.startup.mode' = 'latest-offset', 'format' = 'json');--創(chuàng)建地址維表create table area_info ( area_id string, area_province_name string, area_city_name string, area_county_name string, area_street_name string, region_name string ) WITH ( 'connector' = 'gaussdb', 'driver' = 'org.postgresql.Driver', 'url' = 'jdbc:gaussdb://DwsAddress:DwsPort/DwsDbName', 'table-name' = 'area_info', 'username' = 'DwsUserName', 'password' = 'DwsPassword', 'lookup.cache.max-rows' = '10000', 'lookup.cache.ttl' = '2h');--根據(jù)地址維表生成詳細(xì)的包含地址的訂單信息寬表create table order_detail( order_id string, order_channel string, order_time string, pay_amount double, real_pay double, pay_time string, user_id string, user_name string, area_id string, area_province_name string, area_city_name string, area_county_name string, area_street_name string, region_name string) with ( 'connector' = 'kafka', 'topic' = 'KafkaSinkTopic', 'properties.bootstrap.servers' = 'KafkaAddress1:KafkaPort,KafkaAddress2:KafkaPort', 'format' = 'json');insert into order_detail select orders.order_id, orders.order_channel, orders.order_time, orders.pay_amount, orders.real_pay, orders.pay_time, orders.user_id, orders.user_name, area.area_id, area.area_province_name, area.area_city_name, area.area_county_name, area.area_street_name, area.region_name from orders left join area_info for system_time as of orders.proctime as area on orders.area_id = area.area_id;
- 連接Kafka集群,向kafka中source topic中插入如下測(cè)試數(shù)據(jù):
{"order_id":"202103241606060001", "order_channel":"appShop", "order_time":"2021-03-24 16:06:06", "pay_amount":"200.00", "real_pay":"180.00", "pay_time":"2021-03-24 16:10:06", "user_id":"0001", "user_name":"Alice", "area_id":"330106"}{"order_id":"202103251202020001", "order_channel":"miniAppShop", "order_time":"2021-03-25 12:02:02", "pay_amount":"60.00", "real_pay":"60.00", "pay_time":"2021-03-25 12:03:00", "user_id":"0002", "user_name":"Bob", "area_id":"330110"}{"order_id":"202103251505050001", "order_channel":"qqShop", "order_time":"2021-03-25 15:05:05", "pay_amount":"500.00", "real_pay":"400.00", "pay_time":"2021-03-25 15:10:00", "user_id":"0003", "user_name":"Cindy", "area_id":"330108"} - 連接Kafka集群,讀取kafka中sink topic中數(shù)據(jù),結(jié)果參考如下:
{"order_id":"202103241606060001","order_channel":"appShop","order_time":"2021-03-24 16:06:06","pay_amount":200.0,"real_pay":180.0,"pay_time":"2021-03-24 16:10:06","user_id":"0001","user_name":"Alice","area_id":"330106","area_province_name":"a1","area_city_name":"b1","area_county_name":"c2","area_street_name":"d2","region_name":"e1"}{"order_id":"202103251202020001","order_channel":"miniAppShop","order_time":"2021-03-25 12:02:02","pay_amount":60.0,"real_pay":60.0,"pay_time":"2021-03-25 12:03:00","user_id":"0002","user_name":"Bob","area_id":"330110","area_province_name":"a1","area_city_name":"b1","area_county_name":"c4","area_street_name":"d4","region_name":"e1"}{"order_id":"202103251505050001","order_channel":"qqShop","order_time":"2021-03-25 15:05:05","pay_amount":500.0,"real_pay":400.0,"pay_time":"2021-03-25 15:10:00","user_id":"0003","user_name":"Cindy","area_id":"330108","area_province_name":"a1","area_city_name":"b1","area_county_name":"c3","area_street_name":"d3","region_name":"e1"}
常見(jiàn)問(wèn)題
- Q:若Flink作業(yè)日志中有如下報(bào)錯(cuò)信息,應(yīng)該怎么解決?
java.io.IOException: unable to open JDBC writer...Caused by: org.postgresql.util.PSQLException: The connection attempt failed....Caused by: java.net.SocketTimeoutException: connect timed out
A:應(yīng)考慮是跨源沒(méi)有綁定,或者跨源沒(méi)有綁定成功。- 參考增強(qiáng)型跨源連接章節(jié),重新配置跨源。參考DLI跨源連接DWS失敗進(jìn)行問(wèn)題排查。
- Q:如果該DWS表在某schema下,則應(yīng)該如何配置?
A:如下示例是使用schema為dbuser2下的表area_info:
--創(chuàng)建地址維表create table area_info ( area_id string, area_province_name string, area_city_name string, area_county_name string, area_street_name string, region_name string ) WITH ( 'connector' = 'gaussdb', 'driver' = 'org.postgresql.Driver', 'url' = 'jdbc:postgresql://DwsAddress:DwsPort/DwsDbname', 'table-name' = 'dbuser2.area_info', 'username' = 'DwsUserName', 'password' = 'DwsPassword', 'lookup.cache.max-rows' = '10000', 'lookup.cache.ttl' = '2h');
DWS資源如何管理常見(jiàn)問(wèn)題
更多常見(jiàn)問(wèn)題 >>-
GaussDB(DWS)提供了資源管理功能,用戶可以根據(jù)自身業(yè)務(wù)將資源按需劃分成不同的資源池,不同資源池之間資源互相隔離。再通過(guò)關(guān)聯(lián)數(shù)據(jù)庫(kù)用戶將其關(guān)聯(lián)至不同的資源池,用戶SQL查詢時(shí)將根據(jù)“用戶-資源池”的關(guān)聯(lián)關(guān)系將查詢轉(zhuǎn)至資源池中執(zhí)行。通過(guò)指定資源池上可并行運(yùn)行的查詢數(shù)、單查詢內(nèi)存上限以及資源池可使用的內(nèi)存和CPU資源,從而實(shí)現(xiàn)對(duì)不同業(yè)務(wù)之間的資源限制和隔離,滿足數(shù)據(jù)庫(kù)混合負(fù)載需求,保證執(zhí)行查詢時(shí)有充足的系統(tǒng)資源,確保查詢性能。
-
新一代、全場(chǎng)景數(shù)據(jù)倉(cāng)庫(kù),一站式分析,性能、容量無(wú)限擴(kuò)展。守護(hù)高價(jià)值數(shù)據(jù)、創(chuàng)享高價(jià)值分析,企業(yè)數(shù)字化轉(zhuǎn)型堅(jiān)實(shí)伙伴。 DWS可靠保護(hù)數(shù)據(jù)庫(kù)中存儲(chǔ)的數(shù)據(jù),確保數(shù)據(jù)安全、完整、可用。
-
數(shù)據(jù)倉(cāng)庫(kù)服務(wù)(Data Warehouse Service,簡(jiǎn)稱DWS)是一種基于公有云基礎(chǔ)架構(gòu)和平臺(tái)的在線數(shù)據(jù)處理數(shù)據(jù)庫(kù),提供即開(kāi)即用、可擴(kuò)展且完全托管的分析型數(shù)據(jù)庫(kù)服務(wù)。DWS是基于華為融合數(shù)據(jù)倉(cāng)庫(kù)GaussDB產(chǎn)品的云原生服務(wù),兼容標(biāo)準(zhǔn)ANSI SQL 99和SQL 2003,同時(shí)兼容PostgreSQL/Oracle數(shù)據(jù)庫(kù)生態(tài),為各行業(yè)PB級(jí)海量大數(shù)據(jù)分析提供有競(jìng)爭(zhēng)力的解決方案。
-
數(shù)據(jù)倉(cāng)庫(kù)服務(wù)所提供的接口為自研接口。通過(guò)配合使用數(shù)據(jù)倉(cāng)庫(kù)服務(wù)自研接口,您可以使用數(shù)據(jù)倉(cāng)庫(kù)服務(wù)的可用區(qū)、集群管理、快照管理、事件管理、數(shù)據(jù)源、審計(jì)日志、資源管理、告警管理、連接管理、標(biāo)簽管理、配額管理、容災(zāi)管理、任務(wù)管理以及主機(jī)監(jiān)控等功能。
-
應(yīng)用管理與運(yùn)維平臺(tái)(ServiceStage)是面向企業(yè)的應(yīng)用管理與運(yùn)維平臺(tái),提供應(yīng)用發(fā)布、部署、監(jiān)控與運(yùn)維等一站式解決方案。支持Java、Node.js、Docker、Tomcat等運(yùn)行環(huán)境。支持Apache ServiceComb Java Chassis(Java Chassis)、Spring Cloud等微服務(wù)應(yīng)用,讓企業(yè)應(yīng)用上云更簡(jiǎn)單。
-
數(shù)據(jù)倉(cāng)庫(kù)DWS將OBS上存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù)映射為外部表,從而利用數(shù)據(jù)庫(kù)SQL引擎的能力對(duì)OBS上的數(shù)據(jù)進(jìn)行分析。在數(shù)據(jù)分散的情況下, 通過(guò)跨集群協(xié)同分析, 支撐周期性業(yè)務(wù)分析, 無(wú)需做全量數(shù)據(jù)搬移和轉(zhuǎn)化, 提升分析效率
DWS資源如何管理教程視頻
最佳實(shí)踐視頻幫助您快速了解搭建流程 了解更多
-
GaussDB(DWS)資源負(fù)載管理
本講為您介紹華為云數(shù)倉(cāng)GaussDB(DWS) 多租戶機(jī)制,資源管理及負(fù)載管理機(jī)制,讓您了解多租戶的基本概念及基本設(shè)置方法,了解資源負(fù)載的基本原理及并發(fā)管理機(jī)制,初步進(jìn)行資源負(fù)載分析和配置 -
委托管理資源
本視頻介紹如何管理委托的功能,并以委托IMS管理員權(quán)限給其他賬號(hào)來(lái)演示委托的效果。 -
GaussDB(DWS)事務(wù)、鎖機(jī)制管理
本講為您介紹華為云數(shù)倉(cāng)GaussDB(DWS) 單機(jī)事務(wù)機(jī)制,分布式事務(wù)機(jī)制,鎖機(jī)制,并介紹一般的鎖問(wèn)題定位防范,例如死鎖問(wèn)題。
更多相關(guān)專題
- 熱門(mén)產(chǎn)品
- 大模型即服務(wù)平臺(tái) MaaS
- Flexus云服務(wù)
- 云服務(wù)器
- 盤(pán)古大模型
- SSL證書(shū)
- 華為云WeLink
- 支持與服務(wù)
- 自助服務(wù)
- 服務(wù)公告
- 支持計(jì)劃
- 盤(pán)古Doer
- 聯(lián)系我們
- 舉報(bào)中心
- 實(shí)用工具
- 文字識(shí)別
- 漏洞掃描
- 華為云會(huì)議
- 云服務(wù)健康看板
增值電信業(yè)務(wù)經(jīng)營(yíng)許可證:B1.B2-20200593 | 域名注冊(cè)服務(wù)機(jī)構(gòu)許可:黔D3-20230001 | 代理域名注冊(cè)服務(wù)機(jī)構(gòu):新網(wǎng)、西數(shù)