五月婷婷丁香性爱|j久久一级免费片|久久美女福利视频|中文观看在线观看|加勒比四区三区二|亚洲裸女视频网站|超碰97AV在线69网站免费观看|有码在线免费视频|久久青青日本视频|亚洲国产AAAA

[快速入門(mén)]DWS資源如何管理
數(shù)據(jù)倉(cāng)庫(kù)服務(wù)GaussDB(DWS)學(xué)習(xí)與資源_數(shù)據(jù)倉(cāng)庫(kù)培訓(xùn)課程_數(shù)據(jù)倉(cāng)庫(kù)視頻教程

BS源數(shù)據(jù)導(dǎo)入數(shù)據(jù)倉(cāng)庫(kù),完成數(shù)據(jù)的簡(jiǎn)易查詢。 立即體驗(yàn) 使用GaussDB(DWS)導(dǎo)入Hive數(shù)據(jù),實(shí)現(xiàn)對(duì)大數(shù)據(jù)的融合分析 指導(dǎo)用戶創(chuàng)建數(shù)據(jù)倉(cāng)庫(kù)集群GaussDB(DWS),并將Hive數(shù)據(jù)導(dǎo)入數(shù)據(jù)倉(cāng)庫(kù),實(shí)現(xiàn)跨集群大數(shù)據(jù)的融合分析。 立即體驗(yàn) 使用GaussDB(DWS)實(shí)現(xiàn)零售業(yè)經(jīng)營(yíng)狀況的多維度查詢分析

數(shù)據(jù)倉(cāng)庫(kù)服務(wù) DWS入門(mén)

冷熱數(shù)據(jù)管理優(yōu)秀實(shí)踐 根據(jù)業(yè)務(wù)系統(tǒng)中用戶對(duì)不同時(shí)期數(shù)據(jù)的不同使用需求,對(duì)膨脹的數(shù)據(jù)進(jìn)行“冷熱”分級(jí)管理,不僅可以提高數(shù)據(jù)分析性能還能降低業(yè)務(wù)成本。 資源管理實(shí)踐 演示DWS資源管理功能,幫助企業(yè)客戶解決數(shù)據(jù)分析過(guò)程中,多用戶查詢作業(yè)遇到的性能瓶頸,最終實(shí)現(xiàn)多用戶執(zhí)行SQL作業(yè)互不影響,節(jié)省資源消耗。

數(shù)據(jù)倉(cāng)庫(kù)服務(wù) DWS

支持事務(wù)強(qiáng)一致 資源管理:可以根據(jù)業(yè)務(wù)優(yōu)先級(jí)進(jìn)行資源動(dòng)態(tài)分配,實(shí)現(xiàn)“快慢通道” 按需擴(kuò)容:彈性按需擴(kuò)容,靈活應(yīng)對(duì)用戶數(shù)據(jù)及負(fù)載潮汐變化 倉(cāng)湖一體:DWS可以直接讀寫(xiě)OBS對(duì)象存儲(chǔ)系統(tǒng)的數(shù)據(jù),支持數(shù)據(jù)冷熱分級(jí) 多源數(shù)據(jù)融合,實(shí)時(shí)數(shù)據(jù)迅捷分析 多源數(shù)據(jù)融合,實(shí)時(shí)數(shù)據(jù)迅捷分析 復(fù)雜SQ

資源訪問(wèn)管理服務(wù) RAM

效率,且確保了資源配置的一致性 提高管理安全性 提高管理安全性 RAM服務(wù)內(nèi)置了不同資源類型的共享權(quán)限,資源使用者只能對(duì)資源進(jìn)行權(quán)限內(nèi)的訪問(wèn),保證共享資源在滿足資源使用者業(yè)務(wù)訴求的同時(shí),提升資源管理的安全性 組織級(jí)共享管理 組織級(jí)共享管理 用戶通過(guò)RAM服務(wù)資源共享給指定的組織

數(shù)據(jù)倉(cāng)庫(kù)服務(wù) DWS功能

STDIN導(dǎo)入數(shù)據(jù) 7)使用DRS將數(shù)據(jù)導(dǎo)入DWS 8)使用CDM遷移數(shù)據(jù)DWS 9)使用DGC數(shù)據(jù)接入服務(wù)遷移數(shù)據(jù)DWS 10)使用DSC工具遷移SQL腳本 11)使用gs_dump和gs_dumpall命令導(dǎo)出元數(shù)據(jù) 12)使用gs_restore導(dǎo)入數(shù)據(jù) 集群管理 一個(gè)DW

數(shù)據(jù)倉(cāng)庫(kù)服務(wù) DWS定價(jià)

彈性負(fù)載均衡 ELB(可選) DWS集群支持綁定彈性負(fù)載均衡,所需費(fèi)用按照彈性負(fù)載均衡(ELB)服務(wù)的計(jì)費(fèi)規(guī)則進(jìn)行計(jì)費(fèi)。 數(shù)據(jù)庫(kù)加密密鑰(可選) 在創(chuàng)建DWS集群時(shí),如果開(kāi)啟“加密數(shù)據(jù)庫(kù)”的功能,需使用KMS(密鑰管理服務(wù))的密鑰加解密數(shù)據(jù)庫(kù)。密鑰按照數(shù)據(jù)加密服務(wù)密鑰的計(jì)費(fèi)規(guī)則進(jìn)行計(jì)費(fèi)。

數(shù)據(jù)倉(cāng)庫(kù)服務(wù)GaussDB(DWS)核心技術(shù)介紹

少清理碎片工作量。 數(shù)據(jù)分區(qū)帶來(lái)的好處如下: 改善可管理性 利用分區(qū),可以將表和索引劃分為一些更小、更易管理的單元。這樣,數(shù)據(jù)庫(kù)管理員在進(jìn)行數(shù)據(jù)管理時(shí)就能采取“分而治之”的方法。 有了分區(qū),維護(hù)操作可以專門(mén)針對(duì)表的特定部分執(zhí)行。 可提升刪除操作的性能 刪除數(shù)據(jù)時(shí)可以刪除整個(gè)分區(qū),

數(shù)據(jù)倉(cāng)庫(kù)服務(wù) GaussDB(DWS)產(chǎn)品架構(gòu)_技術(shù)特點(diǎn)

GaussDB(DWS)提供了數(shù)據(jù)遷移/備份,數(shù)據(jù)導(dǎo)入導(dǎo)出等多種數(shù)據(jù)管理工具,可以快速、方便地在不同數(shù)據(jù)庫(kù)之間、GaussDB(DWS)的不同集群之間轉(zhuǎn)移數(shù)據(jù),為用戶升級(jí)、擴(kuò)展、替換、備份數(shù)據(jù)庫(kù)系統(tǒng)提供有力地保障。 GaussDB(DWS)提供可視化的集群管理界面,可以一鍵部署

數(shù)據(jù)倉(cāng)庫(kù)服務(wù) GaussDB(DWS)兼容性

式查詢分析。 跨數(shù)據(jù)中心協(xié)同分析 隨著數(shù)據(jù)量的不斷增加,在單數(shù)據(jù)中心存儲(chǔ)計(jì)算能力有限情況下,不可能把所有數(shù)據(jù)都統(tǒng)一匯總到單個(gè)數(shù)據(jù)中心。而在進(jìn)行數(shù)據(jù)挖掘、碰撞分析時(shí),又需要涉及更多更全面的數(shù)據(jù),此時(shí),一個(gè)統(tǒng)計(jì)查詢業(yè)務(wù)就可能涉及到多個(gè)數(shù)據(jù)中心。 GaussDB(DWS)支持直接跨庫(kù)訪

[相關(guān)產(chǎn)品]DWS資源如何管理
戴西DWS.DCS設(shè)計(jì)云

DWS.DCS設(shè)計(jì)云系統(tǒng)是一個(gè)高度集成且協(xié)同化的研發(fā)管理系統(tǒng),通過(guò)平臺(tái)的建設(shè)可為用戶單位提供精準(zhǔn)定位連接內(nèi)部研發(fā)所需的圖形硬件支撐資源(工作站/圖形服務(wù)器)、三維應(yīng)用工具軟件,用戶無(wú)論身處何地,都能輕松訪問(wèn)平臺(tái),進(jìn)行高質(zhì)量的三維設(shè)計(jì)業(yè)務(wù)開(kāi)展產(chǎn)品功能:戴西DWS.DCS設(shè)計(jì)云系統(tǒng)是

戴西DWS數(shù)字化研發(fā)平臺(tái)

標(biāo)、產(chǎn)品設(shè)計(jì)與仿真數(shù)據(jù)管理、產(chǎn)品試驗(yàn)數(shù)據(jù)管理、參數(shù)化建模與自動(dòng)化仿真、第三方系統(tǒng)集成、敏捷聯(lián)合開(kāi)發(fā)平臺(tái)等。產(chǎn)品特點(diǎn):戴西DWS數(shù)字化研發(fā)平臺(tái)是一種綜合性數(shù)字化研發(fā)解決方案,由戴西軟件結(jié)合15年經(jīng)驗(yàn)自主研發(fā)。將3D顯示現(xiàn)實(shí)技術(shù)、仿真計(jì)算技術(shù)、創(chuàng)新協(xié)作技術(shù)、數(shù)據(jù)管理和智能化分析等功能

數(shù)據(jù)資源管理平臺(tái)(HCS)

數(shù)據(jù)資源管理平臺(tái)是一站式數(shù)據(jù)資源管理及開(kāi)發(fā)工具。通過(guò)數(shù)據(jù)管理、數(shù)據(jù)治理等核心能力,推動(dòng)實(shí)施人員一站式實(shí)現(xiàn)數(shù)據(jù)治理,提升工作效率;幫助客戶改善數(shù)據(jù)質(zhì)量,沉淀數(shù)據(jù)資產(chǎn),釋放數(shù)據(jù)價(jià)值。數(shù)據(jù)資源管理平臺(tái)是易華錄基于數(shù)據(jù)全生命周期治理的技術(shù)積累和實(shí)踐優(yōu)勢(shì),打造的一站式數(shù)據(jù)資源開(kāi)發(fā)及管理工具

云資源維保管理服務(wù)

退出等措施網(wǎng)絡(luò)設(shè)備防護(hù)    當(dāng)對(duì)網(wǎng)絡(luò)設(shè)備進(jìn)行遠(yuǎn)程管理時(shí),應(yīng)采取必要措施防止鑒別信息在網(wǎng)絡(luò)傳輸過(guò)程中被竊聽(tīng)云資源維保管理服務(wù)-企業(yè)版可以根據(jù)企業(yè)自身需求進(jìn)行定制開(kāi)發(fā)云資源維保管理服務(wù)-智能版智能版本加入了AI智能處理,安全大數(shù)據(jù)庫(kù)模型漏洞掃描,木馬查殺,后門(mén)檢查,預(yù)防等

華為云數(shù)據(jù)倉(cāng)庫(kù)培訓(xùn)服務(wù)

,GaussDB(DWS)對(duì)象設(shè)計(jì),GaussDB(DWS)性能管理,GaussDB(DWS)數(shù)據(jù)訪問(wèn),GaussDB(DWS)安全管理,GaussDB(DWS)資源管控,GaussDB(DWS)高可靠,GaussDB(DWS)高可用,GaussDB(DWS)運(yùn)維監(jiān)控規(guī)格:培訓(xùn)時(shí)

人力資源管理系統(tǒng)

優(yōu)速云EHR系統(tǒng)的智分析BI為企業(yè)管理者定制了許多常用的人力資源分析模型,運(yùn)用大數(shù)據(jù)分析技術(shù),可以讓不同層級(jí)的管理者實(shí)時(shí)掌握企業(yè)內(nèi)人力資源的總體狀況,并從多個(gè)維度進(jìn)行分析展現(xiàn)。   學(xué)習(xí)系統(tǒng)、考試系統(tǒng)、能力評(píng)判標(biāo)準(zhǔn)化,完善建立人員學(xué)習(xí)體系,,績(jī)效管理、薪酬管理、考勤管理,招聘管理,人事管理一體化,人員

醫(yī)院人力資源管理平臺(tái)

通過(guò)醫(yī)院人力資源管理平臺(tái)統(tǒng)一管理全院人員(包括編內(nèi)和編外),可實(shí)現(xiàn)有效的人力數(shù)據(jù)共享,滿足復(fù)雜的人員考勤需求,人事管理信息互通共享,幫助人員能力提升與戰(zhàn)略執(zhí)行。1.提供客觀的人力資源信息,支撐醫(yī)院科學(xué)決策,2.通過(guò)平臺(tái)實(shí)現(xiàn)全員協(xié)同、人力管理、頂層管控,幫助醫(yī)院實(shí)現(xiàn)高效運(yùn)營(yíng)和高績(jī)效組織

HR人力資源管理系統(tǒng)

為菜單欄,根據(jù)個(gè)人權(quán)限不同顯示不同,主要包含我的辦公、考勤管理、員工管理。主頁(yè)中間下半部分為要我審批、要我處理、我發(fā)起的的快捷展示,可以點(diǎn)擊打開(kāi)并進(jìn)行單據(jù)的處理。右邊上半部分為公司項(xiàng)目圖片,下半部分為功能快捷鍵。二、建議配置WIN8及以上操作系統(tǒng)(含IOS系統(tǒng)),并安裝谷歌瀏覽器

易神企業(yè)資源管理軟件

幫助零售品牌企業(yè)運(yùn)營(yíng)會(huì)員資產(chǎn),實(shí)現(xiàn)精準(zhǔn)營(yíng)銷(xiāo)、高效運(yùn)營(yíng)的目標(biāo)。,解決電商型企業(yè)的問(wèn)題,幫助企業(yè)公域平臺(tái)自動(dòng)同步庫(kù)存及物流單號(hào)。,通過(guò)倉(cāng)庫(kù)的合理規(guī)劃,規(guī)范管理,提升倉(cāng)儲(chǔ)的效率和拓寬倉(cāng)儲(chǔ)的空間,為企業(yè)整個(gè)貨品的快速流轉(zhuǎn)。

[相似文章]DWS資源如何管理
DWS資源管理_GaussDB(DWS)資源管理作用_DWS資源管控

間段的資源配置自動(dòng)切換。 資源管理計(jì)劃功能 資源管理計(jì)劃功能支持業(yè)務(wù)資源自動(dòng)切換。用戶可以在控制臺(tái)上添加資源管理計(jì)劃,啟動(dòng)資源管理計(jì)劃,查看資源管理計(jì)劃執(zhí)行日志,停止資源管理計(jì)劃等操作。 資源管理計(jì)劃功能支持業(yè)務(wù)資源自動(dòng)切換。用戶可以在控制臺(tái)上添加資源管理計(jì)劃,啟動(dòng)資源管理計(jì)劃,

DWS安全_數(shù)據(jù)倉(cāng)庫(kù)服務(wù)安全_DWS數(shù)據(jù)安全管理_DWS安全保障_DWS安全策略

GaussDB(DWS)安全管理 GaussDB(DWS)安全管理 DWS可靠保護(hù)數(shù)據(jù)庫(kù)中存儲(chǔ)的數(shù)據(jù),確保數(shù)據(jù)安全、完整、可用。 DWS可靠保護(hù)數(shù)據(jù)庫(kù)中存儲(chǔ)的數(shù)據(jù),確保數(shù)據(jù)安全、完整、可用。 管理控制臺(tái) 幫助文檔 數(shù)據(jù)庫(kù)安全 數(shù)據(jù)庫(kù)系統(tǒng)存儲(chǔ)著各類重要、敏感的數(shù)據(jù),同時(shí)作為多用戶的

DWS產(chǎn)品介紹_DWS產(chǎn)品優(yōu)勢(shì)_DWS功能_DWS使用場(chǎng)景_DWS是什么

用戶云上快速創(chuàng)建DWS數(shù)據(jù)倉(cāng)庫(kù)集群,并將OBS源數(shù)據(jù)導(dǎo)入數(shù)據(jù)倉(cāng)庫(kù),完成數(shù)據(jù)的簡(jiǎn)易查詢。 DWS熱門(mén)視頻 看視頻輕松了解和使用DWS 數(shù)據(jù)倉(cāng)庫(kù)服務(wù)產(chǎn)品介紹 04:38 數(shù)據(jù)倉(cāng)庫(kù)服務(wù)快速入門(mén) 03:29 DWS助力消費(fèi)者BG大數(shù)據(jù)平臺(tái)云化 05:30 數(shù)據(jù)倉(cāng)庫(kù)服務(wù)集群管理 05:30 數(shù)據(jù)倉(cāng)庫(kù)服務(wù)產(chǎn)品介紹

調(diào)用GaussDB(DWS) API接口_數(shù)據(jù)倉(cāng)庫(kù)服務(wù)調(diào)用API_如何調(diào)用API_在DWS中調(diào)用API

調(diào)用GaussDB(DWS) API接口 調(diào)用GaussDB(DWS) API接口 數(shù)據(jù)倉(cāng)庫(kù)服務(wù)所提供的接口為自研接口,您可以使用數(shù)據(jù)倉(cāng)庫(kù)服務(wù)的可用區(qū)、集群管理、快照管理、事件管理、數(shù)據(jù)源、審計(jì)日志、資源管理、告警管理、連接管理、標(biāo)簽管理、配額管理、容災(zāi)管理、任務(wù)管理以及主機(jī)監(jiān)控等功能。

如何使用應(yīng)用管理與運(yùn)維平臺(tái)環(huán)境管理功能_環(huán)境管理_創(chuàng)建環(huán)境_納管資源

境。 環(huán)境內(nèi)網(wǎng)絡(luò)互通,可以按環(huán)境維度來(lái)管理資源、部署服務(wù),減少具體基礎(chǔ)資源運(yùn)維管理的復(fù)雜性。 同一個(gè)項(xiàng)目下,最多支持創(chuàng)建300個(gè)環(huán)境。 應(yīng)用管理與運(yùn)維平臺(tái)虛擬機(jī)類型環(huán)境管理使用流程 由淺入深,帶您輕松了解應(yīng)用管理與運(yùn)維平臺(tái)虛擬機(jī)類型環(huán)境管理使用流程。 登錄ServiceStage控制臺(tái)

GaussDB(DWS)服務(wù)_什么是IoT數(shù)倉(cāng)_如何使用IoT數(shù)倉(cāng)

3副本冗余 3副本冗余 數(shù)據(jù)持久性高達(dá)99.9999999% 數(shù)據(jù)持久性高達(dá)99.9999999% 數(shù)據(jù)加密 數(shù)據(jù)加密 系統(tǒng)盤(pán)和數(shù)據(jù)盤(pán)均支持數(shù)據(jù)加密,保護(hù)數(shù)據(jù)安全 系統(tǒng)盤(pán)和數(shù)據(jù)盤(pán)均支持數(shù)據(jù)加密,保護(hù)數(shù)據(jù)安全 實(shí)時(shí)寫(xiě)入新數(shù)據(jù) 時(shí)序數(shù)據(jù)的寫(xiě)入是實(shí)時(shí)的,采集的數(shù)據(jù)反應(yīng)客觀信息,數(shù)據(jù)是隨著時(shí)間推進(jìn)不斷產(chǎn)生,不存在舊數(shù)據(jù)更新場(chǎng)景。

數(shù)據(jù)倉(cāng)庫(kù)服務(wù)GaussDB(DWS)_SQL on Anywhere

Flink將MySQL數(shù)據(jù)導(dǎo)入DWS集群 MySQL 使用華為云DLI服務(wù)的Flink作業(yè),將MySQL數(shù)據(jù)實(shí)時(shí)同步到GaussDB(DWS)。 操作簡(jiǎn)單。 使用CDM遷移數(shù)據(jù)到GaussDB(DWS) 數(shù)據(jù)庫(kù)、NoSQL、文件系統(tǒng)、大數(shù)據(jù)平臺(tái) CDM提供同構(gòu)/異構(gòu)數(shù)據(jù)源之間批量數(shù)據(jù)遷移的功能

ModelArts資源池_資源池是什么_資源池怎么收費(fèi)

資源池僅提供邏輯隔離,專屬資源池的隔離性、安全性要高于公共資源池。 專屬資源池用戶資源獨(dú)享,在資源充足的情況下,作業(yè)是不會(huì)排隊(duì)的;而公共資源池使用共享資源,在任何時(shí)候都有可能排隊(duì)。 專屬資源池支持打通用戶的網(wǎng)絡(luò),在該專屬資源池中運(yùn)行的作業(yè)可以訪問(wèn)打通網(wǎng)絡(luò)中的存儲(chǔ)和資源。例如,在創(chuàng)

企業(yè)如何做好知識(shí)管理

如何使用WeLink做好企業(yè)知識(shí)管理 企業(yè)的知識(shí)管理和學(xué)習(xí)平臺(tái) 下載客戶端 服務(wù)咨詢 了解更多 WeLink知識(shí)產(chǎn)品介紹 WeLink知識(shí)是內(nèi)置于華為云WeLink的一款知識(shí)管理和學(xué)習(xí)服務(wù),助力企業(yè)快速搭建線上知識(shí)管理平臺(tái),高效發(fā)布政策公告、構(gòu)建知識(shí)分享圈子,為員工創(chuàng)建知識(shí)經(jīng)驗(yàn)分

DWS資源如何管理

功能描述

創(chuàng)建DWS表用于與輸入流連接,從而生成相應(yīng)的寬表。

前提條件

  • 請(qǐng)務(wù)必確保您的賬戶下已在數(shù)據(jù)倉(cāng)庫(kù)服務(wù)(DWS)里創(chuàng)建了DWS集群。如何創(chuàng)建DWS集群,請(qǐng)參考《數(shù)據(jù)倉(cāng)庫(kù)服務(wù)管理指南》中“創(chuàng)建集群”章節(jié)。
  • 請(qǐng)確保已創(chuàng)建DWS 數(shù)據(jù)庫(kù) 表。
  • 該場(chǎng)景作業(yè)需要運(yùn)行在 DLI 的獨(dú)享隊(duì)列上,因此要與DWS集群建立增強(qiáng)型跨源連接,且用戶可以根據(jù)實(shí)際所需設(shè)置相應(yīng)安全組規(guī)則。
  • Flink跨源開(kāi)發(fā)場(chǎng)景中直接配置跨源認(rèn)證信息存在密碼泄露的風(fēng)險(xiǎn),優(yōu)先推薦您使用DLI提供的跨源認(rèn)證。

    跨源認(rèn)證簡(jiǎn)介及操作方法請(qǐng)參考跨源認(rèn)證簡(jiǎn)介

注意事項(xiàng)

創(chuàng)建Flink OpenSource SQL作業(yè)時(shí),在作業(yè)編輯界面的“運(yùn)行參數(shù)”處,“Flink版本”需要選擇“1.12”,勾選“保存作業(yè)日志”并設(shè)置保存作業(yè)日志的 OBS 桶,方便后續(xù)查看作業(yè)日志。

語(yǔ)法格式

 1 2 3 4 5 6 7 8 91011
create table dwsSource (  attr_name attr_type   (',' attr_name attr_type)* )with (  'connector' = 'gaussdb',  'url' = '',  'table-name' = '',  'username' = '',  'password' = '');

參數(shù)說(shuō)明

表1 參數(shù)說(shuō)明

參數(shù)

是否必選

默認(rèn)值

數(shù)據(jù)類型

說(shuō)明

connector

無(wú)

String

connector類型,需配置為'gaussdb'。

url

無(wú)

String

jdbc連接地址。

使用gsjdbc4驅(qū)動(dòng)連接時(shí),格式為:jdbc:postgresql://${ip}:${port}/${dbName} 。

使用gsjdbc200驅(qū)動(dòng)連接時(shí),格式為:jdbc:gaussdb://${ip}:${port}/${dbName}。

table-name

無(wú)

String

讀取數(shù)據(jù)庫(kù)中的數(shù)據(jù)所在的表名。

driver

無(wú)

String

jdbc連接驅(qū)動(dòng),默認(rèn)為: org.postgresql.Driver。

  • 使用gsjdbc4驅(qū)動(dòng)連接時(shí),加載的數(shù)據(jù)庫(kù)驅(qū)動(dòng)類為:org.postgresql.Driver。
  • 使用gsjdbc200驅(qū)動(dòng)連接時(shí),加載的數(shù)據(jù)庫(kù)驅(qū)動(dòng)類為:com.huawei.gauss200.jdbc.Driver。

username

無(wú)

String

數(shù)據(jù)庫(kù)認(rèn)證用戶名,需要和'password'一起配置。

password

無(wú)

String

數(shù)據(jù)庫(kù)認(rèn)證密碼,需要和'username'一起配置。

scan.partition.column

無(wú)

String

用于對(duì)輸入進(jìn)行分區(qū)的列名。

與scan.partition.lower-bound、scan.partition.upper-bound、scan.partition.num必須同時(shí)存在或者同時(shí)不存在。

scan.partition.lower-bound

無(wú)

Integer

第一個(gè)分區(qū)的最小值。

與scan.partition.column、scan.partition.upper-bound、scan.partition.num必須同時(shí)存在或者同時(shí)不存在。

scan.partition.upper-bound

無(wú)

Integer

最后一個(gè)分區(qū)的最大值。

與scan.partition.column、scan.partition.lower-bound、scan.partition.num必須同時(shí)存在或者同時(shí)不存在。

scan.partition.num

無(wú)

Integer

分區(qū)的個(gè)數(shù)。

與scan.partition.column、scan.partition.upper-bound、scan.partition.upper-bound必須同時(shí)存在或者同時(shí)不存在。

scan.fetch-size

0

Integer

每次從數(shù)據(jù)庫(kù)拉取數(shù)據(jù)的行數(shù)。默認(rèn)值為0,表示不限制。

scan.auto-commit

true

Boolean

設(shè)置自動(dòng)提交標(biāo)志。

它決定每一個(gè)statement是否以事務(wù)的方式自動(dòng)提交。

lookup.cache.max-rows

無(wú)

Integer

維表配置,緩存的最大行數(shù),超過(guò)該值時(shí),最先添加的數(shù)據(jù)將被標(biāo)記為過(guò)期。

默認(rèn)表示不使用該配置。

lookup.cache.ttl

無(wú)

Duration

維表配置,緩存超時(shí)時(shí)間,超過(guò)該時(shí)間的數(shù)據(jù)會(huì)被剔除。格式為:{length value}{time unit label},如123ms, 321s,支持的時(shí)間單位包括: d,h,min,s,ms等,默認(rèn)為ms。

默認(rèn)表示不使用該配置。

lookup.max-retries

3

Integer

維表配置,數(shù)據(jù)拉取最大重試次數(shù)。

pwd_auth_name

無(wú)

String

DLI側(cè)創(chuàng)建的Password類型的跨源認(rèn)證名稱。

使用跨源認(rèn)證則無(wú)需在作業(yè)中配置賬號(hào)和密碼。

示例

從Kafka源表中讀取數(shù)據(jù),將DWS表作為維表,并將二者生成的寬表信息寫(xiě)入Kafka結(jié)果表中,其具體步驟如下:

  1. 參考增強(qiáng)型跨源連接,在DLI上根據(jù)DWS和Kafka所在的虛擬 私有云 和子網(wǎng)分別創(chuàng)建相應(yīng)的增強(qiáng)型跨源連接,并綁定所要使用的Flink彈性資源池。
  2. 設(shè)置DWS和Kafka的安全組,添加入向規(guī)則使其對(duì)Flink的隊(duì)列網(wǎng)段放通。參考測(cè)試地址連通性分別根據(jù)DWS和Kafka的地址測(cè)試隊(duì)列連通性。若能連通,則表示跨源已經(jīng)綁定成功,否則表示未成功。
  3. 連接DWS數(shù)據(jù)庫(kù)實(shí)例,在DWS中創(chuàng)建相應(yīng)的表,作為維表,表名為area_info,SQL語(yǔ)句如下:
    create table public.area_info(  area_id VARCHAR,  area_province_name VARCHAR,  area_city_name VARCHAR,  area_county_name VARCHAR,  area_street_name VARCHAR,  region_name VARCHAR);
  4. 連接DWS數(shù)據(jù)庫(kù)實(shí)例,向DWS維表area_info中插入測(cè)試數(shù)據(jù),其語(yǔ)句如下:
      insert into area_info  (area_id, area_province_name, area_city_name, area_county_name, area_street_name, region_name)   values  ('330102', 'a1', 'b1', 'c1', 'd1', 'e1'),  ('330106', 'a1', 'b1', 'c2', 'd2', 'e1'),  ('330108', 'a1', 'b1', 'c3', 'd3', 'e1'),  ('330110', 'a1', 'b1', 'c4', 'd4', 'e1');
  5. 參考創(chuàng)建Flink OpenSource作業(yè),創(chuàng)建flink opensource sql作業(yè),輸入以下作業(yè)運(yùn)行腳本,提交運(yùn)行作業(yè)。該作業(yè)腳本將Kafka作為數(shù)據(jù)源,DWS作為維表,數(shù)據(jù)輸出到Kafka結(jié)果表中。
    注意:創(chuàng)建作業(yè)時(shí),在作業(yè)編輯界面的“運(yùn)行參數(shù)”處,“Flink版本”選擇“1.12”,勾選“保存作業(yè)日志”并設(shè)置保存作業(yè)日志的OBS桶,方便后續(xù)查看作業(yè)日志。如下腳本中的加粗參數(shù)請(qǐng)根據(jù)實(shí)際環(huán)境修改。
    CREATE TABLE orders (  order_id string,  order_channel string,  order_time string,  pay_amount double,  real_pay double,  pay_time string,  user_id string,  user_name string,  area_id string,  proctime as Proctime()) WITH (  'connector' = 'kafka',  'topic' = 'KafkaSourceTopic',  'properties.bootstrap.servers' = 'KafkaAddress1:KafkaPort,KafkaAddress2:KafkaPort',  'properties.group.id' = 'dws-order',  'scan.startup.mode' = 'latest-offset',  'format' = 'json');--創(chuàng)建地址維表create table area_info (    area_id string,     area_province_name string,     area_city_name string,     area_county_name string,    area_street_name string,     region_name string ) WITH (  'connector' = 'gaussdb',  'driver' = 'org.postgresql.Driver',  'url' = 'jdbc:gaussdb://DwsAddress:DwsPort/DwsDbName',  'table-name' = 'area_info',  'username' = 'DwsUserName',  'password' = 'DwsPassword',  'lookup.cache.max-rows' = '10000',  'lookup.cache.ttl' = '2h');--根據(jù)地址維表生成詳細(xì)的包含地址的訂單信息寬表create table order_detail(    order_id string,    order_channel string,    order_time string,    pay_amount double,    real_pay double,    pay_time string,    user_id string,    user_name string,    area_id string,    area_province_name string,    area_city_name string,    area_county_name string,    area_street_name string,    region_name string) with (  'connector' = 'kafka',  'topic' = 'KafkaSinkTopic',  'properties.bootstrap.servers' = 'KafkaAddress1:KafkaPort,KafkaAddress2:KafkaPort',  'format' = 'json');insert into order_detail    select orders.order_id, orders.order_channel, orders.order_time, orders.pay_amount, orders.real_pay, orders.pay_time, orders.user_id, orders.user_name,           area.area_id, area.area_province_name, area.area_city_name, area.area_county_name,           area.area_street_name, area.region_name  from orders    left join area_info for system_time as of orders.proctime as area on orders.area_id = area.area_id;
  6. 連接Kafka集群,向kafka中source topic中插入如下測(cè)試數(shù)據(jù):
    {"order_id":"202103241606060001", "order_channel":"appShop", "order_time":"2021-03-24 16:06:06", "pay_amount":"200.00", "real_pay":"180.00", "pay_time":"2021-03-24 16:10:06", "user_id":"0001", "user_name":"Alice", "area_id":"330106"}{"order_id":"202103251202020001", "order_channel":"miniAppShop", "order_time":"2021-03-25 12:02:02", "pay_amount":"60.00", "real_pay":"60.00", "pay_time":"2021-03-25 12:03:00", "user_id":"0002", "user_name":"Bob", "area_id":"330110"}{"order_id":"202103251505050001", "order_channel":"qqShop", "order_time":"2021-03-25 15:05:05", "pay_amount":"500.00", "real_pay":"400.00", "pay_time":"2021-03-25 15:10:00", "user_id":"0003", "user_name":"Cindy", "area_id":"330108"}
  7. 連接Kafka集群,讀取kafka中sink topic中數(shù)據(jù),結(jié)果參考如下:
    {"order_id":"202103241606060001","order_channel":"appShop","order_time":"2021-03-24 16:06:06","pay_amount":200.0,"real_pay":180.0,"pay_time":"2021-03-24 16:10:06","user_id":"0001","user_name":"Alice","area_id":"330106","area_province_name":"a1","area_city_name":"b1","area_county_name":"c2","area_street_name":"d2","region_name":"e1"}{"order_id":"202103251202020001","order_channel":"miniAppShop","order_time":"2021-03-25 12:02:02","pay_amount":60.0,"real_pay":60.0,"pay_time":"2021-03-25 12:03:00","user_id":"0002","user_name":"Bob","area_id":"330110","area_province_name":"a1","area_city_name":"b1","area_county_name":"c4","area_street_name":"d4","region_name":"e1"}{"order_id":"202103251505050001","order_channel":"qqShop","order_time":"2021-03-25 15:05:05","pay_amount":500.0,"real_pay":400.0,"pay_time":"2021-03-25 15:10:00","user_id":"0003","user_name":"Cindy","area_id":"330108","area_province_name":"a1","area_city_name":"b1","area_county_name":"c3","area_street_name":"d3","region_name":"e1"}

常見(jiàn)問(wèn)題

  • Q:若Flink作業(yè)日志中有如下報(bào)錯(cuò)信息,應(yīng)該怎么解決?
    java.io.IOException: unable to open JDBC writer...Caused by: org.postgresql.util.PSQLException: The connection attempt failed....Caused by: java.net.SocketTimeoutException: connect timed out
    A:應(yīng)考慮是跨源沒(méi)有綁定,或者跨源沒(méi)有綁定成功。
  • Q:如果該DWS表在某schema下,則應(yīng)該如何配置?
    A:如下示例是使用schema為dbuser2下的表area_info:
    --創(chuàng)建地址維表create table area_info (    area_id string,     area_province_name string,    area_city_name string,    area_county_name string,    area_street_name string,     region_name string ) WITH ( 'connector' = 'gaussdb',  'driver' = 'org.postgresql.Driver',  'url' = 'jdbc:postgresql://DwsAddress:DwsPort/DwsDbname',  'table-name' = 'dbuser2.area_info',  'username' = 'DwsUserName',  'password' = 'DwsPassword',  'lookup.cache.max-rows' = '10000',  'lookup.cache.ttl' = '2h');

DWS資源如何管理常見(jiàn)問(wèn)題

更多常見(jiàn)問(wèn)題 >>
  • GaussDB(DWS)提供了資源管理功能,用戶可以根據(jù)自身業(yè)務(wù)將資源按需劃分成不同的資源池,不同資源池之間資源互相隔離。再通過(guò)關(guān)聯(lián)數(shù)據(jù)庫(kù)用戶將其關(guān)聯(lián)至不同的資源池,用戶SQL查詢時(shí)將根據(jù)“用戶-資源池”的關(guān)聯(lián)關(guān)系將查詢轉(zhuǎn)至資源池中執(zhí)行。通過(guò)指定資源池上可并行運(yùn)行的查詢數(shù)、單查詢內(nèi)存上限以及資源池可使用的內(nèi)存和CPU資源,從而實(shí)現(xiàn)對(duì)不同業(yè)務(wù)之間的資源限制和隔離,滿足數(shù)據(jù)庫(kù)混合負(fù)載需求,保證執(zhí)行查詢時(shí)有充足的系統(tǒng)資源,確保查詢性能。

  • 新一代、全場(chǎng)景數(shù)據(jù)倉(cāng)庫(kù),一站式分析,性能、容量無(wú)限擴(kuò)展。守護(hù)高價(jià)值數(shù)據(jù)、創(chuàng)享高價(jià)值分析,企業(yè)數(shù)字化轉(zhuǎn)型堅(jiān)實(shí)伙伴。 DWS可靠保護(hù)數(shù)據(jù)庫(kù)中存儲(chǔ)的數(shù)據(jù),確保數(shù)據(jù)安全、完整、可用。

  • 數(shù)據(jù)倉(cāng)庫(kù)服務(wù)(Data Warehouse Service,簡(jiǎn)稱DWS)是一種基于公有云基礎(chǔ)架構(gòu)和平臺(tái)的在線數(shù)據(jù)處理數(shù)據(jù)庫(kù),提供即開(kāi)即用、可擴(kuò)展且完全托管的分析型數(shù)據(jù)庫(kù)服務(wù)。DWS是基于華為融合數(shù)據(jù)倉(cāng)庫(kù)GaussDB產(chǎn)品的云原生服務(wù),兼容標(biāo)準(zhǔn)ANSI SQL 99和SQL 2003,同時(shí)兼容PostgreSQL/Oracle數(shù)據(jù)庫(kù)生態(tài),為各行業(yè)PB級(jí)海量大數(shù)據(jù)分析提供有競(jìng)爭(zhēng)力的解決方案。

  • 數(shù)據(jù)倉(cāng)庫(kù)服務(wù)所提供的接口為自研接口。通過(guò)配合使用數(shù)據(jù)倉(cāng)庫(kù)服務(wù)自研接口,您可以使用數(shù)據(jù)倉(cāng)庫(kù)服務(wù)的可用區(qū)、集群管理、快照管理、事件管理、數(shù)據(jù)源、審計(jì)日志、資源管理、告警管理、連接管理、標(biāo)簽管理、配額管理、容災(zāi)管理、任務(wù)管理以及主機(jī)監(jiān)控等功能。

  • 應(yīng)用管理與運(yùn)維平臺(tái)(ServiceStage)是面向企業(yè)的應(yīng)用管理與運(yùn)維平臺(tái),提供應(yīng)用發(fā)布、部署、監(jiān)控與運(yùn)維等一站式解決方案。支持Java、Node.js、Docker、Tomcat等運(yùn)行環(huán)境。支持Apache ServiceComb Java Chassis(Java Chassis)、Spring Cloud等微服務(wù)應(yīng)用,讓企業(yè)應(yīng)用上云更簡(jiǎn)單。

  • 數(shù)據(jù)倉(cāng)庫(kù)DWS將OBS上存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù)映射為外部表,從而利用數(shù)據(jù)庫(kù)SQL引擎的能力對(duì)OBS上的數(shù)據(jù)進(jìn)行分析。在數(shù)據(jù)分散的情況下, 通過(guò)跨集群協(xié)同分析, 支撐周期性業(yè)務(wù)分析, 無(wú)需做全量數(shù)據(jù)搬移和轉(zhuǎn)化, 提升分析效率

更多相關(guān)專題