檢測(cè)到您已登錄華為云國(guó)際站賬號(hào),為了您更好的體驗(yàn),建議您訪問國(guó)際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
DWS開發(fā)設(shè)計(jì)建議 DWS總體開發(fā)設(shè)計(jì)規(guī)范 DWS連接管理規(guī)范 DWS對(duì)象設(shè)計(jì)規(guī)范 DWS SQL開發(fā)規(guī)范 DWS外表功能開發(fā)規(guī)范 DWS存儲(chǔ)過程開發(fā)規(guī)范 DWS各對(duì)象設(shè)計(jì)詳細(xì)規(guī)則
ge設(shè)計(jì),存儲(chǔ)與計(jì)算分離。本身構(gòu)建在AWS上,充分利用AWS的基礎(chǔ)服務(wù)能力,EC2作為計(jì)算節(jié)點(diǎn),本地支持緩存,數(shù)據(jù)表存儲(chǔ)在S3中。它提出一種“虛擬倉(cāng)庫(kù)”的概念,每個(gè)查詢可分配到不同的虛擬倉(cāng)庫(kù)中,針對(duì)不同的倉(cāng)庫(kù)也分配不同的資源。倉(cāng)庫(kù)間不會(huì)影響性能,且倉(cāng)庫(kù)本身具有很高的彈性,可自動(dòng)提
對(duì)于不同的數(shù)據(jù)消費(fèi)途徑,數(shù)據(jù)需要從高度一致性的基礎(chǔ)模型轉(zhuǎn)向便于數(shù)據(jù)展現(xiàn)和數(shù)據(jù)分析的維度模型。不同階段的數(shù)據(jù)因此需要使用不同架構(gòu)特點(diǎn)的數(shù)據(jù)模型與之相匹配,這也就是數(shù)據(jù)在數(shù)據(jù)倉(cāng)庫(kù)里面進(jìn)行數(shù)據(jù)分層的原因。 數(shù)據(jù)在各層數(shù)據(jù)中間的流轉(zhuǎn),就是從一種數(shù)據(jù)模型轉(zhuǎn)向另外一種數(shù)據(jù)模型,這種轉(zhuǎn)換的過程需要借助的就是ETL算法
屏展示的實(shí)時(shí)數(shù)據(jù)推送,有用于部門應(yīng)用的數(shù)據(jù)集市,也有用于分析師的數(shù)據(jù)實(shí)驗(yàn)室...對(duì)于不同的數(shù)據(jù)消費(fèi)途徑,數(shù)據(jù)需要從高度一致性的基礎(chǔ)模型轉(zhuǎn)向便于數(shù)據(jù)展現(xiàn)和數(shù)據(jù)分析的維度模型。不同階段的數(shù)據(jù)因此需要使用不同架構(gòu)特點(diǎn)的數(shù)據(jù)模型與之相匹配,這也就是數(shù)據(jù)在數(shù)據(jù)倉(cāng)庫(kù)里面進(jìn)行數(shù)據(jù)分層的原因。
、維的類別、數(shù)據(jù)立方體以及數(shù)據(jù)集市中的聚合規(guī)則。這里的數(shù)據(jù)立方體表示某主題領(lǐng)域業(yè)務(wù)事實(shí)表和維表的多維組織形式。業(yè)務(wù)概念模型和物理數(shù)據(jù)之間的依賴:以上提到的業(yè)務(wù)元數(shù)據(jù)只是表示出了數(shù)據(jù)的業(yè)務(wù)視圖,這些業(yè)務(wù)視圖與實(shí)際的數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)庫(kù)、多維數(shù)據(jù)庫(kù)中的表、字段、維、層次等之間的對(duì)應(yīng)關(guān)系也應(yīng)該在元數(shù)據(jù)知識(shí)庫(kù)中有所體現(xiàn)。
DWS視圖和關(guān)聯(lián)表設(shè)計(jì)規(guī)則 視圖設(shè)計(jì) 【建議】除非視圖之間存在強(qiáng)依賴關(guān)系,否則不建議視圖嵌套。 【建議】視圖定義中盡量避免排序操作。 關(guān)聯(lián)表設(shè)計(jì) 【建議】表之間的關(guān)聯(lián)字段應(yīng)該盡量少。 【建議】關(guān)聯(lián)字段的數(shù)據(jù)類型應(yīng)該保持一致。 【建議】關(guān)聯(lián)字段在命名上,盡可能體現(xiàn)出明顯的關(guān)聯(lián)關(guān)系。例如,采用同樣名稱來命名。
層的關(guān)系。 第一個(gè)應(yīng)用: 隨著第一個(gè)應(yīng)用出現(xiàn),就可以基于部分的需求構(gòu)建第一個(gè)公共層了。共性加工需求在一個(gè)中型的應(yīng)用集市就很明顯了。 一、數(shù)據(jù)清洗:一個(gè)表的數(shù)據(jù)清洗后,會(huì)有多個(gè)數(shù)據(jù)加工任務(wù)都會(huì)使用這個(gè)清洗后的表,這就是最簡(jiǎn)單的共性加工的理解。 二、多表關(guān)聯(lián):多張表的關(guān)聯(lián)
在下新接觸華為云,請(qǐng)問一下各位專家,我這邊的需求是現(xiàn)有傳統(tǒng)的OA,HR,ERP系統(tǒng),這些系統(tǒng)的數(shù)據(jù)庫(kù)在華為云RDS上,我們想搭建數(shù)據(jù)倉(cāng)庫(kù)將各個(gè)系統(tǒng)的數(shù)據(jù)抽到數(shù)據(jù)庫(kù)倉(cāng)庫(kù)形成大寬表,后面提供給BI進(jìn)行數(shù)據(jù)查詢和展示。。請(qǐng)問下我需要用到華為云的哪些服務(wù),購(gòu)買哪些產(chǎn)品,哪些是必須的,哪些是可選的。。有沒有實(shí)踐案例可參考。謝謝
MapReduce的轉(zhuǎn)換??梢詫⒔Y(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫(kù)表,并提供類SQL查詢功能。 Hive 的架構(gòu) 1. 簡(jiǎn)介 HDFS:用來存儲(chǔ)hive倉(cāng)庫(kù)的數(shù)據(jù)文件 yarn:用來完成hive的HQL轉(zhuǎn)化的MR程序的執(zhí)行 MetaStore:保存管理hive維護(hù)的元數(shù)據(jù) Hive:用來通過HQL的執(zhí)行,轉(zhuǎn)化為M
VIEW對(duì)象設(shè)計(jì)規(guī)范 建議2.16 視圖的嵌套需避免超過三層 違反規(guī)范的影響: 視圖嵌套過深導(dǎo)致執(zhí)行計(jì)劃不穩(wěn)定、耗時(shí)不穩(wěn)定。 視圖依賴的對(duì)象重建風(fēng)險(xiǎn)高,鎖沖突發(fā)生概率增大。 方案建議: 創(chuàng)建視圖直接基于物理表查詢,不建議嵌套視圖。 父主題: DWS對(duì)象設(shè)計(jì)規(guī)范
SCHEMA對(duì)象設(shè)計(jì)規(guī)范 建議2.7 不在其他USER的私有SCHEMA下創(chuàng)建對(duì)象 私有SCHEMA是指創(chuàng)建USER時(shí)自帶的同名SCHEMA,該SCHEMA為該USER私有。 違反規(guī)則的影響: 在其他用戶私有SCHEMA下創(chuàng)建對(duì)象,對(duì)象權(quán)限不受創(chuàng)建者控制,OWNER也非創(chuàng)建者。 方案建議:
可以做的更高效。 ## 壓縮 結(jié)構(gòu)化數(shù)據(jù)的編碼方式一般都不會(huì)非常緊湊,常常還有一定的可壓縮余地。數(shù)據(jù)倉(cāng)庫(kù)通常會(huì)在列存的基礎(chǔ)上對(duì)數(shù)據(jù)進(jìn)行壓縮,在物理上減少數(shù)據(jù)存儲(chǔ)量,從而減少讀取時(shí)間,提高性能。數(shù)據(jù)表相同字段的數(shù)據(jù)類型一般都是一樣的,甚至有些情況取值都很接近,這樣的一批數(shù)據(jù)通常會(huì)有
優(yōu)化這些查詢,使這些查詢的效率很高。而即席查詢是用戶在使用時(shí)臨時(shí)生產(chǎn)的,無法人工預(yù)先優(yōu)化這些查詢,需要數(shù)據(jù)庫(kù)內(nèi)部實(shí)時(shí)自動(dòng)優(yōu)化,所以即席查詢也是評(píng)估數(shù)據(jù)倉(cāng)庫(kù)的一個(gè)重要指標(biāo)。在一個(gè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中,即席查詢使用的越多,對(duì)數(shù)據(jù)倉(cāng)庫(kù)的要求就越高,對(duì)數(shù)據(jù)模型的對(duì)稱性的要求也越高。
DWS對(duì)象設(shè)計(jì)規(guī)范 DATABASE對(duì)象設(shè)計(jì)規(guī)范 USER對(duì)象設(shè)計(jì)規(guī)范 SCHEMA對(duì)象設(shè)計(jì)規(guī)范 TABLESPACE對(duì)象設(shè)計(jì)規(guī)范 TABLE對(duì)象設(shè)計(jì)規(guī)范(重點(diǎn)) INDEX對(duì)象設(shè)計(jì)規(guī)范(重點(diǎn)) VIEW對(duì)象設(shè)計(jì)規(guī)范 父主題: DWS開發(fā)設(shè)計(jì)建議
用程序與數(shù)據(jù)倉(cāng)庫(kù)的連接、數(shù)據(jù)備份、數(shù)據(jù)恢復(fù)、數(shù)據(jù)倉(cāng)庫(kù)資源和性能監(jiān)控等運(yùn)維管理工作。2、與大數(shù)據(jù)無縫集成:您可以使用標(biāo)準(zhǔn)SQL查詢HDFS、OBS上的數(shù)據(jù),數(shù)據(jù)無需搬遷。提供一鍵式異構(gòu)數(shù)據(jù)庫(kù)遷移工具DWS提供配套的遷移工具,可支持MySQL、Oracle和Teradata的SQL腳
go get -u github.com/huaweicloud/huaweicloud-sdk-go-v3
pip install huaweicloudsdkdws
<dependency> <groupId>com.huaweicloud.sdk</groupId> <artifactId>huaweicloud-sdk-dws</artifactId> <version>3.1.9</version> </dependency>
做任務(wù)的規(guī)劃 分發(fā),規(guī)劃完之后,把具體的任務(wù)拋給計(jì)算節(jié)點(diǎn)。Crew3 Worker1和Crew3 Worker2就是任務(wù)樹中的葉節(jié)點(diǎn)就是數(shù)據(jù)的掃描任務(wù),接受下級(jí)任務(wù)的數(shù)據(jù)輸入,向上級(jí)任務(wù)輸出數(shù)據(jù)。Crew2 Worker1和Crew2 Worker2中間的節(jié)點(diǎn)就是各種數(shù)據(jù)運(yùn)算任務(wù)