檢測到您已登錄華為云國際站賬號(hào)，為了您更好的體驗(yàn)，建議您訪問國際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
檢測到您已登錄華為云國際站賬號(hào)，為了您更好的體驗(yàn)，建議您訪問國際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
題： 數(shù)據(jù)分析對數(shù)據(jù)進(jìn)行讀取操作，會(huì)讓讀取壓力倍增 OLTP僅存儲(chǔ)數(shù)周或數(shù)月的數(shù)據(jù) 數(shù)據(jù)分布在不同系統(tǒng)不同表中，字段類型數(shù)據(jù)不同意 數(shù)據(jù)倉庫構(gòu)建 主要特征 數(shù)據(jù)倉庫是分析數(shù)據(jù)的平臺(tái)，而不是創(chuàng)造數(shù)據(jù)的平臺(tái) 數(shù)據(jù)倉庫的數(shù)據(jù)反映的是相當(dāng)長的時(shí)間歷史數(shù)據(jù)的內(nèi)容 數(shù)據(jù)倉庫中一般有
DGC 實(shí)時(shí)數(shù)據(jù)分析 移動(dòng)互聯(lián)網(wǎng)、IoT場景下會(huì)產(chǎn)生大量實(shí)時(shí)數(shù)據(jù)，為了快速獲取數(shù)據(jù)價(jià)值，需要對數(shù)據(jù)進(jìn)行實(shí)時(shí)分析，DWS的快速入庫和查詢能力可支持實(shí)時(shí)數(shù)據(jù)分析 優(yōu)勢 流式數(shù)據(jù)實(shí)時(shí)入庫 IoT、互聯(lián)網(wǎng)等數(shù)據(jù)經(jīng)過流計(jì)算及AI服務(wù)處理后，可實(shí)時(shí)寫入DWS 實(shí)時(shí)監(jiān)控與預(yù)測 圍繞數(shù)據(jù)進(jìn)行分析和預(yù)測
Informatic D正確3. （單選）關(guān)于數(shù)據(jù)倉庫與數(shù)據(jù)庫的差別，下面的敘述中不正確的是：A. 數(shù)據(jù)庫是面向事務(wù)的設(shè)計(jì)，數(shù)據(jù)倉庫是面向主題的設(shè)計(jì)B. 數(shù)據(jù)庫一般存儲(chǔ)歷史數(shù)據(jù)，數(shù)據(jù)倉庫一般存儲(chǔ)在線數(shù)據(jù) 正確C. 數(shù)據(jù)庫設(shè)計(jì)是盡量避免冗余，數(shù)據(jù)倉庫是有意引入冗余B 提交提交答案正確 (6/6
了。自底向上，與OSI類似，通用框架下的大數(shù)據(jù)體系有七層：數(shù)據(jù)源、數(shù)據(jù)收集層、數(shù)據(jù)存儲(chǔ)層、資源管理與服務(wù)協(xié)調(diào)層、計(jì)算引擎層、數(shù)據(jù)分析層及數(shù)據(jù)可視化層。 第二個(gè)用途是面向主題：我們把四面八方的數(shù)據(jù)都拿到了，那怎樣組織這些數(shù)據(jù)呢？換句話說，產(chǎn)品丟了一個(gè)又一個(gè)的需求過來，
近執(zhí)行數(shù)據(jù)分析任務(wù)，實(shí)現(xiàn)對數(shù)據(jù)處理的快速響應(yīng)。 湖倉一體 面對日益多樣化的數(shù)據(jù)分析場景，華為云提供湖倉一體技術(shù)方案，數(shù)據(jù)在GaussDB(DWS)與MRS云原生數(shù)據(jù)湖之間高效互通，支持多數(shù)據(jù)類型存儲(chǔ)、數(shù)據(jù)取用規(guī)則更靈活，從架構(gòu)上真正實(shí)現(xiàn)了湖倉一體，幫助企業(yè)更好撬動(dòng)數(shù)據(jù)潛能，最大化數(shù)據(jù)價(jià)值。
數(shù)據(jù)倉庫 表1 數(shù)據(jù)倉庫權(quán)限 權(quán)限 對應(yīng)API接口 授權(quán)項(xiàng)（Action） IAM項(xiàng)目 (Project) 企業(yè)項(xiàng)目 (Enterprise Project) 獲取數(shù)據(jù)倉庫列表 GET /v1.0/{project_id}/common/warehouses octopus:dataWarehouse:list
數(shù)據(jù)倉庫服務(wù) GaussDB(DWS)數(shù)據(jù)導(dǎo)入導(dǎo)出 GaussDB(DWS)支持多種類型數(shù)據(jù)源，面向不同場景，提供全系列數(shù)據(jù)導(dǎo)入導(dǎo)出方案，搭建高效數(shù)據(jù)通道。 導(dǎo)入導(dǎo)出工具系列 如表3-1所示，GaussDB(DWS)提供了一系列數(shù)據(jù)導(dǎo)入導(dǎo)出工具，可根據(jù)場景不同選擇合適的工具。 表3-1
來了。元數(shù)據(jù)（Metadata）類似于這樣的電話黃頁。1．元數(shù)據(jù)的定義 數(shù)據(jù)倉庫的元數(shù)據(jù)是關(guān)于數(shù)據(jù)倉庫中數(shù)據(jù)的數(shù)據(jù)。它的作用類似于數(shù)據(jù)庫管理系統(tǒng)的數(shù)據(jù)字典，保存了邏輯數(shù)據(jù)結(jié)構(gòu)、文件、地址和索引等信息。廣義上講，在數(shù)據(jù)倉庫中，元數(shù)據(jù)描述了數(shù)據(jù)倉庫內(nèi)數(shù)據(jù)的結(jié)構(gòu)和建立方法的數(shù)據(jù)。 元數(shù)
成服務(wù)和數(shù)據(jù)集市。我們所涉及的數(shù)據(jù)倉庫其實(shí)更多的聚焦于分析層，但是整個(gè)BI項(xiàng)目的核心之一。分析層包括了對商業(yè)邏輯的數(shù)據(jù)建模，不僅要根據(jù)用戶對可視化數(shù)據(jù)的展現(xiàn)要求，也要根據(jù)數(shù)據(jù)集市中數(shù)據(jù)分布、容量、業(yè)務(wù)種類多樣性來綜合設(shè)計(jì)。作為分析層中，提供分析數(shù)據(jù)物理存儲(chǔ)基礎(chǔ)就是數(shù)據(jù)倉庫，倉庫中
SageMaker機(jī)器學(xué)習(xí)服務(wù)，導(dǎo)入數(shù)據(jù)湖中的數(shù)據(jù)進(jìn)行模型訓(xùn)練，這些都是常規(guī)操作?？偨Y(jié)一下，數(shù)據(jù)湖不只是個(gè)囤積數(shù)據(jù)的“大水坑”，除了用存儲(chǔ)技術(shù)構(gòu)建的湖底座以外，還包含一系列的數(shù)據(jù)入湖、數(shù)據(jù)出湖、數(shù)據(jù)管理、數(shù)據(jù)應(yīng)用工具集，共同組成了數(shù)據(jù)湖解決方案。數(shù)據(jù)湖和數(shù)據(jù)倉庫區(qū)別在哪兒？ 從數(shù)據(jù)含金
1.數(shù)據(jù)治理是什么？數(shù)據(jù)治理：為公司業(yè)務(wù)越來越復(fù)雜而帶來的數(shù)據(jù)越來越臟、亂、差的問題，而提出一套治理數(shù)據(jù)的方法+工具集2. 數(shù)據(jù)治理的內(nèi)容這一部分，我將從六個(gè)方面來講解數(shù)據(jù)治理的內(nèi)容。2.1 數(shù)據(jù)標(biāo)準(zhǔn)定義數(shù)據(jù)維度及指標(biāo)需要清晰的、統(tǒng)一的、標(biāo)準(zhǔn)的定義。（這里的部分參考Hadoop數(shù)
構(gòu)成威脅。 數(shù)據(jù)是集成的：根據(jù)決策分析的要求，將分散于各處的原始數(shù)據(jù)進(jìn)行抽取、篩選、清理、綜合等集成工作，數(shù)據(jù)倉庫的數(shù)據(jù)具有集成性。 一般情況下數(shù)據(jù)倉庫所需要的數(shù)據(jù)不需要直接從業(yè)務(wù)發(fā)生地獲取數(shù)據(jù)，而是針對原數(shù)據(jù)庫挑選中數(shù)據(jù)倉庫所需要的數(shù)據(jù)，然后將來自不同數(shù)據(jù)庫中的數(shù)據(jù)按照某一標(biāo)準(zhǔn)進(jìn)行統(tǒng)一處理。
移動(dòng)互聯(lián)網(wǎng)、IoT場景下會(huì)產(chǎn)生大量實(shí)時(shí)數(shù)據(jù)，為了快速獲取數(shù)據(jù)價(jià)值，需要對數(shù)據(jù)進(jìn)行實(shí)時(shí)分析，DWS的快速入庫和查詢能力可支持實(shí)時(shí)數(shù)據(jù)分析。 優(yōu)勢 流式數(shù)據(jù)實(shí)時(shí)入庫 IoT、互聯(lián)網(wǎng)等數(shù)據(jù)經(jīng)過流計(jì)算及AI服務(wù)處理后，可實(shí)時(shí)寫入DWS 實(shí)時(shí)監(jiān)控與預(yù)測 圍繞數(shù)據(jù)進(jìn)行分析和預(yù)測，對設(shè)備進(jìn)行監(jiān)控，對行為進(jìn)行預(yù)測，實(shí)現(xiàn)控制和優(yōu)化
第二類工具，關(guān)注如何對湖中的數(shù)據(jù)進(jìn)行分析、挖掘、利用。數(shù)據(jù)湖需要具備完善的數(shù)據(jù)管理能力、多樣化的數(shù)據(jù)分析能力、全面的數(shù)據(jù)生命周期管理能力、安全的數(shù)據(jù)獲取和數(shù)據(jù)發(fā)布能力。如果沒有這些數(shù)據(jù)治理工具，元數(shù)據(jù)缺失，湖里的數(shù)據(jù)質(zhì)量就沒法保障，最終會(huì)由數(shù)據(jù)湖變質(zhì)為數(shù)據(jù)沼澤。 隨著大數(shù)據(jù)和AI的發(fā)展，數(shù)據(jù)湖中數(shù)據(jù)
產(chǎn)生告警的主機(jī)名。 對系統(tǒng)的影響 Hive默認(rèn)數(shù)據(jù)倉庫被刪除，會(huì)導(dǎo)致在默認(rèn)數(shù)據(jù)倉庫中創(chuàng)建庫、創(chuàng)建表失敗，影響業(yè)務(wù)正常使用。 可能原因 Hive定時(shí)查看默認(rèn)數(shù)據(jù)倉庫的狀態(tài)，發(fā)現(xiàn)Hive默認(rèn)數(shù)據(jù)倉庫被刪除。 處理步驟 檢查Hive默認(rèn)數(shù)據(jù)倉庫。 以root用戶登錄客戶端所在節(jié)點(diǎn)，用戶密
表，V2R5支持2048 字段每個(gè)表非結(jié)構(gòu)化數(shù)據(jù)支持非結(jié)構(gòu)化數(shù)據(jù)可以直接存儲(chǔ)到數(shù)據(jù)庫，其非結(jié)構(gòu)化數(shù)據(jù)支持的字段大小從512TB～2PB支持，但是一般在數(shù)據(jù)庫中存儲(chǔ)文件目錄，數(shù)據(jù)存儲(chǔ)在操作系統(tǒng)層面支持，但是一般在數(shù)據(jù)庫中存儲(chǔ)文件目錄，數(shù)據(jù)存儲(chǔ)在操作系統(tǒng)層面支持
MetaStore組件: 該組件是Hive用來負(fù)責(zé)管理元數(shù)據(jù)的組件。Hive的元數(shù)據(jù)存儲(chǔ)在關(guān)系型數(shù)據(jù)庫中，其支持的關(guān)系型數(shù)據(jù)庫有Derby和Mysql，其中Derby是Hive默認(rèn)情況下使用的數(shù)據(jù)庫，它內(nèi)嵌在Hive中，但是該數(shù)據(jù)庫只支持單會(huì)話，在生產(chǎn)中并不適用，在我們?nèi)粘５拈_發(fā)中，
## 壓縮 結(jié)構(gòu)化數(shù)據(jù)的編碼方式一般都不會(huì)非常緊湊，常常還有一定的可壓縮余地。數(shù)據(jù)倉庫通常會(huì)在列存的基礎(chǔ)上對數(shù)據(jù)進(jìn)行壓縮，在物理上減少數(shù)據(jù)存儲(chǔ)量，從而減少讀取時(shí)間，提高性能。數(shù)據(jù)表相同字段的數(shù)據(jù)類型一般都是一樣的，甚至有些情況取值都很接近，這樣的一批數(shù)據(jù)通常會(huì)有較好的壓縮率。
a） “數(shù)據(jù)同步模式” – 日志同步技術(shù)適用數(shù)據(jù)變化量小、數(shù)據(jù)傳輸壓力小的數(shù)據(jù)場景，通常只適用于小型數(shù)據(jù)倉庫平臺(tái)；對于規(guī)模小的平臺(tái)，RPO、RTO可以接近0；b） “數(shù)據(jù)同步模式” – 備份增量同步技術(shù)適合大數(shù)據(jù)量同步場景，實(shí)現(xiàn)方式容易被用戶理解；往往需要數(shù)據(jù)庫備份工具具備增量備
二、ETL & ELT 伴隨著數(shù)據(jù)倉庫的發(fā)展（傳送門：數(shù)據(jù)倉庫的八個(gè)發(fā)展階段），數(shù)據(jù)量從小到大，數(shù)據(jù)實(shí)時(shí)性從T+1到準(zhǔn)實(shí)時(shí)、實(shí)時(shí)，ETL也在不斷演進(jìn)。 在傳統(tǒng)數(shù)倉中，數(shù)據(jù)量小，計(jì)算邏輯相對簡單，我們可以直接用ETL工具實(shí)現(xiàn)數(shù)據(jù)轉(zhuǎn)換（T），轉(zhuǎn)換之后再加載到目標(biāo)庫，即（E
