華為云Stack 提供FusionInsight MRS 云原生 數(shù)據(jù)湖（以下簡(jiǎn)稱“FusionInsight MRS”），采用“一湖+多樣集群+數(shù)據(jù)智能”分層建設(shè)，幫助企業(yè)實(shí)現(xiàn)現(xiàn)代數(shù)據(jù)棧構(gòu)建。
- 湖倉一體是構(gòu)建現(xiàn)代數(shù)據(jù)棧的關(guān)鍵
IDC調(diào)研顯示， 大數(shù)據(jù) 分析已在數(shù)字化轉(zhuǎn)型戰(zhàn)略中成為第一要?jiǎng)?wù)。今年1月發(fā)布的《大數(shù)據(jù)技術(shù)前瞻》中更指出：超大規(guī)模數(shù)據(jù)如何組織和管理、數(shù)據(jù)量指數(shù)級(jí)增長(zhǎng)時(shí)效性差、數(shù)據(jù)如何打破多源異構(gòu)造成的隔閡、從單域走向跨域數(shù)據(jù)融合、 數(shù)據(jù)治理 質(zhì)量評(píng)估等仍是制約大數(shù)據(jù)發(fā)展的瓶頸。當(dāng)前，湖倉一體是最佳解決方案。
在近兩年的Gartner 數(shù)據(jù)管理 技術(shù)成熟曲線圖中，Lakehouse湖倉一體技術(shù)已成為主流架構(gòu)，其主要觀點(diǎn)是結(jié)合 數(shù)據(jù)湖 和 數(shù)據(jù)倉庫 的優(yōu)勢(shì)，旨在構(gòu)建高效、靈活、簡(jiǎn)潔的現(xiàn)代數(shù)據(jù)平臺(tái)。數(shù)據(jù)湖內(nèi)承載全量數(shù)據(jù)，根據(jù)業(yè)務(wù)需求靈活組合，對(duì)數(shù)據(jù)進(jìn)行批量、實(shí)時(shí)加工，讓企業(yè)用一份數(shù)據(jù)，按需建立AI、BI、數(shù)據(jù)科學(xué)等多工作負(fù)載，加速數(shù)據(jù)在湖內(nèi)流動(dòng)，減少80%的數(shù)據(jù)搬遷，一個(gè)數(shù)據(jù)平臺(tái)按需支持批處理、流計(jì)算、交互式查詢和機(jī)器學(xué)習(xí)四大場(chǎng)景，根據(jù)上層業(yè)務(wù)建設(shè)多樣性數(shù)倉集市。湖倉一體避免了煙囪式割裂建設(shè)導(dǎo)致的效率問題，進(jìn)一步降低多技術(shù)平臺(tái)導(dǎo)致的運(yùn)維復(fù)雜度，降低了跨湖倉來回ETL的時(shí)延。
- 華為云Stack FusionInsight MRS云原生數(shù)據(jù)湖讓數(shù)據(jù)走上“高速”路
華為在湖倉一體早有布局，在2020年華為全球分析師大會(huì)上華為云CTO張宇昕發(fā)布了FusionInsight湖倉一體架構(gòu)。
當(dāng)前，政企客戶數(shù)據(jù)平臺(tái)存在三種常見的建設(shè)方案：
（三種傳統(tǒng)企業(yè)數(shù)據(jù)分析平臺(tái)都可以平滑演進(jìn)到FusionInsight MRS）
- 傳統(tǒng)數(shù)倉。興起于上世紀(jì)90年代，對(duì)于早期僅需求數(shù)據(jù)OLAP較為常用。隨著政企客戶業(yè)務(wù)高速發(fā)展，對(duì)于面對(duì)多樣性數(shù)據(jù)需要匹配業(yè)務(wù)特定場(chǎng)景的多樣化訴求，能力太過單一。
- 傳統(tǒng)大數(shù)據(jù)。早期政企往往按業(yè)務(wù)部門需求，分開建設(shè)批處理集群、流處理集群，煙囪式建設(shè)導(dǎo)致建設(shè)成本居高不下。多系統(tǒng)平臺(tái)運(yùn)維復(fù)雜，還存在大量數(shù)據(jù)冗余，造成ETL來回搬遷，制約了政企數(shù)據(jù)發(fā)揮要素關(guān)鍵價(jià)值。
- 湖外建倉。數(shù)倉在上世紀(jì)90年代高速發(fā)展，當(dāng)時(shí)信息化程度較高的金融、運(yùn)營商等行業(yè)，大量使用了傳統(tǒng)數(shù)倉。2010-2020年之間，隨著Spark、Flink、Hive、HBase、ClickHouse等技術(shù)逐步成熟，大數(shù)據(jù)逐步成為數(shù)據(jù)處理主要平臺(tái)，湖外建倉導(dǎo)致湖倉來回搬遷的耗時(shí)問題日益凸顯，超長(zhǎng)的數(shù)據(jù)處理鏈路，多系統(tǒng)維護(hù)的復(fù)雜度，成為政企客戶釋放數(shù)據(jù)價(jià)值的障礙。
FusionInsight MRS通過“一湖+多樣集群+數(shù)據(jù)智能”分層建設(shè)，有效整合傳統(tǒng)大數(shù)據(jù)、傳統(tǒng)數(shù)倉、湖外建倉方案，實(shí)現(xiàn)傳統(tǒng)大數(shù)據(jù)平臺(tái)向云原生數(shù)據(jù)湖演進(jìn)、傳統(tǒng)數(shù)倉 數(shù)據(jù)集 可以向MRS多樣性集市升級(jí)。
FusionInsight MRS采用湖倉一體架構(gòu)，結(jié)合湖倉優(yōu)勢(shì)，即保障了全局一份數(shù)據(jù)，還實(shí)現(xiàn)了數(shù)據(jù)的一致性，進(jìn)一步讓實(shí)現(xiàn)大數(shù)據(jù)平臺(tái)SQL化更好的落地；政企客戶可以采用全局一個(gè)數(shù)據(jù)湖，讓內(nèi)部全量數(shù)據(jù)充分共享、存儲(chǔ)與計(jì)算，實(shí)現(xiàn)數(shù)據(jù)資源相關(guān)的集約化；更重要的是，現(xiàn)代數(shù)據(jù)?？梢蕴峁┒鄻有约校罂蛻舭凑諛I(yè)務(wù)場(chǎng)景，在一個(gè)數(shù)據(jù)湖之上，匹配最適合當(dāng)前業(yè)務(wù)的數(shù)倉集市，讓數(shù)據(jù)計(jì)算達(dá)到極致性能；當(dāng)然，近年來數(shù)智融合技術(shù)的成熟，在Gartner相關(guān)報(bào)告建設(shè)“以數(shù)據(jù)為中心的人工智能”的指導(dǎo)下，AI將基于數(shù)據(jù)湖，實(shí)現(xiàn)“數(shù)據(jù)->信息->知識(shí)->智慧”的價(jià)值閉環(huán)。
- FusionInsight MRS湖倉一體架構(gòu)實(shí)現(xiàn)集約化建設(shè)“一企一湖”
政企客戶使用湖倉一體后，可以實(shí)現(xiàn)：
-
- 架構(gòu)開放，讓企業(yè)數(shù)據(jù)平臺(tái)持續(xù)演進(jìn)：相較傳統(tǒng)數(shù)倉、 數(shù)據(jù)庫 系統(tǒng)，大數(shù)據(jù)面向海量數(shù)據(jù)分析而生，其橫向擴(kuò)展能力強(qiáng)，并隨著政企客戶業(yè)務(wù)的高速發(fā)展，最大單集群已經(jīng)可擴(kuò)至6萬多節(jié)點(diǎn)，還可以通過集群聯(lián)邦無限擴(kuò)容。
- 單向流動(dòng)，數(shù)據(jù)一致性好：?jiǎn)蜗蛄鲃?dòng)，無交叉；湖倉一體批流一體技術(shù)的成熟，讓一份數(shù)據(jù)在加工時(shí)就實(shí)現(xiàn)不同業(yè)務(wù)數(shù)據(jù)的分層解耦，即保障了靈活性，又保障了時(shí)效性，更是實(shí)現(xiàn)全局?jǐn)?shù)據(jù)的一致性，保障數(shù)據(jù)的“清潔”，也進(jìn)一步減輕了數(shù)據(jù)治理的負(fù)擔(dān)。
- 全生命周期數(shù)據(jù)開發(fā)和數(shù)據(jù)治理，提高數(shù)據(jù)質(zhì)量：數(shù)據(jù)治理是數(shù)據(jù)分析正確的前提，數(shù)據(jù)治理為政企客戶提供多源數(shù)據(jù)的集成，通過數(shù)據(jù)開發(fā)編排實(shí)現(xiàn)數(shù)據(jù)作業(yè)的ETL和作業(yè) 自動(dòng)化 ，采用數(shù)據(jù)適量實(shí)現(xiàn)政企客戶多層級(jí)全局統(tǒng)一的數(shù)據(jù)質(zhì)量，最終形成可視、可管、可用的高質(zhì)量 數(shù)據(jù)地圖 。
- 數(shù)據(jù)“可用不可見”：隨著人工智能、密碼學(xué)、可信執(zhí)行環(huán)境三個(gè)關(guān)鍵技術(shù)的成熟，以保障 數(shù)據(jù)安全 與隱私為前提，數(shù)據(jù)的可信流通與用數(shù)，將通域數(shù)據(jù)聯(lián)邦分析與訓(xùn)練實(shí)現(xiàn)，在數(shù)據(jù)開放、數(shù)據(jù)交易、普惠金融、聯(lián)合營銷、聯(lián)合風(fēng)控等場(chǎng)景大放異彩。
- FusionInsight MRS多樣集市靈活匹配高速發(fā)展的業(yè)務(wù)訴求
為靈活匹配高速發(fā)展的業(yè)務(wù)訴求，F(xiàn)usionInsight MRS也提供了豐富的組件：
-
- 在多表復(fù)雜關(guān)聯(lián)場(chǎng)景，大容量多表復(fù)雜關(guān)聯(lián)分析組件Doris可以實(shí)現(xiàn)PB級(jí)數(shù)據(jù)亞秒響應(yīng)的。
- 在多維分析場(chǎng)景，ClickHouse支持亞秒級(jí)大寬表實(shí)時(shí)OLAP，單表支持1萬多列，萬億行數(shù)據(jù)。
- 在時(shí)序分析方面，專業(yè)的時(shí)序數(shù)據(jù)庫IoTDB提供“專、快、易、穩(wěn)、省”能力，壓縮比相較傳統(tǒng)時(shí)序數(shù)據(jù)庫壓縮比高達(dá)20多倍。
同時(shí)在眾多分析數(shù)倉集市場(chǎng)景，還提供了GES 圖引擎 、MRS HBase、Elasticsearch、Redis等其他多樣集市，滿足客戶針對(duì)業(yè)務(wù)場(chǎng)景數(shù)據(jù)量、時(shí)效性等業(yè)務(wù)特點(diǎn)，按需、經(jīng)濟(jì)地建設(shè)多樣數(shù)據(jù)集市的訴求。
目前，F(xiàn)usionInsight 智能數(shù)據(jù)湖 已服務(wù)于全球60多個(gè)國家的3500多個(gè)客戶，累計(jì)交付40多萬節(jié)點(diǎn)，最大單集群已達(dá)1萬多節(jié)點(diǎn)，700多PB，助力政務(wù)、金融、泛企業(yè)行業(yè)加速現(xiàn)代數(shù)據(jù)棧建設(shè)。
