最近，隨著手機(jī)廠商爭(zhēng)先恐后地發(fā)新機(jī)，筆者身邊不少人的見(jiàn)面問(wèn)候語(yǔ)變成了：“?你換手機(jī)了嗎？”而無(wú)論你換什么手機(jī)，想必都要考慮“5G時(shí)代的數(shù)據(jù)激增，選手機(jī)該從多大內(nèi)存起步”的問(wèn)題。

如果說(shuō)每個(gè)人都已經(jīng)開(kāi)始意識(shí)到個(gè)人數(shù)據(jù)激增和數(shù)據(jù)管理的重要性，在To?B端，數(shù)據(jù)激增的趨勢(shì)更加明顯，隨著5G、AI、IoT等技術(shù)的廣泛應(yīng)用，PB級(jí)的數(shù)據(jù)早已見(jiàn)怪不怪，據(jù)預(yù)測(cè)。全球每天產(chǎn)生的數(shù)據(jù)量更將從2018年的33ZB快速增長(zhǎng)到2025年的180ZB。數(shù)據(jù)種類(lèi)也越來(lái)越多，實(shí)時(shí)性要求更高，大數(shù)據(jù)不斷在部門(mén)、行業(yè)之間流動(dòng)將成為趨勢(shì)，廣大政企用戶(hù)也意識(shí)到，數(shù)據(jù)將成為“生產(chǎn)力”，為它們?cè)跀?shù)字世界與現(xiàn)實(shí)世界的融合提供全面的競(jìng)爭(zhēng)力。大數(shù)據(jù)技術(shù)和應(yīng)用已經(jīng)進(jìn)入到了“落地”期，越來(lái)越多的政企從嘗試性部署進(jìn)入到了規(guī)模部署的階段。

在現(xiàn)實(shí)世界中，需求側(cè)覺(jué)醒的同時(shí)，在平行的賽博世界中，技術(shù)的進(jìn)化也一直在持續(xù)。自從2006年Apache?Hadoop架構(gòu)發(fā)布以來(lái)，到2011年，企業(yè)逐漸采用Hadoop架構(gòu)演進(jìn)出來(lái)的開(kāi)源或商用大數(shù)據(jù)軟件，開(kāi)啟了離線計(jì)算時(shí)代;2012年，以Spark等為核心的流式計(jì)算開(kāi)啟了實(shí)時(shí)計(jì)算時(shí)代，在線分析和實(shí)時(shí)計(jì)算的場(chǎng)景也開(kāi)始逐漸應(yīng)用，但這一階段的使用者主要是開(kāi)發(fā)人員;2013年至今，隨著數(shù)據(jù)的激增，大數(shù)據(jù)平臺(tái)演進(jìn)成了融合大數(shù)據(jù)平臺(tái)，而隨著AI等技術(shù)的突飛猛進(jìn)，數(shù)據(jù)分析到數(shù)據(jù)挖掘，大數(shù)據(jù)平臺(tái)向著智能化進(jìn)行演進(jìn)。

我們知道，每個(gè)應(yīng)用會(huì)產(chǎn)生、存儲(chǔ)大量的數(shù)據(jù)，一般情況下這些數(shù)據(jù)并不能被其他應(yīng)用所使用，所以就形成了“數(shù)據(jù)孤島”。隨著數(shù)據(jù)集市的興起，應(yīng)用的數(shù)據(jù)存儲(chǔ)在一個(gè)集中的數(shù)據(jù)倉(cāng)庫(kù)中，可根據(jù)需要導(dǎo)出。但數(shù)據(jù)集市只解決了部分的問(wèn)題，數(shù)據(jù)管理、數(shù)據(jù)所有權(quán)與安全性等問(wèn)題亟需解決。

自2009?年開(kāi)始投入研究，最早于2014年推出商用產(chǎn)品，秉承開(kāi)源開(kāi)放的心態(tài)，踐行“平臺(tái)+生態(tài)”戰(zhàn)略，華為云踩對(duì)了歷史的進(jìn)程，圍繞政企大數(shù)據(jù)全生命周期，華為云FusionInsight是一個(gè)技術(shù)領(lǐng)先的云原生智能數(shù)據(jù)湖，是華為云三大使能之?dāng)?shù)據(jù)使能方案的堅(jiān)實(shí)數(shù)據(jù)底座。在近日發(fā)布的《IDC?MarketScape:中國(guó)大數(shù)據(jù)管理平臺(tái)廠商評(píng)估，2020》(以下簡(jiǎn)稱(chēng)IDC大數(shù)據(jù)報(bào)告)報(bào)告中，對(duì)中國(guó)主流大數(shù)據(jù)廠商從能力、戰(zhàn)略、市場(chǎng)份額三個(gè)維度進(jìn)行了全面評(píng)估，華為云位居領(lǐng)導(dǎo)者象限領(lǐng)先位置，并在技術(shù)實(shí)力和市場(chǎng)份額兩大維度雙領(lǐng)先。

華為云 FusionInsight 的“硬核”之路

可以看到，在IDC大數(shù)據(jù)報(bào)告中，有云服務(wù)廠商、傳統(tǒng)ICT?廠商，以及大數(shù)據(jù)時(shí)代的創(chuàng)企等三類(lèi)“玩家”。為何華為云能夠脫穎而出？據(jù)了解，在技術(shù)創(chuàng)新方面，華為云FusionInsight智能數(shù)據(jù)湖具備了五大硬核能力：

硬核能力之一：讓政企客戶(hù)在一個(gè)大、快、融、穩(wěn)的數(shù)據(jù)湖架構(gòu)下可持續(xù)演進(jìn)

大：傳統(tǒng)的大數(shù)據(jù)單集群擴(kuò)容受限，往往擴(kuò)容到2000節(jié)點(diǎn)就難以突破，華為云FusionInsight通過(guò)大集群突破擴(kuò)展性瓶頸，支持最大2萬(wàn)+節(jié)點(diǎn)大集群，還可集群聯(lián)邦無(wú)限擴(kuò)容。此大規(guī)模特性已在華為內(nèi)部獲得了實(shí)踐，華為云流程IT通過(guò)FusionInsight構(gòu)建OneData大數(shù)據(jù)集群，其規(guī)模已至1萬(wàn)+節(jié)點(diǎn)，支撐各部門(mén)運(yùn)營(yíng)分析、即席查詢(xún)等大數(shù)據(jù)分析，每日新增數(shù)據(jù)近100TB，10萬(wàn)張表，即席查詢(xún)?nèi)蝿?wù)日均1萬(wàn)+，批處理作業(yè)每日10萬(wàn)+。華為流程IT?OneData大集群歷經(jīng)兩次滾動(dòng)升級(jí)，業(yè)務(wù)0中斷，已穩(wěn)定運(yùn)行六年。

快：因數(shù)據(jù)量仍在不斷指數(shù)級(jí)增長(zhǎng)，人們對(duì)大數(shù)據(jù)高效處理的極致追求永無(wú)止境!傳統(tǒng)大數(shù)據(jù)存在分析鏈路長(zhǎng)，以T+1事后報(bào)表為主。華為云FusionInsight?MRS可T+0實(shí)時(shí)增量更新和實(shí)時(shí)OLAP，讓大數(shù)據(jù)越用越”快“!華為集團(tuán)IT基于FusionInsight，實(shí)現(xiàn)了CDC+FLINK的實(shí)時(shí)集成方案，支撐了主干交易、財(cái)經(jīng)、供應(yīng)等交易數(shù)據(jù)的增量整合模型落地，相對(duì)于傳統(tǒng)數(shù)倉(cāng)的ETL+調(diào)度方案，數(shù)據(jù)供給效率提升了10倍。

融：傳統(tǒng)大數(shù)據(jù)分析面臨類(lèi)型多、分布散、協(xié)同難等問(wèn)題;FusionInsight通過(guò)HetuEngine實(shí)現(xiàn)五大融合，統(tǒng)一SQL接口僅用簡(jiǎn)單的SQL就可操作PB級(jí)數(shù)據(jù)，全民BI，讓大數(shù)據(jù)越用越簡(jiǎn)單。某行基于FusionInsight構(gòu)建金融大數(shù)據(jù)，通過(guò)HetuEngine統(tǒng)一SQL接口，解決數(shù)據(jù)分散，組件多、語(yǔ)言多等難題，降低技術(shù)開(kāi)發(fā)門(mén)檻，跨源跨域跨引擎融合分析，數(shù)據(jù)免搬遷，降低整體TCO。

穩(wěn)：FusionInsight可保障一企一湖連續(xù)性，在線滾動(dòng)升級(jí)，業(yè)務(wù)永遠(yuǎn)在線，無(wú)需拆集群、搬應(yīng)用，徹底解決傳統(tǒng)大數(shù)據(jù)集群多、效率低、管理難、升級(jí)難等問(wèn)題，讓升級(jí)過(guò)程中關(guān)鍵業(yè)務(wù)不中斷，確保業(yè)務(wù)連續(xù)性。某運(yùn)營(yíng)商使用FusionInsight搭建了大數(shù)據(jù)平臺(tái)應(yīng)對(duì)5G數(shù)據(jù)浪涌，先后兩次滾動(dòng)升級(jí)實(shí)現(xiàn)了大數(shù)據(jù)平臺(tái)的平滑演進(jìn)，實(shí)現(xiàn)業(yè)務(wù)無(wú)中斷，升級(jí)無(wú)感知，用戶(hù)體驗(yàn)持續(xù)在線，單集群規(guī)模已擴(kuò)展至1500+節(jié)點(diǎn)，支撐了各類(lèi)政務(wù)、旅游、精準(zhǔn)扶貧等200+大數(shù)據(jù)應(yīng)用服務(wù)，覆蓋用戶(hù)1.3億+。

硬核能力之二：實(shí)時(shí)數(shù)據(jù)湖

為了實(shí)現(xiàn)實(shí)時(shí)性，華為云FusionInsight提出了實(shí)時(shí)數(shù)據(jù)湖，?支持?jǐn)?shù)據(jù)實(shí)時(shí)批量入湖、實(shí)時(shí)增量同步，全量數(shù)據(jù)供應(yīng)效率T+0;可對(duì)貼源數(shù)據(jù)實(shí)時(shí)多維分析，縮短分析鏈路，提高分析效率，讓數(shù)據(jù)價(jià)值近在眼前!

硬核能力之三：云原生數(shù)據(jù)湖

近幾年，云原生是云計(jì)算領(lǐng)域關(guān)鍵的技術(shù)創(chuàng)新，華為云在云原生領(lǐng)域也探索多年，通過(guò)Data?Lake?Catalog數(shù)據(jù)湖目錄，為超大規(guī)模分析引擎提供統(tǒng)一元數(shù)據(jù)服務(wù)，讓數(shù)據(jù)全局可視可得;在數(shù)據(jù)存儲(chǔ)方面，通過(guò)OBS存算分離方案，實(shí)現(xiàn)計(jì)算、存儲(chǔ)按需擴(kuò)容，基于企業(yè)級(jí)EC實(shí)現(xiàn)最低1.2副本，總體TCO下降20%+，讓數(shù)據(jù)每bit成本更優(yōu)!。湖內(nèi)提供交互式分析引擎，可無(wú)縫對(duì)接BI報(bào)表和自助分析，實(shí)現(xiàn)秒級(jí)用數(shù)，數(shù)據(jù)免搬遷;湖內(nèi)統(tǒng)一SQL接口，降低技術(shù)開(kāi)發(fā)門(mén)檻，簡(jiǎn)化用數(shù)，實(shí)現(xiàn)技術(shù)領(lǐng)先的云原生數(shù)據(jù)湖。

硬核能力之四：企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)

華為云FusionInsight為客戶(hù)提供基于Shared-Nothing架構(gòu)提供新一代開(kāi)放的、全場(chǎng)景分析型數(shù)據(jù)倉(cāng)庫(kù)DWS，支持2048節(jié)點(diǎn)擴(kuò)展能力;多層級(jí)全并行計(jì)算引擎，可調(diào)度海量的算力資源，通過(guò)高效的指令效率，實(shí)現(xiàn)數(shù)據(jù)導(dǎo)入和分析;具備多層級(jí)容災(zāi)能力，穩(wěn)定可靠，離線、半在線、在線擴(kuò)容技術(shù)，從容應(yīng)對(duì)多種擴(kuò)容場(chǎng)景。

硬核能力之五：一站式數(shù)據(jù)湖治理中心

華為云FusionInsight為客戶(hù)提供一站式數(shù)據(jù)湖治理中心，助力企業(yè)快速構(gòu)建從數(shù)據(jù)接入到分析的E2E數(shù)據(jù)治理體系，統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)，加速數(shù)據(jù)資產(chǎn)化。通過(guò)全域數(shù)據(jù)視圖統(tǒng)一信息架構(gòu)，統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn);通過(guò)一站式全棧平臺(tái)實(shí)現(xiàn)30+異構(gòu)數(shù)據(jù)源的高效數(shù)據(jù)集成;擁有開(kāi)放完備的安全體系，數(shù)據(jù)分級(jí)分類(lèi)，統(tǒng)一安全認(rèn)證。

通過(guò)以上五大“硬核”能力的加持，華為云FusionInsight新一代的數(shù)據(jù)湖，讓大數(shù)據(jù)越用越快、越用越易、越用越穩(wěn)、越用越省!

“一企一湖，一城一湖”的夢(mèng)想照進(jìn)現(xiàn)實(shí)

隨著“新基建”的提出，智慧城市的不斷深入，5G、AI、IoT等技術(shù)的廣泛應(yīng)用，城市中大數(shù)據(jù)不斷在部門(mén)、行業(yè)之間流動(dòng)成為趨勢(shì)，城市中各職能部門(mén)和社會(huì)企業(yè)的數(shù)據(jù)需要融合分析，從割裂的數(shù)據(jù)孤島，走向“一城一云一湖”。同時(shí)，企業(yè)越來(lái)越重視利用數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)增長(zhǎng)，加速建成“一企一云一湖”。

另一方面，縱觀當(dāng)今的大數(shù)據(jù)市場(chǎng)，技術(shù)的創(chuàng)新速度領(lǐng)先于市場(chǎng)的需求速度。技術(shù)提供商不斷推出新的產(chǎn)品和新的理念，而行業(yè)用戶(hù)卻還在應(yīng)用分析如何入門(mén)的門(mén)檻上掙扎。技術(shù)提供能力與用戶(hù)需求、用戶(hù)內(nèi)部業(yè)務(wù)部門(mén)與IT?部門(mén)經(jīng)常存在“脫節(jié)”。為響應(yīng)政企客戶(hù)業(yè)務(wù)發(fā)展需要與技術(shù)創(chuàng)新需求，結(jié)合自身用數(shù)經(jīng)驗(yàn)和十年+行業(yè)積累，是華為云新一代智能數(shù)據(jù)湖FusionInsight應(yīng)運(yùn)而生的時(shí)代背景。

在技術(shù)上持續(xù)創(chuàng)新打磨之外，華為云FusionInsight也是“最懂行”的大數(shù)據(jù)解決方案：

在政府領(lǐng)域，國(guó)內(nèi)50%的智慧城市都有華為云FusionInsight的孜孜不倦的身影，華為云大數(shù)據(jù)已支撐多個(gè)部委和各省市地區(qū)建設(shè)“大數(shù)據(jù)+政務(wù)”。在某市，華為云FusionInsight聯(lián)合伙伴建成“一云二網(wǎng)三平臺(tái)”，在統(tǒng)一的政務(wù)數(shù)據(jù)邏輯模型的指導(dǎo)下，針對(duì)民生、產(chǎn)業(yè)、政府的“痛點(diǎn)”和“難點(diǎn)”，從構(gòu)建城市數(shù)據(jù)資源庫(kù)為開(kāi)端，以大數(shù)據(jù)分析支撐政府智慧決策，以建設(shè)智慧應(yīng)用為抓手，打破信息孤島，實(shí)現(xiàn)信息資源交換共享，在?“數(shù)聚惠民”、“數(shù)聚興業(yè)”、“數(shù)聚善政”三大方面，發(fā)揮大數(shù)據(jù)的威力，支撐?“一號(hào)、一窗、一網(wǎng)”?政務(wù)服務(wù)，讓簡(jiǎn)政放權(quán)、百姓辦業(yè)務(wù)“最多跑一次”成為現(xiàn)實(shí)。

在金融領(lǐng)域，國(guó)內(nèi)50%的TOP20金融客戶(hù)(含銀行、證券、保險(xiǎn)等)均已使用華為云FusionInsight構(gòu)建其大數(shù)據(jù)平臺(tái)。某行使用華為云FusionInsight構(gòu)建大數(shù)據(jù)基礎(chǔ)平臺(tái)，支撐了銀行企業(yè)級(jí)數(shù)據(jù)湖、數(shù)據(jù)倉(cāng)庫(kù)、集團(tuán)信息庫(kù)為核心的“一湖兩庫(kù)”建設(shè)，承載了總行及各支行業(yè)務(wù)系統(tǒng)，支撐日常銀行BI、AI、數(shù)據(jù)挖掘、數(shù)據(jù)分析等，實(shí)現(xiàn)了一份數(shù)據(jù)全局可用，免除數(shù)據(jù)搬遷，提升協(xié)同效率10倍，存儲(chǔ)周期提升2倍，資源利用率最大可達(dá)90%，加速銀行數(shù)字化轉(zhuǎn)型進(jìn)程。

在運(yùn)營(yíng)商領(lǐng)域，國(guó)內(nèi)三大運(yùn)營(yíng)商均使用華為云FusionInsight構(gòu)建其大數(shù)據(jù)平臺(tái)。廣東移動(dòng)基于華為云FusionInsight，聯(lián)合政企客戶(hù)共同打造智慧電網(wǎng)、智慧交通、智慧港口、高清視頻等系列標(biāo)桿應(yīng)用，打通數(shù)據(jù)全生命周期鏈路，實(shí)現(xiàn)對(duì)內(nèi)業(yè)務(wù)支撐、對(duì)外應(yīng)用賦能，全面支撐了各類(lèi)政務(wù)、民生等大數(shù)據(jù)應(yīng)用服務(wù)。

在交通領(lǐng)域，深圳地鐵在6、10號(hào)線采用華為云FusionInsight構(gòu)建大數(shù)據(jù)分析平臺(tái)，打造領(lǐng)先的5G+大數(shù)據(jù)方案，并構(gòu)建其數(shù)據(jù)資產(chǎn)中心和運(yùn)行監(jiān)控中心，承載地鐵各業(yè)務(wù)系統(tǒng)，支撐設(shè)備健康、能耗管理、客流統(tǒng)計(jì)、線路中心級(jí)監(jiān)控、應(yīng)急決策和圖像型火災(zāi)分析等線路級(jí)數(shù)據(jù)分析，數(shù)據(jù)分析效率從周級(jí)縮短至分鐘級(jí)，實(shí)現(xiàn)高效運(yùn)營(yíng)，推動(dòng)深圳步入更美好的全聯(lián)接數(shù)字化軌道交通新時(shí)代…

除過(guò)在以上各行業(yè)的應(yīng)用，在環(huán)境保護(hù)方面，青海綠能數(shù)據(jù)有限公司基于華為云FusionInsight構(gòu)建了國(guó)內(nèi)首個(gè)能源大數(shù)據(jù)創(chuàng)新平臺(tái)，實(shí)現(xiàn)了規(guī)劃輔助決策、用氣象數(shù)據(jù)科學(xué)指導(dǎo)發(fā)電等創(chuàng)新業(yè)務(wù)，為上下游產(chǎn)業(yè)鏈企業(yè)提供25類(lèi)47項(xiàng)數(shù)據(jù)服務(wù)，推動(dòng)28座新能源場(chǎng)站實(shí)現(xiàn)了“無(wú)人值班、少人值守”，并有效支撐了青海“綠電15日”，以大數(shù)據(jù)為基石，建設(shè)綠色新青海，守護(hù)高原和諧生態(tài)。

同時(shí)，華為堅(jiān)持“自己的降落傘自己先跳”，華為集團(tuán)IT通過(guò)FusionInsight構(gòu)建OneData大數(shù)據(jù)集群，實(shí)現(xiàn)大數(shù)據(jù)平臺(tái)在大規(guī)模場(chǎng)景下的開(kāi)拓，OneData集群其規(guī)模已至1萬(wàn)+節(jié)點(diǎn);同時(shí)，實(shí)現(xiàn)了統(tǒng)一的數(shù)據(jù)管理服務(wù)，在菩提海UniDB產(chǎn)品中，通過(guò)邏輯統(tǒng)一方式，把50+物理分散的計(jì)算集群(Hadoop+MPP)，基于五統(tǒng)一(數(shù)據(jù)安全，元數(shù)據(jù)目錄，數(shù)據(jù)集成，數(shù)據(jù)訪問(wèn)，任務(wù)調(diào)度)，整合成湖倉(cāng)一體的架構(gòu)，支撐上千個(gè)企業(yè)租戶(hù)的PB級(jí)數(shù)據(jù)分析處理需求。一個(gè)基于FusionInsight?MRS+DWS?的“+治理，+AI，+運(yùn)營(yíng)，+云”的融合數(shù)據(jù)底座(菩提海)已經(jīng)在華為集團(tuán)IT廣泛使用，未來(lái)可期。

以上只是“冰山的一角”，華為云FusionInsight一方面不斷深入理解客戶(hù)不斷發(fā)展的業(yè)務(wù)訴求，另一方面，持續(xù)技術(shù)創(chuàng)新并引領(lǐng)行業(yè)發(fā)展，商業(yè)訴求+技術(shù)創(chuàng)新雙輪驅(qū)動(dòng)行業(yè)可持續(xù)、高質(zhì)量發(fā)展，“用數(shù)”助力客戶(hù)商業(yè)成功!上面的論述已經(jīng)充分證明，華為云是“懂行”的大數(shù)據(jù)領(lǐng)導(dǎo)者，真正讓客戶(hù)用好數(shù)、管好數(shù)、放心用。

據(jù)了解，截至2020?年10月底，華為云FusionInsight?智能數(shù)據(jù)湖已服務(wù)60+個(gè)國(guó)家和地區(qū)，3,000+客戶(hù)，覆蓋政府、金融、運(yùn)營(yíng)商、電力、傳媒、醫(yī)療、教育、交通、油氣、物流、零售、制造、互聯(lián)網(wǎng)等行業(yè)。

寫(xiě)在最后

在萬(wàn)物互聯(lián)的新時(shí)代，數(shù)字化轉(zhuǎn)型進(jìn)入到“深水區(qū)”的當(dāng)下，越來(lái)越多的政企意識(shí)到“得數(shù)據(jù)者得天下”的真諦。如果把“數(shù)據(jù)”比喻成油田，那么如何“開(kāi)采”讓其充分發(fā)揮價(jià)值，讓數(shù)據(jù)分析更簡(jiǎn)單？考驗(yàn)的不僅是大數(shù)據(jù)服務(wù)商的技術(shù)創(chuàng)新能力，還要深刻洞察不同行業(yè)的數(shù)據(jù)需求差異。可以肯定的是，華為云FusionInsight智能數(shù)據(jù)湖還將持續(xù)進(jìn)化，助力千行百業(yè)釋放出更大的數(shù)據(jù)價(jià)值。