了解華為云最新動態(tài)
近日，全球領(lǐng)先的IT市場研究和咨詢公司IDC發(fā)布了最新的《中國大數(shù)據(jù)平臺市場份額，2023：數(shù)智融合時代的真正到來》（Doc# CHC5159812，2024年8月）報告。報告顯示，2023年中國大數(shù)據(jù)市場相比2022年增長24.6%，尤其在先進(jìn)制造、汽車、金融等行業(yè)具備強勁增長潛力，整體市場空間仍在高速增長。華為位居中國大數(shù)據(jù)平臺整體市場第一，這是第四年華為蟬聯(lián)該項市場第一。
同時，華為云在中國大數(shù)據(jù)本地化部署市場表現(xiàn)卓越：憑借基于華為云Stack平臺本地化部署的FusionInsight智能數(shù)據(jù)湖方案，華為在該領(lǐng)域市場份額達(dá)到31.5%，持續(xù)位居第一。
據(jù)報告20240826_1.jpg)
數(shù)智融合時代來臨
IDC在報告中指出，2023年是數(shù)智融合時代真正到來的一年。2022年，華為率先提出“數(shù)智融合”理念，并在同期推出了數(shù)智融合解決方案。經(jīng)過2年多的打磨，華為云數(shù)智融合解決方案全新升級：
· LakeSearch+盤古大模型提供強大的文本檢索、多模態(tài)檢索與搜索生成RAG能力，其中RAG端到端準(zhǔn)確性高達(dá)85%，華為云向量檢索算法（qsgngt）在Ann-Benchmarks測評中排名第一。
· DataArts Insight+盤古大模型通過自然語言快速生成BI報表，快速智能數(shù)據(jù)見解，其指標(biāo)準(zhǔn)確度可達(dá)90%以上，讓業(yè)務(wù)人員輕松用數(shù)，所想即所得。
· DataArts數(shù)據(jù)治理生產(chǎn)線內(nèi)置AI4Data引擎對接盤古大模型，輔助SQL生成、作業(yè)生成讓數(shù)據(jù)開發(fā)效率翻倍，輔助數(shù)據(jù)治理實現(xiàn)數(shù)據(jù)質(zhì)量自動探查、質(zhì)量規(guī)則自動推薦效率翻倍。
· DataArts數(shù)據(jù)工程Data4AI支持結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)統(tǒng)一管理，面向大模型提供一站式數(shù)據(jù)獲取、數(shù)據(jù)清洗、數(shù)據(jù)標(biāo)注、數(shù)據(jù)安全、數(shù)據(jù)發(fā)布能力，內(nèi)置60+全模態(tài)智能清洗算子，為大模型高效高質(zhì)量供數(shù)，效率提升10倍。
數(shù)據(jù)治理生產(chǎn)線高效推動數(shù)智融合場景落地
DataArts數(shù)據(jù)治理生產(chǎn)線是華為云提供的數(shù)據(jù)全生命周期一站式開發(fā)、治理、服務(wù)運營平臺，結(jié)合了數(shù)據(jù)分析市場實踐以及華為自身17年數(shù)據(jù)治理的豐富經(jīng)驗，為政企、云原生客戶提供了數(shù)據(jù)治理的頂層規(guī)劃和數(shù)據(jù)架構(gòu)設(shè)計，通過數(shù)據(jù)集成、數(shù)據(jù)開發(fā)、數(shù)據(jù)治理、數(shù)據(jù)服務(wù)、數(shù)據(jù)可視化等功能，支持行業(yè)知識湖智能化建設(shè)，幫助企業(yè)客戶進(jìn)行數(shù)字化轉(zhuǎn)型和智能化升級，在先進(jìn)制造、汽車、金融、政府等行業(yè)有豐富的數(shù)據(jù)治理實施經(jīng)驗。
面向大模型場景，DataArts新增支持非結(jié)構(gòu)化數(shù)據(jù)管理，打通分析+AI工作平面，高效為大模型高質(zhì)量供數(shù)。
· 支持全流程的自動化和智能化，將人工智能算法模型應(yīng)用到數(shù)據(jù)集成、數(shù)據(jù)質(zhì)量、數(shù)據(jù)建模、數(shù)據(jù)開發(fā)、數(shù)據(jù)安全、數(shù)據(jù)洞察的數(shù)據(jù)全生命周期治理。
· 支持高質(zhì)量安全合規(guī)供數(shù)，將海量、復(fù)雜、無序的數(shù)據(jù)轉(zhuǎn)化為清潔、透明、高質(zhì)量的數(shù)據(jù)能源，結(jié)合多層面數(shù)據(jù)安全防護(hù)，輸送給業(yè)務(wù)。
湖倉一體數(shù)智生產(chǎn)線的基石
IDC在報告中也指出，越來越多的企業(yè)正在積極建設(shè)湖倉一體?！昂}一體”理念最早也由華為于2020年提出，打破湖倉數(shù)據(jù)孤島，行業(yè)也稱作LakeHouse“湖內(nèi)建倉”，即通過全量數(shù)據(jù)入湖存儲，增量數(shù)據(jù)實時入湖更新，統(tǒng)一數(shù)據(jù)格式，支持湖內(nèi)ACID事務(wù)操作，實現(xiàn)湖內(nèi)數(shù)據(jù)分層建模，全局一份數(shù)據(jù)支撐MPP、批、流、交互式、機器學(xué)習(xí)多場景業(yè)務(wù)負(fù)載，免數(shù)據(jù)搬遷，高效數(shù)據(jù)流通。
華為云湖倉一體架構(gòu)基于FusionInsight智能數(shù)據(jù)湖方案打造，企業(yè)級版本支持單集群6萬+節(jié)點，滿足客戶在公有云、混合云、邊緣等場景靈活部署的訴求，架構(gòu)云原生升級，支持容器部署資源彈性提升5倍，同時公有云提供全托管、Serverless云原生版本，支持用戶按需使用按量計費免運維，效率提升3倍以上。
華為云大數(shù)據(jù)2018年首創(chuàng)“存算分離”架構(gòu)，并持續(xù)迭代再次推出“三層池化”技術(shù)，持續(xù)引領(lǐng)行業(yè)。HetuEngine提供跨湖、跨倉、跨域的協(xié)同分析能力，通過數(shù)據(jù)虛擬化技術(shù)實現(xiàn)湖倉一體，減少80%數(shù)據(jù)搬遷，跨源跨域協(xié)同分析提效50倍。
湖倉一體LakeHouse當(dāng)前也已經(jīng)融合了華為云GaussDB(DWS)高性能云數(shù)據(jù)倉庫、GES萬億級圖引擎、TICS可信數(shù)據(jù)流通等服務(wù)，通過LakeFormtion統(tǒng)一元數(shù)據(jù)和統(tǒng)一數(shù)據(jù)安全，讓數(shù)據(jù)湖解決方案構(gòu)建更加容易，數(shù)據(jù)流動更加高效。
“流批一體”增強LakeHouse架構(gòu)讓數(shù)據(jù)分析實時化
在湖倉一體LakeHouse架構(gòu)基礎(chǔ)上，華為云大數(shù)據(jù)增強了流批一體能力，即數(shù)據(jù)秒級實時入湖更新，實時數(shù)據(jù)讀取，一份數(shù)據(jù)在統(tǒng)一的數(shù)據(jù)格式上支持實時、準(zhǔn)實時、離線數(shù)倉加工，高效支撐業(yè)務(wù)從T+1到T+0實時化，大大提升用戶體驗。
同時DataArts Studio提供了一鍵數(shù)據(jù)入湖工具，一套平臺支持批、流、CDC增量等場景數(shù)據(jù)聯(lián)動入湖，提供可視化流批一體作業(yè)開發(fā)調(diào)度平臺，內(nèi)置低代碼開發(fā)能力，集成作業(yè)監(jiān)控，完善的批流全鏈路數(shù)據(jù)治理，讓流批作業(yè)輕松上線。
華為FusionInsight智能數(shù)據(jù)湖解決方案已有超過15年技術(shù)積累，服務(wù)來自超過60個不同國家的3500多個企業(yè)用戶，覆蓋政務(wù)、金融、運營商、互聯(lián)網(wǎng)等各行各業(yè)。目前最大商用單集群規(guī)模已超過10000節(jié)點，部署數(shù)據(jù)超過500PB，已成為越多越多企業(yè)用戶的大數(shù)據(jù)平臺首選。
中國工商銀行采用華為云FusionInsight建設(shè)了全行統(tǒng)一的數(shù)據(jù)湖，在建模層面實現(xiàn)了湖倉一體新范式，超越傳統(tǒng)數(shù)倉范式建模效率，加速云數(shù)智融合。當(dāng)前，工商銀行的單體最大的數(shù)據(jù)湖超4000節(jié)點，支撐300多行內(nèi)大數(shù)據(jù)應(yīng)用，日均承載批量計算作業(yè)數(shù)超150萬。
海亮集團(tuán)基于華為云數(shù)智融合解決方案，構(gòu)建統(tǒng)一數(shù)智融合平臺，打通了數(shù)字工廠的全業(yè)務(wù)流程，讓數(shù)據(jù)更好的服務(wù)AI應(yīng)用，實現(xiàn)成材率由91%到93%的提高，單位產(chǎn)品綜合能耗下降300kwh，個別工序的勞動效率提高3倍。
未來，華為云FusionInsight將繼續(xù)秉持開放的生態(tài)理念，在“數(shù)智融合”、“湖倉一體”與“流批一體”等創(chuàng)新理念與技術(shù)方案的基礎(chǔ)上不斷探索大數(shù)據(jù)技術(shù)前沿，為企業(yè)用戶帶來持續(xù)領(lǐng)先的技術(shù)體驗，加速數(shù)字化轉(zhuǎn)型與智能化升級。