華為云計(jì)算 云知識(shí) MapReduce服務(wù)
MapReduce服務(wù)

MapReduce服務(wù) (MRS)打造了高可靠、高安全、易使用的運(yùn)行維護(hù)平臺(tái),對(duì)外提供大容量的數(shù)據(jù)存儲(chǔ)和分析能力,可解決各大企業(yè)的數(shù)據(jù)存儲(chǔ)和處理需求。用戶(hù)可以獨(dú)立申請(qǐng)和使用托管Hadoop、Spark、HBase和Hive服務(wù),用于快速在主機(jī)上創(chuàng)建集群,提供海量數(shù)據(jù)的實(shí)時(shí)性要求不高的批量數(shù)據(jù)存儲(chǔ)和計(jì)算能力。

產(chǎn)品優(yōu)勢(shì)

企業(yè)級(jí)

一鍵式集群安裝部署和擴(kuò)容,用戶(hù)無(wú)需關(guān)注硬件的購(gòu)買(mǎi)和維護(hù);可視化的企業(yè)級(jí)集群管理系統(tǒng),節(jié)點(diǎn)狀態(tài)實(shí)時(shí)監(jiān)控、告警短信提醒。補(bǔ)丁主動(dòng)推送,一鍵安裝,業(yè)務(wù)不中斷。

存算分離

先進(jìn)的計(jì)算存儲(chǔ)分離架構(gòu),提供 大數(shù)據(jù) 全引擎的On OBS方案,100%兼容開(kāi)源生態(tài)接口,提供低成本海量數(shù)據(jù)存儲(chǔ)方案;支持自研鯤鵬服務(wù)器,充分利用鯤鵬多核高并發(fā)能力,釋放硬件算力,降低計(jì)算成本。

靈活彈性

資源靈活配比,可以選擇鯤鵬/x86不同配比的Flavor規(guī)格,支持裸金屬、虛擬機(jī)不同部署方式;單集群支持裸金屬和虛擬機(jī)混合部署,峰谷任務(wù)可通過(guò)預(yù)先配置策略,按需自動(dòng) 彈性伸縮 。

高性能

基于自研CarbonData的索引、物化視圖、緩存等技術(shù),實(shí)現(xiàn)萬(wàn)億數(shù)據(jù)秒級(jí)響應(yīng);自研大規(guī)模集群調(diào)度器Superior,突破單集群規(guī)模瓶頸,單集群調(diào)度能力突破10000節(jié)點(diǎn);自研數(shù)據(jù)加速引擎DataTurbor,性能大幅提升。

多級(jí)高可靠

支持集群節(jié)點(diǎn)部署實(shí)例分散化,單節(jié)點(diǎn)故障時(shí)迅速 遷移 至其他節(jié)點(diǎn)、支持跨AZ數(shù)據(jù)同步備份、支持?jǐn)?shù)據(jù)冗余存儲(chǔ)、支持集群元數(shù)據(jù)外置到RDS、集群所有服務(wù)管理節(jié)點(diǎn)支持HA高可靠,實(shí)現(xiàn)虛擬機(jī)、集群及跨AZ的多級(jí)高可靠性。

高安全

支持Kerberos認(rèn)證管理和企業(yè)細(xì)粒度融合管理,按照項(xiàng)目維度進(jìn)行集群操作權(quán)限管理;支持多租戶(hù)管理,對(duì)集群內(nèi)的計(jì)算存儲(chǔ)資源按租戶(hù)維度隔離;支持存儲(chǔ)加密和數(shù)據(jù)傳輸通道加密,支持?jǐn)?shù)據(jù)表、列級(jí)別的加密存儲(chǔ),保證敏感 數(shù)據(jù)安全 。

應(yīng)用場(chǎng)景

大數(shù)據(jù)在人們的生活中無(wú)處不在,在IoT、電子商務(wù)、金融、制造、醫(yī)療、能源和政府部門(mén)等行業(yè)均可以使用華為云MRS服務(wù)進(jìn)行大數(shù)據(jù)處理。

海量數(shù)據(jù)分析場(chǎng)景

海量數(shù)據(jù)分析是現(xiàn)代大數(shù)據(jù)系統(tǒng)中的主要場(chǎng)景。通常企業(yè)會(huì)包含多種數(shù)據(jù)源,接入后需要對(duì)數(shù)據(jù)進(jìn)行ETL處理形成模型化數(shù)據(jù),以便提供給各個(gè)業(yè)務(wù)模塊進(jìn)行分析梳理,這類(lèi)業(yè)務(wù)通常有以下特點(diǎn):

對(duì)執(zhí)行實(shí)時(shí)性要求不高,作業(yè)執(zhí)行時(shí)間在數(shù)十分鐘到小時(shí)級(jí)別。

數(shù)據(jù)量巨大。

數(shù)據(jù)來(lái)源和格式多種多樣。

數(shù)據(jù)處理通常由多個(gè)任務(wù)構(gòu)成,對(duì)資源需要進(jìn)行詳細(xì)規(guī)劃。