什么是MRS
大數(shù)據(jù)是人類進入互聯(lián)網(wǎng)時代以來面臨的一個巨大問題:社會生產(chǎn)生活產(chǎn)生的數(shù)據(jù)量越來越大,數(shù)據(jù)種類越來越多,數(shù)據(jù)產(chǎn)生的速度越來越快。
傳統(tǒng)的數(shù)據(jù)處理技術,比如說單機存儲,關系數(shù)據(jù)庫已經(jīng)無法解決這些新的大數(shù)據(jù)問題。為解決以上大數(shù)據(jù)處理問題,Apache基金會推出了Hadoop大數(shù)據(jù)處理的開源解決方案。
Hadoop是一個開源分布式計算平臺,可以充分利用集群的計算和存儲能力,完成海量數(shù)據(jù)的處理。企業(yè)自行部署Hadoop系統(tǒng)有成本高,周期長,難運維和不靈活等問題。
針對上述問題,華為云提供了大數(shù)據(jù)MapReduce服務(MRS),MRS是一個在華為云上部署和管理Hadoop系統(tǒng)的服務,一鍵即可部署Hadoop集群。
MRS提供租戶完全可控的一站式企業(yè)級大數(shù)據(jù)集群云服務,完全兼容開源接口,結合華為云計算、存儲優(yōu)勢及大數(shù)據(jù)行業(yè)經(jīng)驗,為客戶提供高性能、低成本、靈活易用的全棧大數(shù)據(jù)平臺,輕松運行Hadoop、Spark、HBase、Kafka、Storm等大數(shù)據(jù)組件,并具備在后續(xù)根據(jù)業(yè)務需要進行定制開發(fā)的能力,幫助企業(yè)快速構建海量數(shù)據(jù)信息處理系統(tǒng),并通過對海量信息數(shù)據(jù)實時與非實時的分析挖掘,發(fā)現(xiàn)全新價值點和企業(yè)商機。
MRS產(chǎn)品優(yōu)勢
-
高性能
MRS支持自研的CarbonData存儲技術。CarbonData是一種高性能大數(shù)據(jù)存儲方案,以一份數(shù)據(jù)同時支持多種應用場景,并通過多級索引、字典編碼、預聚合、動態(tài)Partition、準實時數(shù)據(jù)查詢等特性提升了IO掃描和計算性能,實現(xiàn)萬億數(shù)據(jù)分析秒級響應。同時MRS支持自研增強型調(diào)度器Superior,突破單集群規(guī)模瓶頸,單集群調(diào)度能力超10000節(jié)點。
MRS支持自研的CarbonData存儲技術。CarbonData是一種高性能大數(shù)據(jù)存儲方案,以一份數(shù)據(jù)同時支持多種應用場景,并通過多級索引、字典編碼、預聚合、動態(tài)Partition、準實時數(shù)據(jù)查詢等特性提升了IO掃描和計算性能,實現(xiàn)萬億數(shù)據(jù)分析秒級響應。同時MRS支持自研增強型調(diào)度器Superior,突破單集群規(guī)模瓶頸,單集群調(diào)度能力超10000節(jié)點。
-
低成本
基于多樣化的云基礎設施,提供了豐富的計算、存儲設施的選擇,同時計算存儲分離,提供了低成本海量數(shù)據(jù)存儲方案。MRS可以按業(yè)務峰谷,自動彈性伸縮,幫助客戶節(jié)省大數(shù)據(jù)平臺閑時資源。MRS集群可以用時再創(chuàng)建、用時再擴容,用完就可以銷毀、縮容,確保低成本。
基于多樣化的云基礎設施,提供了豐富的計算、存儲設施的選擇,同時計算存儲分離,提供了低成本海量數(shù)據(jù)存儲方案。MRS可以按業(yè)務峰谷,自動彈性伸縮,幫助客戶節(jié)省大數(shù)據(jù)平臺閑時資源。MRS集群可以用時再創(chuàng)建、用時再擴容,用完就可以銷毀、縮容,確保低成本。
-
高安全
MRS服務擁有企業(yè)級的大數(shù)據(jù)多租戶權限管理能力,擁有企業(yè)級的大數(shù)據(jù)安全管理特性,支持按照表/按列控制訪問權限,支持數(shù)據(jù)按照表/按列加密。
MRS服務擁有企業(yè)級的大數(shù)據(jù)多租戶權限管理能力,擁有企業(yè)級的大數(shù)據(jù)安全管理特性,支持按照表/按列控制訪問權限,支持數(shù)據(jù)按照表/按列加密。
-
易運維
MRS提供可視化大數(shù)據(jù)集群管理平臺,提高運維效率。并支持滾動補丁升級,可視化補丁發(fā)布信息,一鍵式補丁安裝,無需人工干預,不停業(yè)務,保障用戶集群長期穩(wěn)定。
MRS提供可視化大數(shù)據(jù)集群管理平臺,提高運維效率。并支持滾動補丁升級,可視化補丁發(fā)布信息,一鍵式補丁安裝,無需人工干預,不停業(yè)務,保障用戶集群長期穩(wěn)定。
-
高可靠
MRS服務經(jīng)過大規(guī)模的可靠性、長穩(wěn)驗證,滿足企業(yè)級高可靠要求,同時支持數(shù)據(jù)跨AZ/跨Region自動備份的數(shù)據(jù)容災能力,自動反親和技術,虛擬機分布在不同物理機上。
MRS服務經(jīng)過大規(guī)模的可靠性、長穩(wěn)驗證,滿足企業(yè)級高可靠要求,同時支持數(shù)據(jù)跨AZ/跨Region自動備份的數(shù)據(jù)容災能力,自動反親和技術,虛擬機分布在不同物理機上。