MRS系統(tǒng)架構(gòu)
MRS架構(gòu)介紹
MRS架構(gòu)包括了基礎(chǔ)設(shè)施和大數(shù)據(jù)處理流程各個階段的能力。
基礎(chǔ)設(shè)施
MRS基于華為云彈性云服務(wù)器ECS構(gòu)建的大數(shù)據(jù)集群，充分利用了其虛擬化層的高可靠、高安全的能力。
數(shù)據(jù)采集
數(shù)據(jù)采集層提供了數(shù)據(jù)接入到MRS集群的能力，包括Flume（數(shù)據(jù)采集）、Loader（關(guān)系型數(shù)據(jù)導(dǎo)入）、Kafka（高可靠消息隊列），支持各種數(shù)據(jù)源導(dǎo)入數(shù)據(jù)到大數(shù)據(jù)集群中。使用云數(shù)據(jù)遷移云服務(wù)也可以將外部數(shù)據(jù)導(dǎo)入至MRS集群中。
數(shù)據(jù)存儲
MRS支持結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)在集群中的存儲，并且支持多種高效的格式來滿足不同計算引擎的要求。
數(shù)據(jù)融合處理
MRS提供多種主流計算引擎：MapReduce（批處理）、Tez（DAG模型）、Spark（內(nèi)存計算）、SparkStreaming（微批流計算）、Storm（流計算）、Flink（流計算），滿足多種大數(shù)據(jù)應(yīng)用場景，將數(shù)據(jù)進(jìn)行結(jié)構(gòu)和邏輯的轉(zhuǎn)換，轉(zhuǎn)化成滿足業(yè)務(wù)目標(biāo)的數(shù)據(jù)模型。
數(shù)據(jù)呈現(xiàn)調(diào)度
用于數(shù)據(jù)分析結(jié)果的呈現(xiàn)，并與數(shù)據(jù)治理中心DataArts Studio集成，提供一站式的大數(shù)據(jù)協(xié)同開發(fā)平臺，幫助用戶輕松完成數(shù)據(jù)建模、數(shù)據(jù)集成、腳本開發(fā)、作業(yè)調(diào)度、運維監(jiān)控等多項任務(wù)，可以極大降低用戶使用大數(shù)據(jù)的門檻，幫助用戶快速構(gòu)建大數(shù)據(jù)處理中心。
集群管理
以Hadoop為基礎(chǔ)的大數(shù)據(jù)生態(tài)的各種組件均是以分布式的方式進(jìn)行部署，其部署、管理和運維復(fù)雜度較高。
華為云MRS產(chǎn)品優(yōu)勢
-
存算分離架構(gòu)
計算和存儲分離，統(tǒng)一數(shù)據(jù)湖，消除數(shù)據(jù)孤島，一份數(shù)據(jù)，無需多次拷貝，多種計算引擎，存儲和計算資源靈活配比，各自按需擴縮，性價比領(lǐng)先業(yè)界30%
-
極致性能體驗
通過結(jié)合硬件、數(shù)據(jù)組織、計算引擎、AI智能調(diào)優(yōu)四級垂直優(yōu)化，全棧式性能加速，同時具備百萬規(guī)模元數(shù)據(jù)毫秒級響應(yīng)，為用戶提供極致性能體驗
-
領(lǐng)先開源技術(shù)
主流引擎Spark、Hive、Flink等深度改造，擁有索引、緩存、元數(shù)據(jù)等關(guān)鍵技術(shù)；自研CarbonData毫秒級點查，Superior調(diào)度突破單集群20000節(jié)點+
-
高安全高可用
支持單集群跨AZ高可用，無單點故障，滾動補丁/升級，任務(wù)斷鏈重連，業(yè)務(wù)0中斷；具備網(wǎng)絡(luò)資源隔離、賬號安全、數(shù)據(jù)安全管控等多級安全保障能力
如何購買MRS集群
MRS根據(jù)多種常用場景，提供集群模板供您快速購買并使用。您也可以根據(jù)需求進(jìn)行定制
-
快速購買MRS集群
快速購買一個HBase查詢集群，HBase集群使用Hadoop和HBase組件提供一個穩(wěn)定可靠，性能優(yōu)異、可伸縮、面向列的分布式云存儲系統(tǒng)，適用于海量數(shù)據(jù)存儲以及分布式計算的場景，用戶可以利用HBase搭建起TB至PB級數(shù)據(jù)規(guī)模的存儲系統(tǒng)，對數(shù)據(jù)輕松進(jìn)行過濾分析，毫秒級得到響應(yīng)，快速發(fā)現(xiàn)數(shù)據(jù)價值。