MRS是一個(gè)在華為云上部署和管理Hadoop系統(tǒng)的服務(wù),一鍵即可部署Hadoop集群。MRS提供租戶完全可控的企業(yè)級 大數(shù)據(jù) 集群云服務(wù),輕松運(yùn)行Hadoop、Spark、HBase、Kafka、Storm等大數(shù)據(jù)組件。
MRS使用簡單,通過使用在集群中連接在一起的多臺計(jì)算機(jī),您可以運(yùn)行各種任務(wù),處理或者存儲(PB級)巨量數(shù)據(jù)。MRS的基本使用流程如下:
1.開發(fā)數(shù)據(jù)處理程序,MRS的開發(fā)指南為用戶提供代碼示例和教程,幫助您快速開始開發(fā)自己的程序并正常運(yùn)行。
2.上傳程序和數(shù)據(jù)文件到 對象存儲服務(wù) (OBS)中,用戶需要先將本地的程序和數(shù)據(jù)文件上傳至OBS中。
3.創(chuàng)建集群,用戶可以指定集群類型用于離線數(shù)據(jù)分析和流處理任務(wù),指定集群中預(yù)置的彈性 云服務(wù)器 實(shí)例規(guī)格、實(shí)例數(shù)量、數(shù)據(jù)盤類型(普通IO、高IO、超高IO)、要安裝的組件(Hadoop、Spark、HBase、Hive、Kafka、Storm等)。用戶可以使用引導(dǎo)操作在集群啟動(dòng)前(或后)在指定的節(jié)點(diǎn)上執(zhí)行腳本,安裝其他第三方軟件或修改集群運(yùn)行環(huán)境等自定義操作。
4.管理作業(yè),MRS為用戶提供程序執(zhí)行平臺,程序由用戶自身開發(fā),MRS負(fù)責(zé)程序的提交、執(zhí)行和監(jiān)控。
5.管理集群,MRS為用戶提供企業(yè)級的大 數(shù)據(jù)集 群的統(tǒng)一管理平臺,幫助用戶快速掌握服務(wù)及主機(jī)的健康狀態(tài),通過圖形化的指標(biāo)監(jiān)控及定制及時(shí)的獲取系統(tǒng)的關(guān)鍵信息,根據(jù)實(shí)際業(yè)務(wù)的性能需求修改服務(wù)屬性的配置,對集群、服務(wù)、角色實(shí)例等實(shí)現(xiàn)一鍵啟停等操作。
6.刪除集群,如果作業(yè)執(zhí)行結(jié)束后不需要集群,可以刪除MRS集群。集群刪除后不再產(chǎn)生費(fèi)用。