該解決方案有何用途?
該方案基于對象存儲服務(wù) OBS和MapReduce服務(wù) MRS,幫助用戶在華為云上快速搭建大數(shù)據(jù)存算分離集群。MRS是一個在華為云上部署和管理Hadoop系統(tǒng)的服務(wù),通過為MRS集群綁定彈性云服務(wù)器 ECS委托方式訪問OBS,實現(xiàn)用戶使用MRS集群作數(shù)據(jù)計算處理,而數(shù)據(jù)存儲在OBS服務(wù)中。大數(shù)據(jù)在人們的生活中無處不在,在IoT、電子商務(wù)、金融、制造、醫(yī)療、能源和政府部門等行業(yè)均可以使用華為云MRS服務(wù)進(jìn)行大數(shù)據(jù)處理。
方案部署架構(gòu)
該方案基于對象存儲服務(wù) OBS和MapReduce服務(wù) MRS,幫助用戶在華為云上快速搭建大數(shù)據(jù)存算分離集群。
基于OBS配置大數(shù)據(jù)存算分離集群
上次更新日期:2024年3月
版本:1.0.0
來源:由華為云構(gòu)建
部署:預(yù)計5分鐘
卸載:預(yù)計5分鐘
架構(gòu)描述
架構(gòu)描述
-
在對象存儲服務(wù) OBS中創(chuàng)建一個并行文件系統(tǒng),用于存儲數(shù)據(jù)。
-
在統(tǒng)一身份認(rèn)證服務(wù) IAM創(chuàng)建一個委托,將帳號Region內(nèi)對象存儲服務(wù) OBS操作權(quán)限委托給彈性云服務(wù)器 ECS。
-
使用MapReduce服務(wù) MRS的集群作為數(shù)據(jù)計算處理。