Manager結(jié)構(gòu)介紹
MRS為用戶提供海量數(shù)據(jù)的管理及分析功能,快速?gòu)慕Y(jié)構(gòu)化和非結(jié)構(gòu)化的海量數(shù)據(jù)中挖掘您所需要的價(jià)值數(shù)據(jù)。開源組件結(jié)構(gòu)復(fù)雜,安裝、配置、管理過(guò)程費(fèi)時(shí)費(fèi)力,使用Manager將為您提供企業(yè)級(jí)的集群的統(tǒng)一管理平臺(tái)。
Manager的整體結(jié)構(gòu)如下圖所示。
Manager由OMS和OMA組成:
- OMS:操作維護(hù)系統(tǒng)的管理節(jié)點(diǎn),OMS一般有兩個(gè),互為主備。
- OMA:操作維護(hù)系統(tǒng)中的被管理節(jié)點(diǎn),一般有多個(gè)。
圖中各模塊的說(shuō)明如下表所示:
|
模塊名稱
|
描述
|
|---|---|
Web Service |
是一個(gè)部署在Tomcat下的Web服務(wù),提供Manager的https接口,用于通過(guò)瀏覽器訪問(wèn)Manager。同時(shí)還提供基于Syslog和SNMP協(xié)議的北向接入能力。 |
OMS |
操作維護(hù)系統(tǒng)的管理節(jié)點(diǎn),OMS節(jié)點(diǎn)一般有兩個(gè),互為主備。 |
OMA |
操作維護(hù)系統(tǒng)中的被管理節(jié)點(diǎn),一般有多個(gè)。 |
Controller |
Controller是Manager的控制中心,負(fù)責(zé)匯聚來(lái)自集群中所有節(jié)點(diǎn)的信息,統(tǒng)一向MRS集群管理員展示,以及負(fù)責(zé)接收來(lái)自MRS集群管理員的操作指令,并且依據(jù)操作指令所影響的范圍,向集群的所有相關(guān)節(jié)點(diǎn)同步信息。 |
Node Agent |
Node Agent存在于每一個(gè)集群節(jié)點(diǎn),是Manager在單個(gè)節(jié)點(diǎn)的使能器。
Node Agent每隔3秒向Controller發(fā)送心跳信息,不支持配置時(shí)間間隔。 |
IAM |
負(fù)責(zé)記錄審計(jì)日志。在Manager的UI上每一個(gè)非查詢類操作,都有對(duì)應(yīng)的審計(jì)日志。 |
PMS |
性能監(jiān)控模塊,搜集每一個(gè)OMA上的性能監(jiān)控?cái)?shù)據(jù)并提供查詢。 |
CEP |
匯聚功能模塊。比如將所有OMA上的磁盤已用空間匯總成一個(gè)性能指標(biāo)。 |
FMS |
告警模塊,搜集每一個(gè)OMA上的告警并提供查詢。 |
OMM Agent |
OMA上面性能監(jiān)控和告警的Agent,負(fù)責(zé)收集該Agent Node上的性能監(jiān)控?cái)?shù)據(jù)和告警數(shù)據(jù)。 |
CAS |
統(tǒng)一認(rèn)證中心,登錄Web Service時(shí)需要在CAS進(jìn)行登錄認(rèn)證,瀏覽器通過(guò)URL自動(dòng)跳轉(zhuǎn)訪問(wèn)CAS。 |
AOS |
權(quán)限管理模塊,管理用戶和用戶組的權(quán)限。 |
ACS |
用戶和用戶組管理模塊,管理用戶及用戶歸屬的用戶組。 |
Kerberos |
在OMS與集群中各部署一個(gè)。 OMS Kerberos提供單點(diǎn)登錄及Controller與Node Agent間認(rèn)證的功能。 集群中Kerberos提供組件用戶安全認(rèn)證功能,其服務(wù)名稱為KrbServer,包含兩種角色實(shí)例:
|
Ldap |
在OMS與集群中各部署一個(gè)。
|
Database |
Manager的數(shù)據(jù)庫(kù),負(fù)責(zé)存儲(chǔ)日志、告警等信息。 |
HA |
高可用性管理模塊,主備OMS通過(guò)HA進(jìn)行主備管理。 |
NTP Server NTP Client |
負(fù)責(zé)同步集群內(nèi)各節(jié)點(diǎn)的系統(tǒng)時(shí)鐘。 |
Manager關(guān)鍵特性
-
統(tǒng)一監(jiān)控告警
Manager提供可視化、便捷的監(jiān)控告警功能。用戶可以快速獲取集群關(guān)鍵性能指標(biāo),并評(píng)測(cè)集群健康狀態(tài),同時(shí)提供性能指標(biāo)的定制化顯示功能及指標(biāo)轉(zhuǎn)換告警方法。Manager可監(jiān)控所有組件的運(yùn)行情況,并在故障時(shí)實(shí)時(shí)上報(bào)告警。通過(guò)界面的聯(lián)機(jī)幫助,用戶可以查看性能指標(biāo)和告警恢復(fù)的詳細(xì)方法,進(jìn)行快速排障。
Manager提供可視化、便捷的監(jiān)控告警功能。用戶可以快速獲取集群關(guān)鍵性能指標(biāo),并評(píng)測(cè)集群健康狀態(tài),同時(shí)提供性能指標(biāo)的定制化顯示功能及指標(biāo)轉(zhuǎn)換告警方法。Manager可監(jiān)控所有組件的運(yùn)行情況,并在故障時(shí)實(shí)時(shí)上報(bào)告警。通過(guò)界面的聯(lián)機(jī)幫助,用戶可以查看性能指標(biāo)和告警恢復(fù)的詳細(xì)方法,進(jìn)行快速排障。
-
統(tǒng)一用戶權(quán)限管理
Manager提供系統(tǒng)中各組件的權(quán)限集中管理功能。
Manager引入角色的概念,采用RBAC的方式對(duì)系統(tǒng)進(jìn)行權(quán)限管理,集中呈現(xiàn)和管理系統(tǒng)中各組件零散的權(quán)限功能,并且將各個(gè)組件的權(quán)限以權(quán)限集合(即角色)的形式組織,形成統(tǒng)一的系統(tǒng)權(quán)限概念。這樣一方面對(duì)普通用戶屏蔽了內(nèi)部的權(quán)限管理細(xì)節(jié),另一方面對(duì)MRS集群管理員簡(jiǎn)化了權(quán)限管理的操作方法,提升了權(quán)限管理的易用性和用戶體驗(yàn)。
Manager提供系統(tǒng)中各組件的權(quán)限集中管理功能。
Manager引入角色的概念,采用RBAC的方式對(duì)系統(tǒng)進(jìn)行權(quán)限管理,集中呈現(xiàn)和管理系統(tǒng)中各組件零散的權(quán)限功能,并且將各個(gè)組件的權(quán)限以權(quán)限集合(即角色)的形式組織,形成統(tǒng)一的系統(tǒng)權(quán)限概念。這樣一方面對(duì)普通用戶屏蔽了內(nèi)部的權(quán)限管理細(xì)節(jié),另一方面對(duì)MRS集群管理員簡(jiǎn)化了權(quán)限管理的操作方法,提升了權(quán)限管理的易用性和用戶體驗(yàn)。
-
單點(diǎn)登錄
提供Manager WebUI與組件WebUI之間的單點(diǎn)登錄,以及MRS與第三方系統(tǒng)集成時(shí)的單點(diǎn)登錄。
此功能統(tǒng)一了Manager系統(tǒng)用戶和組件用戶的管理及認(rèn)證。整個(gè)系統(tǒng)使用LDAP管理用戶,使用Kerberos進(jìn)行認(rèn)證,并在OMS和組件間各使用一套Kerberos和LDAP的管理機(jī)制,通過(guò)CAS實(shí)現(xiàn)單點(diǎn)登錄(包括單點(diǎn)登錄和單點(diǎn)登出)。用戶只需要登錄一次,即可在Manager WebUI和組件Web UI之間,甚至第三方系統(tǒng)之間進(jìn)行任務(wù)跳轉(zhuǎn)操作,無(wú)需切換用戶重新登錄。
提供Manager WebUI與組件WebUI之間的單點(diǎn)登錄,以及MRS與第三方系統(tǒng)集成時(shí)的單點(diǎn)登錄。
此功能統(tǒng)一了Manager系統(tǒng)用戶和組件用戶的管理及認(rèn)證。整個(gè)系統(tǒng)使用LDAP管理用戶,使用Kerberos進(jìn)行認(rèn)證,并在OMS和組件間各使用一套Kerberos和LDAP的管理機(jī)制,通過(guò)CAS實(shí)現(xiàn)單點(diǎn)登錄(包括單點(diǎn)登錄和單點(diǎn)登出)。用戶只需要登錄一次,即可在Manager WebUI和組件Web UI之間,甚至第三方系統(tǒng)之間進(jìn)行任務(wù)跳轉(zhuǎn)操作,無(wú)需切換用戶重新登錄。
-
自動(dòng)健康檢查與巡檢
Manager為用戶提供界面化的系統(tǒng)運(yùn)行環(huán)境自動(dòng)檢查服務(wù),幫助用戶實(shí)現(xiàn)一鍵式系統(tǒng)運(yùn)行健康度巡檢和審計(jì),保障系統(tǒng)的正常運(yùn)行,降低系統(tǒng)運(yùn)維成本。用戶查看檢查結(jié)果后,還可導(dǎo)出檢查報(bào)告用于存檔及問(wèn)題分析。
Manager為用戶提供界面化的系統(tǒng)運(yùn)行環(huán)境自動(dòng)檢查服務(wù),幫助用戶實(shí)現(xiàn)一鍵式系統(tǒng)運(yùn)行健康度巡檢和審計(jì),保障系統(tǒng)的正常運(yùn)行,降低系統(tǒng)運(yùn)維成本。用戶查看檢查結(jié)果后,還可導(dǎo)出檢查報(bào)告用于存檔及問(wèn)題分析。
-
租戶管理
Manager引入了多租戶的概念,集群擁有的CPU、內(nèi)存和磁盤等資源,可以整合規(guī)劃為一個(gè)集合體,這個(gè)集合體就是租戶。多個(gè)不同的租戶統(tǒng)稱多租戶。
多租戶功能支持層級(jí)式的租戶模型,支持動(dòng)態(tài)的添加和刪除租戶,實(shí)現(xiàn)資源的隔離,可以對(duì)租戶的計(jì)算資源和存儲(chǔ)資源進(jìn)行動(dòng)態(tài)配置和管理。
- 計(jì)算資源指租戶Yarn任務(wù)隊(duì)列資源,可以修改任務(wù)隊(duì)列的配額,并查看任務(wù)隊(duì)列的使用狀態(tài)和使用統(tǒng)計(jì)。
- 存儲(chǔ)資源目前支持HDFS存儲(chǔ),可以添加刪除租戶HDFS存儲(chǔ)目錄,設(shè)置目錄的文件數(shù)量配額和存儲(chǔ)空間配額。
Manager作為MRS的統(tǒng)一租戶管理平臺(tái),用戶可以在界面上根據(jù)業(yè)務(wù)需要,在集群中創(chuàng)建租戶、管理租戶。
- 創(chuàng)建租戶時(shí)將自動(dòng)創(chuàng)建租戶對(duì)應(yīng)的角色、計(jì)算資源和存儲(chǔ)資源。默認(rèn)情況下,新的計(jì)算資源和存儲(chǔ)資源的全部權(quán)限將分配給租戶的角色。
- 修改租戶的計(jì)算資源或存儲(chǔ)資源,對(duì)應(yīng)的角色關(guān)聯(lián)權(quán)限將自動(dòng)更新。
Manager還提供了多實(shí)例的功能,使用戶在資源控制和業(yè)務(wù)隔離的場(chǎng)景中可以獨(dú)立使用HBase、Hive和Spark組件。多實(shí)例功能默認(rèn)關(guān)閉,可以選擇手動(dòng)啟用。
Manager引入了多租戶的概念,集群擁有的CPU、內(nèi)存和磁盤等資源,可以整合規(guī)劃為一個(gè)集合體,這個(gè)集合體就是租戶。多個(gè)不同的租戶統(tǒng)稱多租戶。
多租戶功能支持層級(jí)式的租戶模型,支持動(dòng)態(tài)的添加和刪除租戶,實(shí)現(xiàn)資源的隔離,可以對(duì)租戶的計(jì)算資源和存儲(chǔ)資源進(jìn)行動(dòng)態(tài)配置和管理。
- 計(jì)算資源指租戶Yarn任務(wù)隊(duì)列資源,可以修改任務(wù)隊(duì)列的配額,并查看任務(wù)隊(duì)列的使用狀態(tài)和使用統(tǒng)計(jì)。
- 存儲(chǔ)資源目前支持HDFS存儲(chǔ),可以添加刪除租戶HDFS存儲(chǔ)目錄,設(shè)置目錄的文件數(shù)量配額和存儲(chǔ)空間配額。
Manager作為MRS的統(tǒng)一租戶管理平臺(tái),用戶可以在界面上根據(jù)業(yè)務(wù)需要,在集群中創(chuàng)建租戶、管理租戶。
- 創(chuàng)建租戶時(shí)將自動(dòng)創(chuàng)建租戶對(duì)應(yīng)的角色、計(jì)算資源和存儲(chǔ)資源。默認(rèn)情況下,新的計(jì)算資源和存儲(chǔ)資源的全部權(quán)限將分配給租戶的角色。
- 修改租戶的計(jì)算資源或存儲(chǔ)資源,對(duì)應(yīng)的角色關(guān)聯(lián)權(quán)限將自動(dòng)更新。
Manager還提供了多實(shí)例的功能,使用戶在資源控制和業(yè)務(wù)隔離的場(chǎng)景中可以獨(dú)立使用HBase、Hive和Spark組件。多實(shí)例功能默認(rèn)關(guān)閉,可以選擇手動(dòng)啟用。
-
多語(yǔ)言支持
Manager增加了對(duì)多語(yǔ)言的支持,系統(tǒng)自動(dòng)根據(jù)瀏覽器的語(yǔ)言偏好設(shè)置,顯示中文或者英文。當(dāng)瀏覽器首選語(yǔ)言是中文時(shí),Manager顯示中文界面;當(dāng)瀏覽器首選語(yǔ)言不是中文時(shí),Manager顯示英文界面。用戶也可以根據(jù)語(yǔ)言偏好,在界面左下角一鍵切換中英文界面(僅MRS 3.x及后續(xù)版本支持一鍵切換中英文界面)。
Manager增加了對(duì)多語(yǔ)言的支持,系統(tǒng)自動(dòng)根據(jù)瀏覽器的語(yǔ)言偏好設(shè)置,顯示中文或者英文。當(dāng)瀏覽器首選語(yǔ)言是中文時(shí),Manager顯示中文界面;當(dāng)瀏覽器首選語(yǔ)言不是中文時(shí),Manager顯示英文界面。用戶也可以根據(jù)語(yǔ)言偏好,在界面左下角一鍵切換中英文界面(僅MRS 3.x及后續(xù)版本支持一鍵切換中英文界面)。