Manager結(jié)構(gòu)介紹
MRS為用戶提供海量數(shù)據(jù)的管理及分析功能，快速從結(jié)構(gòu)化和非結(jié)構(gòu)化的海量數(shù)據(jù)中挖掘您所需要的價值數(shù)據(jù)。開源組件結(jié)構(gòu)復雜，安裝、配置、管理過程費時費力，使用Manager將為您提供企業(yè)級的集群的統(tǒng)一管理平臺。
Manager的整體結(jié)構(gòu)如下圖所示。
Manager由OMS和OMA組成：
- OMS：操作維護系統(tǒng)的管理節(jié)點，OMS一般有兩個，互為主備。
- OMA：操作維護系統(tǒng)中的被管理節(jié)點，一般有多個。
圖中各模塊的說明如下表所示：
|
模塊名稱
|
描述
|
|---|---|
Web Service |
是一個部署在Tomcat下的Web服務，提供Manager的https接口，用于通過瀏覽器訪問Manager。同時還提供基于Syslog和SNMP協(xié)議的北向接入能力。 |
OMS |
操作維護系統(tǒng)的管理節(jié)點，OMS節(jié)點一般有兩個，互為主備。 |
OMA |
操作維護系統(tǒng)中的被管理節(jié)點，一般有多個。 |
Controller |
Controller是Manager的控制中心，負責匯聚來自集群中所有節(jié)點的信息，統(tǒng)一向MRS集群管理員展示，以及負責接收來自MRS集群管理員的操作指令，并且依據(jù)操作指令所影響的范圍，向集群的所有相關(guān)節(jié)點同步信息。 |
Node Agent |
Node Agent存在于每一個集群節(jié)點，是Manager在單個節(jié)點的使能器。
Node Agent每隔3秒向Controller發(fā)送心跳信息，不支持配置時間間隔。 |
IAM |
負責記錄審計日志。在Manager的UI上每一個非查詢類操作，都有對應的審計日志。 |
PMS |
性能監(jiān)控模塊，搜集每一個OMA上的性能監(jiān)控數(shù)據(jù)并提供查詢。 |
CEP |
匯聚功能模塊。比如將所有OMA上的磁盤已用空間匯總成一個性能指標。 |
FMS |
告警模塊，搜集每一個OMA上的告警并提供查詢。 |
OMM Agent |
OMA上面性能監(jiān)控和告警的Agent，負責收集該Agent Node上的性能監(jiān)控數(shù)據(jù)和告警數(shù)據(jù)。 |
CAS |
統(tǒng)一認證中心，登錄Web Service時需要在CAS進行登錄認證，瀏覽器通過URL自動跳轉(zhuǎn)訪問CAS。 |
AOS |
權(quán)限管理模塊，管理用戶和用戶組的權(quán)限。 |
ACS |
用戶和用戶組管理模塊，管理用戶及用戶歸屬的用戶組。 |
Kerberos |
在OMS與集群中各部署一個。 OMS Kerberos提供單點登錄及Controller與Node Agent間認證的功能。 集群中Kerberos提供組件用戶安全認證功能，其服務名稱為KrbServer，包含兩種角色實例：
|
Ldap |
在OMS與集群中各部署一個。
|
Database |
Manager的數(shù)據(jù)庫，負責存儲日志、告警等信息。 |
HA |
高可用性管理模塊，主備OMS通過HA進行主備管理。 |
NTP Server NTP Client |
負責同步集群內(nèi)各節(jié)點的系統(tǒng)時鐘。 |
Manager關(guān)鍵特性
-
統(tǒng)一監(jiān)控告警
Manager提供可視化、便捷的監(jiān)控告警功能。用戶可以快速獲取集群關(guān)鍵性能指標，并評測集群健康狀態(tài)，同時提供性能指標的定制化顯示功能及指標轉(zhuǎn)換告警方法。Manager可監(jiān)控所有組件的運行情況，并在故障時實時上報告警。通過界面的聯(lián)機幫助，用戶可以查看性能指標和告警恢復的詳細方法，進行快速排障。
Manager提供可視化、便捷的監(jiān)控告警功能。用戶可以快速獲取集群關(guān)鍵性能指標，并評測集群健康狀態(tài)，同時提供性能指標的定制化顯示功能及指標轉(zhuǎn)換告警方法。Manager可監(jiān)控所有組件的運行情況，并在故障時實時上報告警。通過界面的聯(lián)機幫助，用戶可以查看性能指標和告警恢復的詳細方法，進行快速排障。
-
統(tǒng)一用戶權(quán)限管理
Manager提供系統(tǒng)中各組件的權(quán)限集中管理功能。
Manager引入角色的概念，采用RBAC的方式對系統(tǒng)進行權(quán)限管理，集中呈現(xiàn)和管理系統(tǒng)中各組件零散的權(quán)限功能，并且將各個組件的權(quán)限以權(quán)限集合（即角色）的形式組織，形成統(tǒng)一的系統(tǒng)權(quán)限概念。這樣一方面對普通用戶屏蔽了內(nèi)部的權(quán)限管理細節(jié)，另一方面對MRS集群管理員簡化了權(quán)限管理的操作方法，提升了權(quán)限管理的易用性和用戶體驗。
Manager提供系統(tǒng)中各組件的權(quán)限集中管理功能。
Manager引入角色的概念，采用RBAC的方式對系統(tǒng)進行權(quán)限管理，集中呈現(xiàn)和管理系統(tǒng)中各組件零散的權(quán)限功能，并且將各個組件的權(quán)限以權(quán)限集合（即角色）的形式組織，形成統(tǒng)一的系統(tǒng)權(quán)限概念。這樣一方面對普通用戶屏蔽了內(nèi)部的權(quán)限管理細節(jié)，另一方面對MRS集群管理員簡化了權(quán)限管理的操作方法，提升了權(quán)限管理的易用性和用戶體驗。
-
單點登錄
提供Manager WebUI與組件WebUI之間的單點登錄，以及MRS與第三方系統(tǒng)集成時的單點登錄。
此功能統(tǒng)一了Manager系統(tǒng)用戶和組件用戶的管理及認證。整個系統(tǒng)使用LDAP管理用戶，使用Kerberos進行認證，并在OMS和組件間各使用一套Kerberos和LDAP的管理機制，通過CAS實現(xiàn)單點登錄（包括單點登錄和單點登出）。用戶只需要登錄一次，即可在Manager WebUI和組件Web UI之間，甚至第三方系統(tǒng)之間進行任務跳轉(zhuǎn)操作，無需切換用戶重新登錄。
提供Manager WebUI與組件WebUI之間的單點登錄，以及MRS與第三方系統(tǒng)集成時的單點登錄。
此功能統(tǒng)一了Manager系統(tǒng)用戶和組件用戶的管理及認證。整個系統(tǒng)使用LDAP管理用戶，使用Kerberos進行認證，并在OMS和組件間各使用一套Kerberos和LDAP的管理機制，通過CAS實現(xiàn)單點登錄（包括單點登錄和單點登出）。用戶只需要登錄一次，即可在Manager WebUI和組件Web UI之間，甚至第三方系統(tǒng)之間進行任務跳轉(zhuǎn)操作，無需切換用戶重新登錄。
-
自動健康檢查與巡檢
Manager為用戶提供界面化的系統(tǒng)運行環(huán)境自動檢查服務，幫助用戶實現(xiàn)一鍵式系統(tǒng)運行健康度巡檢和審計，保障系統(tǒng)的正常運行，降低系統(tǒng)運維成本。用戶查看檢查結(jié)果后，還可導出檢查報告用于存檔及問題分析。
Manager為用戶提供界面化的系統(tǒng)運行環(huán)境自動檢查服務，幫助用戶實現(xiàn)一鍵式系統(tǒng)運行健康度巡檢和審計，保障系統(tǒng)的正常運行，降低系統(tǒng)運維成本。用戶查看檢查結(jié)果后，還可導出檢查報告用于存檔及問題分析。
-
租戶管理
Manager引入了多租戶的概念，集群擁有的CPU、內(nèi)存和磁盤等資源，可以整合規(guī)劃為一個集合體，這個集合體就是租戶。多個不同的租戶統(tǒng)稱多租戶。
多租戶功能支持層級式的租戶模型，支持動態(tài)的添加和刪除租戶，實現(xiàn)資源的隔離，可以對租戶的計算資源和存儲資源進行動態(tài)配置和管理。
- 計算資源指租戶Yarn任務隊列資源，可以修改任務隊列的配額，并查看任務隊列的使用狀態(tài)和使用統(tǒng)計。
- 存儲資源目前支持HDFS存儲，可以添加刪除租戶HDFS存儲目錄，設置目錄的文件數(shù)量配額和存儲空間配額。
Manager作為MRS的統(tǒng)一租戶管理平臺，用戶可以在界面上根據(jù)業(yè)務需要，在集群中創(chuàng)建租戶、管理租戶。
- 創(chuàng)建租戶時將自動創(chuàng)建租戶對應的角色、計算資源和存儲資源。默認情況下，新的計算資源和存儲資源的全部權(quán)限將分配給租戶的角色。
- 修改租戶的計算資源或存儲資源，對應的角色關(guān)聯(lián)權(quán)限將自動更新。
Manager還提供了多實例的功能，使用戶在資源控制和業(yè)務隔離的場景中可以獨立使用HBase、Hive和Spark組件。多實例功能默認關(guān)閉，可以選擇手動啟用。
Manager引入了多租戶的概念，集群擁有的CPU、內(nèi)存和磁盤等資源，可以整合規(guī)劃為一個集合體，這個集合體就是租戶。多個不同的租戶統(tǒng)稱多租戶。
多租戶功能支持層級式的租戶模型，支持動態(tài)的添加和刪除租戶，實現(xiàn)資源的隔離，可以對租戶的計算資源和存儲資源進行動態(tài)配置和管理。
- 計算資源指租戶Yarn任務隊列資源，可以修改任務隊列的配額，并查看任務隊列的使用狀態(tài)和使用統(tǒng)計。
- 存儲資源目前支持HDFS存儲，可以添加刪除租戶HDFS存儲目錄，設置目錄的文件數(shù)量配額和存儲空間配額。
Manager作為MRS的統(tǒng)一租戶管理平臺，用戶可以在界面上根據(jù)業(yè)務需要，在集群中創(chuàng)建租戶、管理租戶。
- 創(chuàng)建租戶時將自動創(chuàng)建租戶對應的角色、計算資源和存儲資源。默認情況下，新的計算資源和存儲資源的全部權(quán)限將分配給租戶的角色。
- 修改租戶的計算資源或存儲資源，對應的角色關(guān)聯(lián)權(quán)限將自動更新。
Manager還提供了多實例的功能，使用戶在資源控制和業(yè)務隔離的場景中可以獨立使用HBase、Hive和Spark組件。多實例功能默認關(guān)閉，可以選擇手動啟用。
-
多語言支持
Manager增加了對多語言的支持，系統(tǒng)自動根據(jù)瀏覽器的語言偏好設置，顯示中文或者英文。當瀏覽器首選語言是中文時，Manager顯示中文界面；當瀏覽器首選語言不是中文時，Manager顯示英文界面。用戶也可以根據(jù)語言偏好，在界面左下角一鍵切換中英文界面（僅MRS 3.x及后續(xù)版本支持一鍵切換中英文界面）。
Manager增加了對多語言的支持，系統(tǒng)自動根據(jù)瀏覽器的語言偏好設置，顯示中文或者英文。當瀏覽器首選語言是中文時，Manager顯示中文界面；當瀏覽器首選語言不是中文時，Manager顯示英文界面。用戶也可以根據(jù)語言偏好，在界面左下角一鍵切換中英文界面（僅MRS 3.x及后續(xù)版本支持一鍵切換中英文界面）。
如何使用Manager
-
訪問FusionInsight Manager
用戶可以使用FusionInsight Manager對集群進行監(jiān)控、配置和管理。用戶在集群安裝后可使用帳號登錄FusionInsight Manager。
-
備份恢復MRS集群信息
提供對集群內(nèi)的用戶數(shù)據(jù)及系統(tǒng)數(shù)據(jù)的備份恢復能力，備份功能按組件提供。系統(tǒng)支持備份Manager的數(shù)據(jù)、組件元數(shù)據(jù)及業(yè)務數(shù)據(jù)。
