五月婷婷丁香性爱|j久久一级免费片|久久美女福利视频|中文观看在线观看|加勒比四区三区二|亚洲裸女视频网站|超碰97AV在线69网站免费观看|有码在线免费视频|久久青青日本视频|亚洲国产AAAA

什么是MRS

  • 大數(shù)據(jù)是人類進入互聯(lián)網(wǎng)時代以來面臨的一個巨大問題:社會生產(chǎn)生活產(chǎn)生的數(shù)據(jù)量越來越大,數(shù)據(jù)種類越來越多,數(shù)據(jù)產(chǎn)生的速度越來越快。


    傳統(tǒng)的數(shù)據(jù)處理技術,比如說單機存儲,關系數(shù)據(jù)庫已經(jīng)無法解決這些新的大數(shù)據(jù)問題。為解決以上大數(shù)據(jù)處理問題,Apache基金會推出了Hadoop大數(shù)據(jù)處理的開源解決方案。


    Hadoop是一個開源分布式計算平臺,可以充分利用集群的計算和存儲能力,完成海量數(shù)據(jù)的處理。企業(yè)自行部署Hadoop系統(tǒng)有成本高,周期長,難運維和不靈活等問題。


    針對上述問題,華為云提供了大數(shù)據(jù)MapReduce服務(MRS),MRS是一個在華為云上部署和管理Hadoop系統(tǒng)的服務,一鍵即可部署Hadoop集群。


    MRS提供租戶完全可控的一站式企業(yè)級大數(shù)據(jù)集群云服務,完全兼容開源接口,結合華為云計算、存儲優(yōu)勢及大數(shù)據(jù)行業(yè)經(jīng)驗,為客戶提供高性能、低成本、靈活易用的全棧大數(shù)據(jù)平臺,輕松運行Hadoop、Spark、HBase、Kafka、Storm等大數(shù)據(jù)組件,并具備在后續(xù)根據(jù)業(yè)務需要進行定制開發(fā)的能力,幫助企業(yè)快速構建海量數(shù)據(jù)信息處理系統(tǒng),并通過對海量信息數(shù)據(jù)實時與非實時的分析挖掘,發(fā)現(xiàn)全新價值點和企業(yè)商機。

MRS產(chǎn)品優(yōu)勢

  • 高性能

    MRS支持自研的CarbonData存儲技術。CarbonData是一種高性能大數(shù)據(jù)存儲方案,以一份數(shù)據(jù)同時支持多種應用場景,并通過多級索引、字典編碼、預聚合、動態(tài)Partition、準實時數(shù)據(jù)查詢等特性提升了IO掃描和計算性能,實現(xiàn)萬億數(shù)據(jù)分析秒級響應。同時MRS支持自研增強型調(diào)度器Superior,突破單集群規(guī)模瓶頸,單集群調(diào)度能力超10000節(jié)點。

    MRS支持自研的CarbonData存儲技術。CarbonData是一種高性能大數(shù)據(jù)存儲方案,以一份數(shù)據(jù)同時支持多種應用場景,并通過多級索引、字典編碼、預聚合、動態(tài)Partition、準實時數(shù)據(jù)查詢等特性提升了IO掃描和計算性能,實現(xiàn)萬億數(shù)據(jù)分析秒級響應。同時MRS支持自研增強型調(diào)度器Superior,突破單集群規(guī)模瓶頸,單集群調(diào)度能力超10000節(jié)點。

  • 低成本

    基于多樣化的云基礎設施,提供了豐富的計算、存儲設施的選擇,同時計算存儲分離,提供了低成本海量數(shù)據(jù)存儲方案。MRS可以按業(yè)務峰谷,自動彈性伸縮,幫助客戶節(jié)省大數(shù)據(jù)平臺閑時資源。MRS集群可以用時再創(chuàng)建、用時再擴容,用完就可以銷毀、縮容,確保低成本。

    基于多樣化的云基礎設施,提供了豐富的計算、存儲設施的選擇,同時計算存儲分離,提供了低成本海量數(shù)據(jù)存儲方案。MRS可以按業(yè)務峰谷,自動彈性伸縮,幫助客戶節(jié)省大數(shù)據(jù)平臺閑時資源。MRS集群可以用時再創(chuàng)建、用時再擴容,用完就可以銷毀、縮容,確保低成本。

  • 高安全

    MRS服務擁有企業(yè)級的大數(shù)據(jù)多租戶權限管理能力,擁有企業(yè)級的大數(shù)據(jù)安全管理特性,支持按照表/按列控制訪問權限,支持數(shù)據(jù)按照表/按列加密。

    MRS服務擁有企業(yè)級的大數(shù)據(jù)多租戶權限管理能力,擁有企業(yè)級的大數(shù)據(jù)安全管理特性,支持按照表/按列控制訪問權限,支持數(shù)據(jù)按照表/按列加密。

  • 易運維

    MRS提供可視化大數(shù)據(jù)集群管理平臺,提高運維效率。并支持滾動補丁升級,可視化補丁發(fā)布信息,一鍵式補丁安裝,無需人工干預,不停業(yè)務,保障用戶集群長期穩(wěn)定。

    MRS提供可視化大數(shù)據(jù)集群管理平臺,提高運維效率。并支持滾動補丁升級,可視化補丁發(fā)布信息,一鍵式補丁安裝,無需人工干預,不停業(yè)務,保障用戶集群長期穩(wěn)定。

  • 高可靠

    MRS服務經(jīng)過大規(guī)模的可靠性、長穩(wěn)驗證,滿足企業(yè)級高可靠要求,同時支持數(shù)據(jù)跨AZ/跨Region自動備份的數(shù)據(jù)容災能力,自動反親和技術,虛擬機分布在不同物理機上。

    MRS服務經(jīng)過大規(guī)模的可靠性、長穩(wěn)驗證,滿足企業(yè)級高可靠要求,同時支持數(shù)據(jù)跨AZ/跨Region自動備份的數(shù)據(jù)容災能力,自動反親和技術,虛擬機分布在不同物理機上。

MRS與自建Hadoop對比優(yōu)勢

MRS與自建Hadoop對比優(yōu)勢

  • MRS支持一鍵式創(chuàng)建、刪除、擴縮容集群,并通過彈性公網(wǎng)IP便攜訪問MRS集群管理系統(tǒng),讓大數(shù)據(jù)集群更加易于使用。

    用戶自建大數(shù)據(jù)集群面臨成本高、周期長、運維難和不靈活等問題。針對這些問題,MRS支持一鍵式創(chuàng)建、刪除、擴容和縮容集群的能力,用戶可以自定制集群的類型,組件范圍,各類型的節(jié)點數(shù)、虛擬機規(guī)格、可用區(qū)、VPC網(wǎng)絡、認證信息,MRS將為用戶自動創(chuàng)建一個符合配置的集群,全程無需用戶參與。同時支持用戶快速創(chuàng)建多應用場景集群,比如快速創(chuàng)建Hadoop分析集群、HBase集群、Kafka集群。MRS支持部署異構集群,在集群中存在不同規(guī)格的虛擬機,允許在CPU類型,硬盤容量,硬盤類型,內(nèi)存大小靈活組合。

    MRS提供了基于彈性公網(wǎng)IP來便捷訪問組件WebUI的安全通道,并且比用戶自己綁定彈性公網(wǎng)IP更便捷,只需界面鼠標操作,即可簡化原先用戶需要自己登錄虛擬私有云添加安全組規(guī)則,獲取公網(wǎng)IP等步驟,減少了用戶操作步驟。

    MRS提供了自定義引導操作,用戶可以以此為入口靈活配置自己的集群,通過引導操作用戶可以自動化地完成安裝MRS還沒支持的第三方軟件,修改集群運行環(huán)境等自定義操作。

    MRS支持WrapperFS特性,提供OBS的翻譯能力,兼容HDFS到OBS的平滑遷移,解決客戶將HDFS中的數(shù)據(jù)遷移到OBS后,即可實現(xiàn)客戶端無需修改自己的業(yè)務代碼邏輯的情況下,訪問存儲到OBS的數(shù)據(jù)。


  • MRS支持自動彈性伸縮,相對自建Hadoop集群的使用成本更低。

    MRS可以按業(yè)務峰谷,自動彈性伸縮,在業(yè)務繁忙時申請額外資源,業(yè)務不繁忙時釋放閑置資源,讓用戶按需使用,幫助用戶節(jié)省大數(shù)據(jù)平臺閑時資源,盡可能的幫助用戶降低使用成本,聚焦核心業(yè)務。

    在大數(shù)據(jù)應用,尤其是周期性的數(shù)據(jù)分析處理場景中,需要根據(jù)業(yè)務數(shù)據(jù)的周期變化,動態(tài)調(diào)整集群計算資源以滿足業(yè)務需要。MRS的彈性伸縮規(guī)則功能支持根據(jù)集群負載對集群進行彈性伸縮。此外,如果數(shù)據(jù)量為周期有規(guī)律的變化,并且希望在數(shù)據(jù)量變化前提前完成集群的擴縮容,可以使用MRS的資源計劃特性。MRS服務支持規(guī)則和時間計劃兩種彈性伸縮的策略:

    1. 彈性伸縮規(guī)則:根據(jù)集群實時負載對Task節(jié)點數(shù)量進行調(diào)整,數(shù)據(jù)量變化后觸發(fā)擴縮容,有一定的延后性。
    2. 資源計劃:若數(shù)據(jù)量變化存在周期性規(guī)律,則可通過資源計劃在數(shù)據(jù)量變化前提前完成集群的擴縮容,避免出現(xiàn)增加或減少資源的延后。

    彈性伸縮規(guī)則與資源計劃均可觸發(fā)彈性伸縮,兩者即可同時配置也可單獨配置。資源計劃與基于負載的彈性伸縮規(guī)則疊加使用可以使得集群節(jié)點的彈性更好,足以應對偶爾超出預期的數(shù)據(jù)峰值出現(xiàn)。

  • MRS支持存算分離,大幅提升大數(shù)據(jù)集群資源利用率。

    針對傳統(tǒng)存算一體大數(shù)據(jù)架構中擴容困難、資源利用率低等問題,MRS采用計算存儲分離架構,存儲基于公有云對象存儲實現(xiàn)11個9的高可靠,無限容量,支撐企業(yè)數(shù)據(jù)量持續(xù)增長;計算資源支持0~N彈性擴縮,百節(jié)點快速發(fā)放。存算分離后,計算節(jié)點可實現(xiàn)真正的極致彈性伸縮;數(shù)據(jù)存儲部分基于OBS的跨AZ等能力實現(xiàn)更高可靠性,無需擔心地震、挖斷光纖等突發(fā)事件。存儲和計算資源可以靈活配置,根據(jù)業(yè)務需要各自獨立進行彈性擴展,可使資源匹配更精準、更合理,讓大數(shù)據(jù)集群資源利用率大幅提升,綜合分析成本降低50%。

    同時通過高性能的計算存儲分離架構,打破存算一體架構并行計算的限制,最大化發(fā)揮對象存儲的高帶寬、高并發(fā)的特點,對數(shù)據(jù)訪問效率和并行計算深度優(yōu)化(元數(shù)據(jù)操作、寫入算法優(yōu)化等),實現(xiàn)性能提升。

  • MRS支持自研CarbonData和自研超級調(diào)度器Superior Scheduler,性能更優(yōu)。

    MRS支持自研的CarbonData存儲技術。CarbonData是一種高性能大數(shù)據(jù)存儲方案,以一份數(shù)據(jù)同時支持多種應用場景,并通過多級索引、字典編碼、預聚合、動態(tài)Partition、準實時數(shù)據(jù)查詢等特性提升了IO掃描和計算性能,實現(xiàn)萬億數(shù)據(jù)分析秒級響應。

    MRS支持自研超級調(diào)度器Superior Scheduler,突破單集群規(guī)模瓶頸,單集群調(diào)度能力超10000節(jié)點。Superior Scheduler是一個專門為Hadoop YARN分布式資源管理系統(tǒng)設計的調(diào)度引擎,是針對企業(yè)客戶融合資源池,多租戶的業(yè)務訴求而設計的高性能企業(yè)級調(diào)度器。Superior Scheduler可實現(xiàn)開源調(diào)度器、Fair Scheduler以及Capacity Scheduler的所有功能。另外,相較于開源調(diào)度器,Superior Scheduler在企業(yè)級多租戶調(diào)度策略、租戶內(nèi)多用戶資源隔離和共享、調(diào)度性能、系統(tǒng)資源利用率和支持大集群擴展性方面都做了針對性的增強,讓Superior Scheduler直接替代開源調(diào)度器。


  • MRS基于鯤鵬處理器進行軟硬件垂直優(yōu)化,充分釋放硬件算力,實現(xiàn)高性價比。

    MRS支持華為自研鯤鵬服務器,充分利用鯤鵬多核高并發(fā)能力,提供芯片級的全棧自主優(yōu)化能力,使用華為自研的操作系統(tǒng)EulerOS、華為JDK及數(shù)據(jù)加速層,充分釋放硬件算力,為大數(shù)據(jù)計算提供高算力輸出。在性能相當情況下,端到端的大數(shù)據(jù)解決方案成本下降30%。

  • MRS支持多種隔離模式及企業(yè)級的大數(shù)據(jù)多租戶權限管理能力,安全性更高。

    MRS服務支持資源專屬區(qū)內(nèi)部署,專屬區(qū)內(nèi)物理資源隔離,用戶可以在專屬區(qū)內(nèi)靈活地組合計算存儲資源,包括專屬計算資源+共享存儲資源、共享計算資源+專屬存儲資源、專屬計算資源+專屬存儲資源。MRS集群內(nèi)支持邏輯多租戶,通過權限隔離,對集群的計算、存儲、表格等資源按租戶劃分。

    MRS支持Kerberos安全認證,實現(xiàn)了基于角色的安全控制及完善的審計功能。

    MRS支持對接華為云云審計服務(CTS),為用戶提供MRS資源操作請求及請求結果的操作記錄,供用戶查詢、審計和回溯使用。支持所有集群操作審計,所有用戶行為可溯源。

    MRS支持與主機安全服務對接,針對主機安全服務,做過兼容性測試,保證功能和性能不受影響的情況下,增強服務的安全能力。

    MRS支持基于WebUI的統(tǒng)一的用戶登錄能力,Manager自帶用戶認證環(huán)節(jié),用戶只有通過Manager認證才能正常訪問集群。

    MRS支持數(shù)據(jù)存儲加密,所有用戶賬號密碼加密存儲,數(shù)據(jù)通道加密傳輸,服務模塊跨信任區(qū)的數(shù)據(jù)訪問支持雙向證書認證等能力。

    MRS大數(shù)據(jù)集群提供了完整的企業(yè)級大數(shù)據(jù)多租戶解決方案。多租戶是MRS大數(shù)據(jù)集群中的多個資源集合(每個資源集合是一個租戶),具有分配和調(diào)度資源(資源包括計算資源和存儲資源)的能力。多租戶將大數(shù)據(jù)集群的資源隔離成一個個資源集合,彼此互不干擾,用戶通過“租用”需要的資源集合,來運行應用和作業(yè),并存放數(shù)據(jù)。在大數(shù)據(jù)集群上可以存在多個資源集合來支持多個用戶的不同需求。

    MRS支持細粒度權限管理,結合華為云IAM服務提供的一種細粒度授權的能力,可以精確到具體服務的操作、資源以及請求條件等?;诓呗缘氖跈嗍且环N更加靈活的授權方式,能夠滿足企業(yè)對權限最小化的安全管控要求。例如:針對MRS服務,管理員能夠控制IAM用戶僅能對集群進行指定的管理操作。如不允許某用戶組刪除集群,僅允許操作MRS集群基本操作,如創(chuàng)建集群、查詢集群列表等。同時MRS支持多租戶對OBS存儲的細粒度權限管理,根據(jù)多種用戶角色來區(qū)分訪問OBS桶及其內(nèi)部的對象的權限,實現(xiàn)MRS用戶對OBS桶下的目錄權限控制。

    MRS支持企業(yè)項目管理。企業(yè)項目是一種云資源管理方式,企業(yè)管理(Enterprise Management)提供面向企業(yè)客戶的云上資源管理、人員管理、權限管理、財務管理等綜合管理服務。區(qū)別于管理控制臺獨立操控、配置云產(chǎn)品的方式,企業(yè)管理控制臺以面向企業(yè)資源管理為出發(fā)點,幫助企業(yè)以公司、部門、項目等分級管理方式實現(xiàn)企業(yè)云上的人員、資源、權限、財務的管理。MRS支持已開通企業(yè)項目服務的用戶在創(chuàng)建集群時為集群配置對應的項目,然后使用企業(yè)項目管理對MRS上的的資源進行分組管理。此特性適用于客戶針對多個資源進行分組管理,并對相應的企業(yè)項目進行諸如權限控制、分項目費用查看等操作的場景。

  • MRS管理節(jié)點均實現(xiàn)HA,支持完備的可靠性機制,讓系統(tǒng)更加可靠。

    MRS在基于Apache Hadoop開源軟件的基礎上,在主要業(yè)務部件的可靠性方面進行了優(yōu)化和提升。

    1、管理節(jié)點均實現(xiàn)HA

    Hadoop開源版本的數(shù)據(jù)、計算節(jié)點已經(jīng)是按照分布式系統(tǒng)進行設計的,單節(jié)點故障不影響系統(tǒng)整體運行;而以集中模式運作的管理節(jié)點可能出現(xiàn)的單點故障,就成為整個系統(tǒng)可靠性的短板。

    2、MRS對所有業(yè)務組件的管理節(jié)點都提供了類似的雙機的機制,包括Manager、Presto、HDFS NameNode、Hive Server、HBase HMaster、YARN Resources Manager、Kerberos Server、Ldap Server等,全部采用主備或負荷分擔配置,有效避免了單點故障場景對系統(tǒng)可靠性的影響。

    (1)完備的可靠性機制

    (2)通過可靠性分析方法,梳理軟件、硬件異常場景下的處理措施,提升系統(tǒng)的可靠性。

    (3)保障意外掉電時的數(shù)據(jù)可靠性,不論是單節(jié)點意外掉電,還是整個集群意外斷電,恢復供電后系統(tǒng)能夠正?;謴蜆I(yè)務,除非硬盤介質損壞,否則關鍵數(shù)據(jù)不會丟失。

    (4)硬盤亞健康檢測和故障處理,對業(yè)務不造成實際影響。

    (5)自動處理文件系統(tǒng)的故障,自動恢復受影響的業(yè)務。

    (6)自動處理進程和節(jié)點的故障,自動恢復受影響的業(yè)務。

    (7)自動處理網(wǎng)絡故障,自動恢復受影響的業(yè)務。

  • MRS提供統(tǒng)一的可視化大數(shù)據(jù)集群管理界面,讓運維人員更加輕松。

    MRS提供統(tǒng)一的可視化大數(shù)據(jù)集群管理界面,包括服務啟停、配置修改、健康檢查等能力,并提供可視化、便捷的集群管理監(jiān)控告警功能;支持一鍵式系統(tǒng)運行健康度巡檢和審計,保障系統(tǒng)的正常運行,降低系統(tǒng)運維成本。

    MRS聯(lián)合消息通知服務(SMN),在配置消息通知后,可以實時給用戶發(fā)送MRS集群健康狀態(tài),用戶可以通過手機短信或郵箱實時接收到MRS集群變更及組件告警信息,幫助用戶輕松運維,實時監(jiān)控,實時發(fā)送告警。

    MRS支持滾動補丁升級,可視化補丁發(fā)布信息,一鍵式補丁安裝,無需人工干預,不停業(yè)務,保障用戶集群長期穩(wěn)定。

    MRS服務支持運維授權的功能,用戶在使用MRS集群過程中,發(fā)生問題可以在MRS頁面發(fā)起運維授權,由運維人員幫助客戶快速定位問題,用戶可以隨時收回該授權。同時用戶也可以在MRS頁面發(fā)起日志共享,選擇日志范圍共享給運維人員,以便運維人員在不接觸集群的情況下幫助定位問題。

    MRS支持將創(chuàng)建集群失敗的日志轉儲到OBS,便于運維人員獲取日志進行分析。


  • MRS具有開放的生態(tài),支持無縫對接周邊服務,快速構建統(tǒng)一大數(shù)據(jù)平臺。

    以全棧大數(shù)據(jù)MRS服務為基礎,企業(yè)可以一鍵式構筑數(shù)據(jù)接入、數(shù)據(jù)存儲、數(shù)據(jù)分析和價值挖掘的統(tǒng)一大數(shù)據(jù)平臺,并且與數(shù)據(jù)治理中心DataArts Studio及數(shù)據(jù)可視化等服務對接,為客戶輕松解決數(shù)據(jù)通道上云、大數(shù)據(jù)作業(yè)開發(fā)調(diào)度和數(shù)據(jù)展現(xiàn)的困難,使客戶從復雜的大數(shù)據(jù)平臺構建和專業(yè)大數(shù)據(jù)調(diào)優(yōu)和維護中解脫出來,更加專注行業(yè)應用,使客戶完成一份數(shù)據(jù)多業(yè)務場景使用的訴求。DataArts Studio是數(shù)據(jù)全生命周期一站式開發(fā)運營平臺,提供數(shù)據(jù)集成、數(shù)據(jù)開發(fā)、數(shù)據(jù)治理、數(shù)據(jù)服務、數(shù)據(jù)可視化等功能。MRS數(shù)據(jù)支持連接DataArts Studio平臺,并基于可視化的圖形開發(fā)界面、豐富的數(shù)據(jù)開發(fā)類型(腳本開發(fā)和作業(yè)開發(fā))、全托管的作業(yè)調(diào)度和運維監(jiān)控能力,內(nèi)置行業(yè)數(shù)據(jù)處理pipeline,一鍵式開發(fā),全流程可視化,支持多人在線協(xié)同開發(fā),極大地降低了用戶使用大數(shù)據(jù)的門檻,幫助用戶快速構建大數(shù)據(jù)處理中心,對數(shù)據(jù)進行治理及開發(fā)調(diào)度,快速實現(xiàn)數(shù)據(jù)變現(xiàn)。

    MRS服務100%兼容開源大數(shù)據(jù)生態(tài),結合周邊豐富的數(shù)據(jù)及應用遷移工具,能夠幫助客戶快速完成自建平臺的平滑遷移,整個遷移過程可做到“代碼0修改,業(yè)務0中斷”。