Hadoop是一個(gè)分布式系統(tǒng)框架。用戶可以在不了解分布式底層細(xì)節(jié)的情況下,開發(fā)分布式程序,充分利用了集群的高速運(yùn)算和存儲(chǔ)。 Hadoop能夠?qū)Υ罅繑?shù)據(jù)以可靠的、高效的、可伸縮的方式進(jìn)行分布式處理。Hadoop是可靠的,因?yàn)樗僭O(shè)計(jì)算單元和存儲(chǔ)會(huì)失敗,因此維護(hù)多個(gè)工作數(shù)據(jù)副本,確保對(duì)失敗節(jié)點(diǎn)重新分布處理;Hadoop是高效的,因?yàn)樗圆⑿械姆绞焦ぷ鳎瑥亩涌焯幚硭俣?;Hadoop是可伸縮的,能夠處理PB級(jí)數(shù)據(jù)。 Hadoop主要由HDFS、MapReduce、Yarn等服務(wù)組成。
MapReduce服務(wù) (MapReduce Service)提供租戶完全可控的企業(yè)級(jí) 大數(shù)據(jù) 集群云服務(wù),輕松運(yùn)行Hadoop、Spark、HBase、Kafka、Storm等大數(shù)據(jù)組件。
華為云推薦:
MapReduce服務(wù) https://support.huaweicloud.com/mrs/index.html