五月婷婷丁香性爱|j久久一级免费片|久久美女福利视频|中文观看在线观看|加勒比四区三区二|亚洲裸女视频网站|超碰97AV在线69网站免费观看|有码在线免费视频|久久青青日本视频|亚洲国产AAAA

[快速入門]MapReduce服務(wù)
MapReduce服務(wù)入門

MapReduce服務(wù) MRS 入門 MapReduce服務(wù) MRS 入門 提供Hadoop、HBase、Hudi、Spark、Flink等開源大數(shù)據(jù)組件，支持湖倉一體、靈活的彈性控制能力。 提供Hadoop、HBase、Hudi、Spark、Flink等開源大數(shù)據(jù)組件，支持湖倉一體、靈活的彈性控制能力。
MapReduce服務(wù)定價

MapReduce服務(wù) 定價與計費 價格計算器 1對1咨詢 計費項 購買MRS集群的費用包含兩個部分： 1、MRS服務(wù)管理費用 2、IaaS基礎(chǔ)設(shè)施資源費用（彈性云服務(wù)器，云硬盤，彈性IP/帶寬等） MRS服務(wù)管理費用詳情，請參見產(chǎn)品價格詳情。您可以通過MRS提供的價格計算器，選
MapReduce服務(wù)學習與資源

MapReduce服務(wù) MRS 資源 MapReduce服務(wù) MRS 資源 提供Hadoop、HBase、Hudi、Spark、Flink等開源大數(shù)據(jù)組件，支持湖倉一體、靈活的彈性控制能力。 提供Hadoop、HBase、Hudi、Spark、Flink等開源大數(shù)據(jù)組件，支持湖倉一體、靈活的彈性控制能力。
對象存儲服務(wù) OBS功能-BigData Pro

存算分離資源利用率更高 存算分離資源利用率更高 OBS具備海量數(shù)據(jù)存儲能力，結(jié)合華為云MapReduce服務(wù)，為美圖提供BigData Pro大數(shù)據(jù)解決方案 OBS具備海量數(shù)據(jù)存儲能力，結(jié)合華為云MapReduce服務(wù)，為美圖提供BigData Pro大數(shù)據(jù)解決方案 典型業(yè)務(wù)場景-大數(shù)據(jù)離線分析
湖倉構(gòu)建

支持庫、表、列級的細粒度元數(shù)據(jù)訪問控制；在授予元數(shù)據(jù)權(quán)限的同時，自動完成對應(yīng)文件目錄的授權(quán)，讓客戶的授權(quán)操作更加便捷高效 搭配使用 MapReduce服務(wù) 對象存儲服務(wù) OBS 云原生存算分離演進 云原生存算分離演進 傳統(tǒng)存算分離雖然數(shù)據(jù)集中存儲，但元數(shù)據(jù)仍相互割裂，導致權(quán)限與元數(shù)據(jù)
內(nèi)容分發(fā)網(wǎng)絡(luò) CDN-概覽

ng、bmp、wma、rar、jpeg、jpg等，動態(tài)內(nèi)容也可設(shè)置不緩存 搭配使用 對象存儲服務(wù) OBS 彈性云服務(wù)器 ECS MapReduce服務(wù) 大文件下載加速 場景介紹 適用于大文件下載加速，如App商店、游戲客戶端等 我們的優(yōu)勢 支持客戶端斷點續(xù)傳，有效節(jié)省下行流量帶寬
智能數(shù)據(jù)洞察 DataArts Insight

Auto Graph引擎自動生成可視化圖表，風格統(tǒng)一，美觀 搭配使用 云數(shù)據(jù)庫 GaussDB 云數(shù)據(jù)倉庫 GaussDB(DWS) MapReduce服務(wù) MRS 個性化分析場景 個性化分析場景 企業(yè)業(yè)務(wù)需求的多樣化催生出對特定BI功能的需求，除了基礎(chǔ)的數(shù)據(jù)查詢和可視化分析，DataArts
數(shù)據(jù)接入服務(wù) DIS

提供不同平臺Agent，簡單配置，即可實現(xiàn)數(shù)據(jù)采集 安全可靠 傳輸過程使用https加密，保障數(shù)據(jù)安全傳輸 建議搭配使用 對象存儲服務(wù) OBS MapReduce服務(wù) 數(shù)據(jù)湖探索 DLI 數(shù)據(jù)接入備份 將大量滾動日志文件傳輸?shù)皆贫俗鰝浞?，用于?shù)據(jù)丟失或異常后的恢復和故障分析。同時大量小文本文件可合并轉(zhuǎn)儲為大文件，提高數(shù)據(jù)處理性能
日志分析服務(wù)

針對時序數(shù)據(jù)，通過提前將細粒度數(shù)據(jù)聚合成粗粒度數(shù)據(jù)，提升drill up與drill down的性能。 建議搭配使用 云搜索服務(wù) CSS MapReduce服務(wù) 對象存儲服務(wù) OBS 云數(shù)據(jù)遷移 CDM 產(chǎn)品優(yōu)勢 易用性強 無須編程，5分鐘完成日志采集、清洗、檢索、報表分析、Dashboa
[相似文章]MapReduce服務(wù)
MapReduce服務(wù)_什么是MapReduce服務(wù)_什么是HBase

使用Hive客戶端創(chuàng)建外部表 MapReduce服務(wù) MRS 03:44 MapReduce服務(wù) MRS 安裝及使用MRS客戶端 MapReduce服務(wù) MRS 03:22 MapReduce服務(wù) MRS 使用HBase客戶端創(chuàng)建表 MapReduce服務(wù) MRS 04:20 MapReduce服務(wù) MRS
MapReduce服務(wù)_如何使用MapReduce服務(wù)_MRS集群客戶端安裝與使用

使用Hive客戶端創(chuàng)建外部表 MapReduce服務(wù) MRS 03:44 MapReduce服務(wù) MRS 安裝及使用MRS客戶端 MapReduce服務(wù) MRS 03:22 MapReduce服務(wù) MRS 使用HBase客戶端創(chuàng)建表 MapReduce服務(wù) MRS 04:20 MapReduce服務(wù) MRS
MapReduce服務(wù)_什么是Hue_如何使用Hue

什么是云計算_云計算介紹_云計算技術(shù) MapReduce服務(wù)_什么是Flink_如何使用Flink 大數(shù)據(jù)分析是什么_使用MapReduce_創(chuàng)建MRS服務(wù) MapReduce服務(wù)_如何使用MapReduce服務(wù)_MRS集群客戶端安裝與使用 MapReduce服務(wù)_什么是Flume_如何使用Flume
MapReduce服務(wù)_什么是Kafka_如何使用Kafka

MapReduce服務(wù)_什么是MapReduce服務(wù)_什么是HBase MapReduce服務(wù)_什么是HetuEngine_如何使用HetuEngine MapReduce服務(wù)_什么是HDFS_HDFS特性 MapReduce服務(wù)_什么是Flink_如何使用Flink MapReduce服務(wù)_什么是Hive_如何使用Hive
MapReduce服務(wù)_什么是HetuEngine_如何使用HetuEngine

MRS HetuEngine服務(wù)介紹 MRS HetuEngine服務(wù)介紹 華為云MapReduce服務(wù)（MRS）提供可控的企業(yè)級大數(shù)據(jù)集群云服務(wù)，可輕松運行Hadoop、Spark、HBase、HetuEngine等大數(shù)據(jù)組件，具有企業(yè)級、易運維、高安全和低成本等產(chǎn)品優(yōu)勢。 華
MapReduce服務(wù)_什么是ZooKeeper_如何使用ZooKeeper

e MapReduce服務(wù)_什么是Loader_如何使用Loader MapReduce服務(wù)_什么是Flume_如何使用Flume MapReduce服務(wù)_什么是Flink_如何使用Flink 大數(shù)據(jù)分析是什么_使用MapReduce_創(chuàng)建MRS服務(wù) MapReduce服務(wù)_如何
MapReduce服務(wù)_什么是HDFS_HDFS特性

MapReduce工作原理_MapReduce是什么意思_MapReduce流程 MapReduce服務(wù)_如何使用MapReduce服務(wù)_MRS集群客戶端安裝與使用 MapReduce服務(wù)_什么是MapReduce服務(wù)_什么是HBase 免費云服務(wù)器_個人免費云服務(wù)器_免費彈性云服務(wù)器推薦_免費ECS
MapReduce服務(wù)_什么是ClickHouse_如何使用ClickHouse

MapReduce服務(wù)_什么是MapReduce服務(wù)_什么是HBase MapReduce服務(wù)_什么是HetuEngine_如何使用HetuEngine MapReduce服務(wù)_什么是HDFS_HDFS特性 MapReduce服務(wù)_什么是Flink_如何使用Flink MapReduce服務(wù)_什么是Flume_如何使用Flume
MapReduce服務(wù)_什么是Hive_如何使用Hive

ce流程 MapReduce服務(wù)_如何使用MapReduce服務(wù)_MRS集群客戶端安裝與使用 MapReduce服務(wù)_什么是MapReduce服務(wù)_什么是HBase MapReduce服務(wù)_什么是HetuEngine_如何使用HetuEngine MapReduce服務(wù)_什么是HDFS_HDFS特性

MapReduce服務(wù)

MapReduce開源增強特性：JobHistoryServer HA特性

JobHistoryServer（JHS）是用于查看MapReduce歷史任務(wù)信息的服務(wù)器，當前開源JHS只支持單實例服務(wù)。JobHistoryServer HA能夠解決JHS單點故障時，應(yīng)用訪問MapReduce接口無效，導致整體應(yīng)用執(zhí)行失敗的場景，從而大大提升MapReduce服務(wù)的高可用性。

圖1 JobHistoryServer HA主備倒換的狀態(tài)轉(zhuǎn)移過程

JobHistoryServer高可用性

  • 采用ZooKeeper實現(xiàn)主備選舉和倒換。
  • JobHistoryServer使用浮動IP對外提供服務(wù)。
  • 兼容JHS單實例，也支持HA雙實例。
  • 同一時刻，只有一個節(jié)點啟動JHS進程，防止多個JHS操作同一文件沖突。
  • 支持擴容減容、實例遷移、升級、健康檢查等。

MapReduce開源增強特性：特定場景優(yōu)化MapReduce的Merge/Sort流程提升MapReduce性能

下圖展示了MapReduce任務(wù)的工作流程。

圖2 MapReduce 作業(yè)
圖3 MapReduce作業(yè)執(zhí)行流程

Reduce過程分為三個不同步驟：Copy、Sort（實際應(yīng)當稱為Merge）及Reduce。在Copy過程中，Reducer嘗試從NodeManagers獲取Maps的輸出并存儲在內(nèi)存或硬盤中。緊接著進行Shuffle過程（包含Sort及Reduce），這個過程將獲取到的Maps輸出進行存儲并有序地合并然后提供給Reducer。當Job有大量的Maps輸出需要處理的時候，Shuffle過程將變得非常耗時。對于一些特定的任務(wù)（例如hash join或hash aggregation類型的SQL任務(wù)），Shuffle過程中的排序并非必須的。但是Shuffle卻默認必須進行排序，所以需要對此處進行改進。

此特性通過對MapReduce API進行增強，能自動針對此類型任務(wù)關(guān)閉Sort過程。當Sort被關(guān)閉，獲取Maps輸出數(shù)據(jù)以后，直接合并后輸出給Reduce，避免了由于排序而浪費大量時間。這種方式極大程度地提升了大部分SQL任務(wù)的效率。

MapReduce開源增強特性：History Server優(yōu)化解決日志小文件問題

運行在Yarn上的作業(yè)在執(zhí)行完成后，NodeManager會通過LogAggregationService把產(chǎn)生的日志收集到HDFS上，并從本地文件系統(tǒng)中刪除。日志收集到HDFS上以后由HistoryServer來進行統(tǒng)一的日志管理。LogAggregationService在收集日志時會把container產(chǎn)生的本地日志合并成一個日志文件上傳到HDFS，在一定程度上可以減少日志文件的數(shù)量。但在規(guī)模較大且任務(wù)繁忙的集群上，經(jīng)過長時間的運行，HDFS依然會面臨存儲的日志文件過多的問題。

以一個20節(jié)點的計算場景為例，默認清理周期（15日）內(nèi)將產(chǎn)生約1800萬日志文件，占用NameNode近18G內(nèi)存空間，同時拖慢HDFS的系統(tǒng)響應(yīng)速度。

由于收集到HDFS上的日志文件只有讀取和刪除的需求，因此可以利用Hadoop Archives功能對收集的日志文件目錄進行定期歸檔。

日志歸檔

在HistoryServer中新增AggregatedLogArchiveService模塊，定期檢查日志目錄中的文件數(shù)。在文件數(shù)達到設(shè)定閾值時，啟動歸檔任務(wù)進行日志歸檔，并在歸檔完成后刪除原日志文件，以減少HDFS上的文件數(shù)量。

歸檔日志清理

由于Hadoop Archives不支持在歸檔文件中進行刪除操作，因此日志清理時需要刪除整個歸檔文件包。通過修改AggregatedLogDeletionService模塊，獲取歸檔日志中最新的日志生成時間，若所有日志文件均滿足清理條件，則清理該歸檔日志包。

歸檔日志瀏覽

Hadoop Archives支持URI直接訪問歸檔包中的文件內(nèi)容，因此瀏覽過程中，當History Server發(fā)現(xiàn)原日志文件不存在時，直接將URI重定向到歸檔文件包中即可訪問到已歸檔的日志文件。

  • 本功能通過調(diào)用HDFS的Hadoop Archives功能進行日志歸檔。由于Hadoop Archives歸檔任務(wù)實際上是執(zhí)行一個MR應(yīng)用程序，所以在每次執(zhí)行日志歸檔任務(wù)后，會新增一條MR執(zhí)行記錄。
  • 本功能歸檔的日志來源于日志收集功能，因此只有在日志收集功能開啟狀態(tài)下本功能才會生效。

MapReduce服務(wù)常見問題

更多常見問題 >>
  • MapReduce服務(wù)

    MapReduce服務(wù)（MRS）打造了高可靠、高安全、易使用的運行維護平臺，對外提供大容量的數(shù)據(jù)存儲和分析能力，可解決各大企業(yè)的數(shù)據(jù)存儲和處理需求

  • GaussDB常見問題

    GaussDB是華為自主創(chuàng)新研發(fā)的分布式關(guān)系型數(shù)據(jù)庫。具備企業(yè)級復雜事務(wù)混合負載能力，同時支持分布式事務(wù)，同城跨AZ部署，數(shù)據(jù)0丟失，支持1000+節(jié)點的擴展能力，PB級海量存儲。

  • SFS的常見問題

    SFS的常見問題解答。

  • 包年包月鏡像常見問題

    包年包月鏡像是基于按需鏡像包裝出的預付費套餐，一個包年包月鏡像同一時間只能用于一臺云服務(wù)器。包年包月鏡像支持續(xù)費，在到期前用戶可以選擇續(xù)費繼續(xù)使用。如果到期不對鏡像續(xù)費，而云服務(wù)器繼續(xù)使用，請在到期前及時更換系統(tǒng)，否則鏡像將以按需的方式開始計費。

  • CDN刷新預熱常見問題

    預熱的任務(wù)一直在處理中的可能原因有如下幾種：可能當前CDN處于預熱高峰期，您的預熱任務(wù)正在排隊中。緩存預熱的時候CDN要回源請求資源，會占用源站帶寬。當您要執(zhí)行大批量文件預熱時，可能會導致您的源站帶寬資源被占滿，建議：預熱時請盡量分批次執(zhí)行。您可以在訪問量低的時間（如夜間）進行預熱。升級您的源站帶寬。

  • 按需付費鏡像常見問題

    本文為您解答華為云云市場按需付費鏡像常見問題。

更多相關(guān)專題