華為云計算 云知識 為什么說大數(shù)據(jù)MapReduce并行計算模型,天然匹配鯤鵬多核架構
為什么說大數(shù)據(jù)MapReduce并行計算模型,天然匹配鯤鵬多核架構

鯤鵬多核計算的特點,能夠提升MapReduce的IO并發(fā)度,加速大數(shù)據(jù)的計算性能。

大數(shù)據(jù)的MapReduce并行計算模型,將源數(shù)據(jù)經(jīng)過下圖的處理。

其中,Map(映射)是將大 數(shù)據(jù)集 分解若干小數(shù)據(jù)集分析,各部獨立的線程,并行分析計算。而Reduce(匯總)是將小數(shù)據(jù)集分析結果進行整合,再將處理的結果返回給用戶。

大數(shù)據(jù)MapReduce并行計算模型