華為云計算 云知識 數(shù)據(jù)存儲在OBS和HDFS有什么區(qū)別
數(shù)據(jù)存儲在OBS和HDFS有什么區(qū)別

MRS集群處理的數(shù)據(jù)源來源于OBS或HDFS,HDFS是Hadoop分布式文件系統(tǒng)(Hadoop Distributed File System),OBS( Object Storage Service )即 對象存儲服務(wù) ,是一個基于對象的海量存儲服務(wù),為客戶提供海量、安全、高可靠、低成本的數(shù)據(jù)存儲能力。MRS可以直接處理OBS中的數(shù)據(jù),客戶可以基于云管理平臺Web界面和OBS客戶端對數(shù)據(jù)進行瀏覽、管理和使用,同時可以通過REST API接口方式單獨或集成到業(yè)務(wù)程序進行管理和訪問數(shù)據(jù)。

  • 數(shù)據(jù)存儲在OBS:數(shù)據(jù)存儲和計算分離,集群存儲成本低,存儲量不受限制,并且集群可以隨時刪除,但計算性能取決于OBS訪問性能,相對HDFS有所下降,建議在數(shù)據(jù)計算不頻繁場景下使用。

  • 數(shù)據(jù)存儲在HDFS:數(shù)據(jù)存儲和計算不分離,集群成本較高,計算性能高,但存儲量受磁盤空間限制,刪除集群前需將數(shù)據(jù)導(dǎo)出保存,建議在數(shù)據(jù)計算頻繁場景下使用。