檢測到您已登錄華為云國際站賬號，為了您更好的體驗(yàn)，建議您訪問國際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
檢測到您已登錄華為云國際站賬號，為了您更好的體驗(yàn)，建議您訪問國際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
支持的大數(shù)據(jù)平臺簡介 華為云大數(shù)據(jù)存算分離方案中，OBS支持與多種大數(shù)據(jù)平臺對接，包括華為云MapReduce服務(wù)（MRS）、Cloudera CDH和Hortonworks HDP，滿足用戶業(yè)務(wù)的靈活訴求。
支持的大數(shù)據(jù)組件簡介 在華為云大數(shù)據(jù)存算分離方案中，OBS除了可以與大數(shù)據(jù)平臺對接外，還可以直接與開源的大數(shù)據(jù)組件對接。 當(dāng)前支持的大數(shù)據(jù)組件如下： Hadoop Hive Spark Flume DataX Druid Flink logstash 父主題： 對接大數(shù)據(jù)組件
華為云大數(shù)據(jù)組件 常用的華為云大數(shù)據(jù)服務(wù)組件如下，設(shè)計大數(shù)據(jù)部署架構(gòu)時可參考： MapReduce服務(wù)（MapReduce Service，簡稱MRS） MRS是一個在華為云上部署和管理Hadoop系統(tǒng)的服務(wù)，一鍵即可部署Hadoop集群，完全兼容開源接口，輕松運(yùn)行Hadoop、Spark
對接大數(shù)據(jù)平臺 支持的大數(shù)據(jù)平臺簡介 華為云MRS對接OBS Cloudera CDH對接OBS Hortonworks HDP對接OBS 父主題： 大數(shù)據(jù)場景下使用OBS實(shí)現(xiàn)存算分離
大數(shù)據(jù) 數(shù)據(jù)湖探索 DLI 數(shù)據(jù)治理中心 DataArts Studio 數(shù)據(jù)倉庫服務(wù) GaussDB(DWS) MapReduce服務(wù) MRS 云搜索服務(wù) CSS 父主題： SCP授權(quán)參考
大數(shù)據(jù)集群設(shè)計 設(shè)計云上的大數(shù)據(jù)集群部署架構(gòu)時，建議參考原則如下： 優(yōu)先用大數(shù)據(jù)云服務(wù)：如果源端是自建的大數(shù)據(jù)集群，在目標(biāo)云平臺上有對應(yīng)的云服務(wù)，且功能、性能、兼容性都滿足，經(jīng)評估改造工作量很小，建議設(shè)計大數(shù)據(jù)集群部署架構(gòu)時，優(yōu)先采用大數(shù)據(jù)云服務(wù)。
大數(shù)據(jù) 大數(shù)據(jù)是指規(guī)模龐大且復(fù)雜的數(shù)據(jù)集合，對于企業(yè)來說，如何收集、存儲和分析大數(shù)據(jù)具有重要意義。以下是大數(shù)據(jù)如何使能業(yè)務(wù)創(chuàng)新、與業(yè)務(wù)結(jié)合并推動業(yè)務(wù)現(xiàn)代化的幾個方面： 數(shù)據(jù)驅(qū)動決策：大數(shù)據(jù)分析可以幫助企業(yè)從海量數(shù)據(jù)中提取有價值的信息和洞察力，為決策提供支持。
大數(shù)據(jù)調(diào)研 平臺調(diào)研 數(shù)據(jù)調(diào)研 任務(wù)調(diào)研 父主題： 調(diào)研評估
數(shù)據(jù)查詢和分析： 對于大量的存儲在大數(shù)據(jù)平臺中的數(shù)據(jù)，需要提供靈活且高性能的查詢和分析能力。這可以通過使用SQL查詢引擎（如Hive）或分布式數(shù)據(jù)庫（如Elasticsearch）等實(shí)現(xiàn)。這些工具和系統(tǒng)支持在海量數(shù)據(jù)集上進(jìn)行查詢、聚合和可視化，以提供數(shù)據(jù)洞見和決策支持。
數(shù)據(jù)湖：云原生大數(shù)據(jù)MRS、數(shù)據(jù)湖探索DLI等。 數(shù)據(jù)治理平臺：數(shù)據(jù)治理中心DataArts Studio。 父主題： 咨詢與計費(fèi)
大數(shù)據(jù)遷移概述 遷移場景 將阿里云 MaxCompute數(shù)據(jù)遷移至華為云數(shù)據(jù)湖探索（DLI）。 數(shù)據(jù)遷移原理圖 圖1 大數(shù)據(jù)數(shù)據(jù)遷移原理圖 遷移操作流程 圖2 大數(shù)據(jù)數(shù)據(jù)遷移流程圖 父主題： 大數(shù)據(jù)數(shù)據(jù)遷移（MaxCompute遷移到DLI）
表1 傳統(tǒng)企業(yè)在大數(shù)據(jù)場景面臨的關(guān)鍵問題 序號 關(guān)鍵問題 詳細(xì)描述 1 多集群數(shù)據(jù)共享難 企業(yè)數(shù)據(jù)往往分別存儲在IDC多個集群，存在如下問題： 無全局視圖，數(shù)據(jù)只能在集群內(nèi)部使用。 拷貝是跨集群數(shù)據(jù)共享的唯一途徑，數(shù)據(jù)拷貝耗時長。 公共數(shù)據(jù)集多份存儲，數(shù)據(jù)冗余。
華為云MRS對接OBS 對接步驟 配置存算分離集群。 詳細(xì)操作，請參見使用委托方式配置存算分離集群。 使用存算分離集群。 詳細(xì)操作，請參見使用存算分離集群。 父主題： 對接大數(shù)據(jù)平臺
大數(shù)據(jù)遷移 調(diào)研 設(shè)計 部署 遷移 驗(yàn)證 切換 保障 父主題： 采用實(shí)施
大數(shù)據(jù)血緣 部署遷移工具Edge 采集元數(shù)據(jù) 血緣采集 父主題： 舊版
大數(shù)據(jù)校驗(yàn) 新增大數(shù)據(jù)校驗(yàn)數(shù)據(jù)連接時，憑證列表數(shù)據(jù)缺失 Hive校驗(yàn)結(jié)果中的源端數(shù)據(jù)和目的端數(shù)據(jù)顯示為“0”或“-1” Hive校驗(yàn)的sum統(tǒng)計結(jié)果顯示未達(dá)標(biāo) DLI校驗(yàn)任務(wù)出現(xiàn)大量失敗表 Delta 數(shù)據(jù)量較大時，如何優(yōu)化校驗(yàn)任務(wù)？
大數(shù)據(jù)校驗(yàn)流程 進(jìn)行大數(shù)據(jù)校驗(yàn)的完整的操作流程，如圖1所示。 圖1 大數(shù)據(jù)校驗(yàn)操作流程圖 步驟 操作 準(zhǔn)備工作 注冊華為賬號并開通華為云，為賬戶充值。 創(chuàng)建IAM用戶并授權(quán)、獲取訪問密鑰等相關(guān)資源。 創(chuàng)建大數(shù)據(jù)遷移項(xiàng)目。 安裝MgC Agent并連接遷移中心。
大數(shù)據(jù)校驗(yàn) 大數(shù)據(jù)校驗(yàn)概述 大數(shù)據(jù)校驗(yàn)流程 準(zhǔn)備工作 創(chuàng)建源端連接 采集元數(shù)據(jù) 創(chuàng)建表組并添加數(shù)據(jù)表 創(chuàng)建目的端連接 創(chuàng)建統(tǒng)計任務(wù)并執(zhí)行校驗(yàn) 查看并導(dǎo)出校驗(yàn)結(jié)果 自定義參數(shù)說明 父主題： 新版
大數(shù)據(jù)校驗(yàn) 大數(shù)據(jù)校驗(yàn)概述 準(zhǔn)備工作 創(chuàng)建源端連接 創(chuàng)建表組并添加數(shù)據(jù)表 創(chuàng)建目的端連接 創(chuàng)建統(tǒng)計任務(wù)并執(zhí)行校驗(yàn) 查看并導(dǎo)出校驗(yàn)結(jié)果 自定義參數(shù)說明 父主題： 舊版
大數(shù)據(jù)校驗(yàn)概述 遷移中心 MgC為多種大數(shù)據(jù)計算/存儲引擎，如Hive、Hbase、Doris和MaxCompute等，提供了一致性校驗(yàn)方法。通過一致性校驗(yàn)，您可以更加放心地進(jìn)行大數(shù)據(jù)遷移操作，確保數(shù)據(jù)的準(zhǔn)確性和可靠性，從而避免了數(shù)據(jù)丟失或不一致的風(fēng)險。
大數(shù)據(jù)校驗(yàn)概述 遷移中心 MgC為多種大數(shù)據(jù)計算/存儲引擎，如Hive、Hbase、Doris和MaxCompute等，提供了一致性校驗(yàn)方法。通過一致性校驗(yàn)，您可以更加放心地進(jìn)行大數(shù)據(jù)遷移操作，確保數(shù)據(jù)的準(zhǔn)確性和可靠性，從而避免了數(shù)據(jù)丟失或不一致的風(fēng)險。
