檢測到您已登錄華為云國際站賬號，為了您更好的體驗，建議您訪問國際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
檢測到您已登錄華為云國際站賬號，為了您更好的體驗，建議您訪問國際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
產(chǎn)品功能： DeepData大數(shù)據(jù)平臺底座環(huán)境，基于Hadoop生態(tài)圈的大數(shù)據(jù)計算引擎。對集群進(jìn)行管理，例如對消息中間件Kafka進(jìn)行添加、刪除Topic等操作。監(jiān)控數(shù)倉等存儲容器的健康情況，對設(shè)置的各種任務(wù)指標(biāo)和系統(tǒng)的具體運行情況進(jìn)行全面的監(jiān)控。
產(chǎn)品功能： DeepData大數(shù)據(jù)平臺底座環(huán)境，基于Hadoop生態(tài)圈的大數(shù)據(jù)計算引擎。對集群進(jìn)行管理，例如對消息中間件Kafka進(jìn)行添加、刪除Topic等操作。監(jiān)控數(shù)倉等存儲容器的健康情況，對設(shè)置的各種任務(wù)指標(biāo)和系統(tǒng)的具體運行情況進(jìn)行全面的監(jiān)控。
遇見你，遇見未來 華為云 | +智能，見未來 項目實習(xí)生 華為云大數(shù)據(jù)平臺 華為云大數(shù)據(jù)平臺 領(lǐng)域方向：數(shù)據(jù)智能 工作地點： 深圳、杭州、南京、西安 華為云大數(shù)據(jù)平臺 數(shù)據(jù)智能 深圳、杭州、南京、西安 項目簡介 隨著數(shù)字劃時代的到來，社會生產(chǎn)生活產(chǎn)生大量的數(shù)據(jù)，數(shù)據(jù)量越來越大，種類越來越多
支持的大數(shù)據(jù)平臺簡介 華為云大數(shù)據(jù)存算分離方案中，OBS支持與多種大數(shù)據(jù)平臺對接，包括華為云MapReduce服務(wù)（MRS）、Cloudera CDH和Hortonworks HDP，滿足用戶業(yè)務(wù)的靈活訴求。
對接大數(shù)據(jù)平臺 支持的大數(shù)據(jù)平臺簡介 華為云MRS對接OBS Cloudera CDH對接OBS Hortonworks HDP對接OBS 父主題： 大數(shù)據(jù)場景下使用OBS實現(xiàn)存算分離
——T3 出行大數(shù)據(jù)平臺負(fù)責(zé)人 楊華 了解詳情 點觸科技 “應(yīng)用華為云的大數(shù)據(jù)解決方案，釋放了大數(shù)據(jù)平臺底層運維管理的壓力，使點觸大數(shù)據(jù)團(tuán)隊更聚焦于業(yè)務(wù)，快速響應(yīng)數(shù)據(jù)分析訴求，深入挖掘數(shù)據(jù)價值。”
了解詳情 主講人：William 老師 華為云MRS大數(shù)據(jù)研發(fā)工程師、解決方案架構(gòu)師 - 工作經(jīng)歷 華為數(shù)據(jù)平臺研發(fā)，面向互聯(lián)網(wǎng)、大企業(yè)客戶，提供可行高效極致性價的互聯(lián)網(wǎng)方案，深入理解客戶大數(shù)據(jù)組件使用場景并提供相應(yīng)的解決方案。
新聞報道 了解華為云最新動態(tài) 了解華為云 新聞報道 Data+AI協(xié)同創(chuàng)新，華為云穩(wěn)居中國大數(shù)據(jù)平臺市場榜首 新聞報道 Data+AI協(xié)同創(chuàng)新，華為云穩(wěn)居中國大數(shù)據(jù)平臺市場榜首 2025-09-10 近日，全球領(lǐng)先的IT市場研究和咨詢公司IDC發(fā)布《中國大數(shù)據(jù)平臺市場份額，2024
圖1 大數(shù)據(jù)參考架構(gòu) 大數(shù)據(jù)架構(gòu)通常包括以下幾個核心組件和流程，企業(yè)可以根據(jù)實際需要選擇云服務(wù)或自建大數(shù)據(jù)組件： 業(yè)務(wù)數(shù)據(jù)源： 業(yè)務(wù)數(shù)據(jù)源是大數(shù)據(jù)平臺的數(shù)據(jù)輸入來源，可以是傳感器、網(wǎng)站日志、移動應(yīng)用、社交媒體等各種數(shù)據(jù)源。
新建數(shù)據(jù)標(biāo)準(zhǔn) 數(shù)據(jù)標(biāo)準(zhǔn)是用于描述公司層面需共同遵守的數(shù)據(jù)含義和業(yè)務(wù)規(guī)則，它描述了公司層面對某個數(shù)據(jù)的共同理解，這些理解一旦確定下來，就應(yīng)作為企業(yè)層面的標(biāo)準(zhǔn)在企業(yè)內(nèi)被共同遵守。 數(shù)據(jù)標(biāo)準(zhǔn)，也稱數(shù)據(jù)元，由一組屬性規(guī)定其定義、標(biāo)識、表示和允許值的數(shù)據(jù)單元，是不可再分的最小數(shù)據(jù)單元。
沙箱實驗 大數(shù)據(jù) 活動已結(jié)束 MapReduce服務(wù)初體驗 在華為云上創(chuàng)建、配置、訪問MapReduce服務(wù)， 基于MapReduce服務(wù)提供的HDFS實現(xiàn)單詞統(tǒng)計。
Data+AI協(xié)同創(chuàng)新，華為云穩(wěn)居中國大數(shù)據(jù)平臺市場榜首 Data+AI協(xié)同創(chuàng)新，華為云穩(wěn)居中國大數(shù)據(jù)平臺市場榜首 報告簡介 IDC發(fā)布《中國大數(shù)據(jù)平臺市場份額，2024: 全面為AI轉(zhuǎn)型》。
支持的大數(shù)據(jù)組件簡介 在華為云大數(shù)據(jù)存算分離方案中，OBS除了可以與大數(shù)據(jù)平臺對接外，還可以直接與開源的大數(shù)據(jù)組件對接。 當(dāng)前支持的大數(shù)據(jù)組件如下： Hadoop Hive Spark Flume DataX Druid Flink logstash 父主題： 對接大數(shù)據(jù)組件
存算分離資源利用率更高 存算分離資源利用率更高 OBS具備海量數(shù)據(jù)存儲能力，結(jié)合華為云MapReduce服務(wù)，為美圖提供BigData Pro大數(shù)據(jù)解決方案 OBS具備海量數(shù)據(jù)存儲能力，結(jié)合華為云MapReduce服務(wù)，為美圖提供BigData Pro大數(shù)據(jù)解決方案 典型業(yè)務(wù)場景-
修訂記錄 表1 修訂記錄 發(fā)布日期 修訂記錄 2024-04-19 規(guī)范詞、敏感詞專項處理，章節(jié)優(yōu)化 2022-10-14 第一次正式發(fā)布。
華為云MRS對接OBS 對接步驟 配置存算分離集群。 詳細(xì)操作，請參見使用委托方式配置存算分離集群。 使用存算分離集群。 詳細(xì)操作，請參見使用存算分離集群。 父主題： 對接大數(shù)據(jù)平臺
方案概述 應(yīng)用場景 農(nóng)業(yè)大數(shù)據(jù)平臺產(chǎn)品以華為云為底座，為種植基地面向生產(chǎn)過程提供了從備耕、春播、夏長、秋收、冬藏全程all-in-one的數(shù)據(jù)平臺；為縣域農(nóng)業(yè)政府部門進(jìn)一步摸清農(nóng)業(yè)資產(chǎn)底數(shù)及其承載力，形成區(qū)域農(nóng)業(yè)產(chǎn)業(yè)現(xiàn)狀全景圖。
此外，對象存儲服務(wù)OBS提供了OBSFileSystem插件（OBSA-HDFS），可與上層大數(shù)據(jù)平臺無縫對接，實現(xiàn)業(yè)務(wù)零改造。
應(yīng)用部署 添加國內(nèi)docker/epel 的yum源，并生成緩存： # vim /etc/yum.repos.d/docker.repo [docker-ce-stable] name=Docker CE Stable - mirrors.huaweicloud.com/docker-ce
資源和成本規(guī)劃 表1 資源和成本規(guī)劃內(nèi)容說明 產(chǎn)品 計費模式 購買量 單位 購買個數(shù) 規(guī)格 費用 彈性云服務(wù)器 1 包年 1 年 4 X86計算 | 通用計算增強(qiáng)型 | c6.4xlarge.4 | 16核 | 64GB; CentOS | CentOS 8.2 64bit; 通用型
core-site.xml配置完成后“重啟”Hive集群，再重啟Hive集群的“部署客戶端配置”。 父主題： 對接大數(shù)據(jù)平臺
實施步驟 云服務(wù)資源準(zhǔn)備 應(yīng)用部署
