檢測到您已登錄華為云國際站賬號，為了您更好的體驗(yàn)，建議您訪問國際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
檢測到您已登錄華為云國際站賬號，為了您更好的體驗(yàn)，建議您訪問國際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
大數(shù)據(jù) 云搜索服務(wù) CSS 數(shù)據(jù)治理中心 DataArts Studio 數(shù)據(jù)湖探索 DLI MapReduce服務(wù) MRS 數(shù)據(jù)倉庫服務(wù) GaussDB(DWS) 父主題： 身份策略授權(quán)參考
大數(shù)據(jù) 云搜索服務(wù) CSS 數(shù)據(jù)治理中心 DataArts Studio 數(shù)據(jù)湖探索 DLI MapReduce服務(wù) MRS 數(shù)據(jù)倉庫服務(wù) GaussDB(DWS) 父主題： 身份策略授權(quán)參考
大數(shù)據(jù)校驗(yàn)概述 遷移中心 MgC為多種大數(shù)據(jù)計(jì)算/存儲引擎，如Hive、Hbase、Doris和MaxCompute等，提供了一致性校驗(yàn)方法。通過一致性校驗(yàn)，您可以更加放心地進(jìn)行大數(shù)據(jù)遷移操作，確保數(shù)據(jù)的準(zhǔn)確性和可靠性，從而避免了數(shù)據(jù)丟失或不一致的風(fēng)險(xiǎn)。
大數(shù)據(jù)任務(wù)調(diào)度平臺設(shè)計(jì) 設(shè)計(jì)云上的大數(shù)據(jù)任務(wù)調(diào)度平臺部署架構(gòu)時，建議參考原則如下： 優(yōu)先用大數(shù)據(jù)云服務(wù)：如果源端是自建的大數(shù)據(jù)任務(wù)調(diào)度平臺和組件，在目標(biāo)云平臺上有對應(yīng)的云服務(wù)，且功能、性能、兼容性都滿足，經(jīng)評估改造工作量很小，建議部署架構(gòu)設(shè)計(jì)時，優(yōu)先采用大數(shù)據(jù)云服務(wù)。
此外，對象存儲服務(wù)OBS提供了OBSFileSystem插件（OBSA-HDFS），可與上層大數(shù)據(jù)平臺無縫對接，實(shí)現(xiàn)業(yè)務(wù)零改造。
方案概述 應(yīng)用場景 該方案基于對象存儲服務(wù) OBS和MapReduce服務(wù) MRS，幫助用戶在華為云上快速搭建大數(shù)據(jù)存算分離集群。
華為云大數(shù)據(jù)組件 常用的華為云大數(shù)據(jù)服務(wù)組件如下，設(shè)計(jì)大數(shù)據(jù)部署架構(gòu)時可參考： MapReduce服務(wù)（MapReduce Service，簡稱MRS） MRS是一個在華為云上部署和管理Hadoop系統(tǒng)的服務(wù)，一鍵即可部署Hadoop集群，完全兼容開源接口，輕松運(yùn)行Hadoop、Spark
采用比特信安獨(dú)有的“異步數(shù)據(jù)緩加密”專利技術(shù)以及大數(shù)據(jù)分布式集群加密技術(shù)，使得數(shù)據(jù)加密的可靠性達(dá)到運(yùn)營商的需要。比特信安大數(shù)據(jù)平臺加密系統(tǒng)具備如下特點(diǎn)：(一) 驅(qū)動層強(qiáng)制透明加密：安裝系統(tǒng)后，所有指定類型文件都是強(qiáng)制加密的。
DGC數(shù)據(jù)湖治理中心：提供全鏈路數(shù)據(jù)治理工具，包含標(biāo)準(zhǔn)規(guī)范、數(shù)據(jù)集成、數(shù)據(jù)開發(fā)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、數(shù)據(jù)服務(wù)等功能，滿足企業(yè)數(shù)據(jù)工程師、建模工程師、業(yè)務(wù)分析師協(xié)同作戰(zhàn)訴求，用數(shù)更敏捷，加速數(shù)據(jù)資產(chǎn)沉淀和供數(shù)效率，成為企業(yè)數(shù)字化創(chuàng)新的助推器。
創(chuàng)建源端連接 與源端（云服務(wù)/組件）建立連接，獲取源端大數(shù)據(jù)庫表清單。根據(jù)源端實(shí)際的數(shù)據(jù)來源類型，創(chuàng)建對應(yīng)的連接。 源端數(shù)據(jù)來源為MaxCompute，阿里云云數(shù)據(jù)庫ClickHouse時，請創(chuàng)建源端云服務(wù)連接。
MapReduce服務(wù)（MRS）提供租戶完全可控的大數(shù)據(jù)集群，兼容開源接口，結(jié)合華為云計(jì)算、存儲優(yōu)勢及大數(shù)據(jù)行業(yè)經(jīng)驗(yàn)，為客戶提供高性能、低成本、靈活易用的全棧大數(shù)據(jù)平臺。
自定義購買MRS集群 本章節(jié)為您介紹如何在MRS管理控制臺自定義創(chuàng)建一個新的MRS集群。 MRS包含了多種大數(shù)據(jù)組件，用戶可基于企業(yè)大數(shù)據(jù)場景的業(yè)務(wù)場景、數(shù)據(jù)類型、可靠性要求以及資源預(yù)算等要求合理選擇集群類型。
標(biāo)準(zhǔn)規(guī)范體系為平臺遵循的統(tǒng)一規(guī)范，保障平臺按照統(tǒng)一標(biāo)準(zhǔn)設(shè)計(jì)實(shí)施。
方案架構(gòu) 租戶是MRS大數(shù)據(jù)平臺的核心概念，使傳統(tǒng)的以用戶為核心的大數(shù)據(jù)平臺向以多租戶為核心的大數(shù)據(jù)平臺轉(zhuǎn)變，更好的適應(yīng)現(xiàn)代企業(yè)多租戶應(yīng)用環(huán)境，如圖1所示。 圖1 以用戶為核心的平臺和以多租戶為核心的平臺 對于以用戶為核心的大數(shù)據(jù)平臺，用戶直接訪問并使用全部的資源和服務(wù)。
大數(shù)據(jù)學(xué)習(xí)路線 大數(shù)據(jù)一站式學(xué)習(xí)平臺，涵蓋Linux基礎(chǔ)，MySQL基礎(chǔ)，大數(shù)據(jù)核心框架等大數(shù)據(jù)必備知識詳解 從入門到精通，助您提升技能儲備 產(chǎn)品特惠 大數(shù)據(jù)全棧成長計(jì)劃 核心技術(shù)賦能 構(gòu)建大數(shù)據(jù)技能體系 產(chǎn)品特惠 開發(fā)者專享優(yōu)惠 1元起 調(diào)查問卷 完成問卷贏取精美禮品 階段一：大數(shù)據(jù)基礎(chǔ)入門
交警大數(shù)據(jù)平臺以互聯(lián)網(wǎng)交通路況全面感知、城市交通精準(zhǔn)研判為實(shí)戰(zhàn)切入點(diǎn)，緊密落實(shí)“情、指、勤、督、宣”新型勤務(wù)改革機(jī)制，面向交警提供“1+1+7”業(yè)務(wù)解決方案和產(chǎn)品，即1個時空位置大數(shù)據(jù)引擎為基礎(chǔ)，1個算法引擎為核心，建設(shè)交通運(yùn)行監(jiān)測研判、道路安全風(fēng)險(xiǎn)地圖、交通設(shè)施設(shè)備管理、交通信號優(yōu)化評價
此次發(fā)布的微服務(wù)標(biāo)準(zhǔn)規(guī)范是面向以微服務(wù)架構(gòu)為基礎(chǔ)的公有云服務(wù)及私有云平臺的技術(shù)規(guī)范，包含微服務(wù)平臺架構(gòu)技術(shù)參考模型、微服務(wù)框架能力要求及微服務(wù)平臺能力要求等內(nèi)容。華為云基于自身在微服務(wù)上的眾多商業(yè)實(shí)踐，在標(biāo)準(zhǔn)編寫過程當(dāng)中貢獻(xiàn)了大量的技術(shù)建議。
192.168.3.11 父主題： 車聯(lián)網(wǎng)大數(shù)據(jù)零丟失搬遷入湖
數(shù)據(jù)開發(fā)概述 數(shù)據(jù)開發(fā)是一個一站式的大數(shù)據(jù)協(xié)同開發(fā)平臺，提供全托管的大數(shù)據(jù)調(diào)度能力。它可管理多種大數(shù)據(jù)服務(wù)，極大降低用戶使用大數(shù)據(jù)的門檻，幫助您快速構(gòu)建大數(shù)據(jù)處理中心。
圖1 大數(shù)據(jù)參考架構(gòu) 大數(shù)據(jù)架構(gòu)通常包括以下幾個核心組件和流程，企業(yè)可以根據(jù)實(shí)際需要選擇云服務(wù)或自建大數(shù)據(jù)組件： 業(yè)務(wù)數(shù)據(jù)源： 業(yè)務(wù)數(shù)據(jù)源是大數(shù)據(jù)平臺的數(shù)據(jù)輸入來源，可以是傳感器、網(wǎng)站日志、移動應(yīng)用、社交媒體等各種數(shù)據(jù)源。
