檢測到您已登錄華為云國際站賬號,為了您更好的體驗,建議您訪問國際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
恢復(fù)CDL業(yè)務(wù)數(shù)據(jù) 操作場景 在用戶意外修改、刪除或需要找回數(shù)據(jù)時,系統(tǒng)管理員對CDL進行重大操作(如升級、重大數(shù)據(jù)調(diào)整等)后,系統(tǒng)數(shù)據(jù)出現(xiàn)異?;蛭催_到預(yù)期結(jié)果,模塊全部故障無法使用,或者遷移數(shù)據(jù)到新集群的場景中,需要對CDL進行恢復(fù)數(shù)據(jù)操作。
默認情況下,大數(shù)據(jù)集群內(nèi)組件間的通信是不加密的,為防止數(shù)據(jù)在公網(wǎng)或非可信網(wǎng)絡(luò)中被截獲,集群管理員可以調(diào)整Hadoop組件相關(guān)配置,使用加密協(xié)議對數(shù)據(jù)傳輸通道加密。 在HDFS組件的配置界面中設(shè)置相關(guān)參數(shù)的值,設(shè)置后全局生效,即Hadoop中各模塊的RPC通道是否加密全部生效。
本操作指導(dǎo)書旨在幫助華為云用戶在開源大數(shù)據(jù)平臺Hadoop和Spark上**速對接OBSFileSystem組件,更好的使用華為云對象存儲OBS進行大數(shù)據(jù)計算。
共享交換平臺的部署 將前端上傳至服務(wù)器/usr/local/web下前端包 包名為:yunpi-web 將前端包上傳至服務(wù)器/usr/local/web下 修改/yunpi-web/config文件夾下的config.js Vim config.js 修改網(wǎng)關(guān)地址 圖1 上傳 后臺服務(wù)的啟動與配置
更新云服務(wù)器元數(shù)據(jù) 功能介紹 更新云服務(wù)器元數(shù)據(jù)。 如果元數(shù)據(jù)中沒有待更新字段,則自動添加該字段。 如果元數(shù)據(jù)中已存在待更新字段,則直接更新字段值。
恢復(fù)DBService元數(shù)據(jù) 操作場景 在用戶意外修改、刪除或需要找回數(shù)據(jù)時,系統(tǒng)管理員對DBService進行重大操作(如升級、重大數(shù)據(jù)調(diào)整等)后,系統(tǒng)數(shù)據(jù)出現(xiàn)異?;蛭催_到預(yù)期結(jié)果,模塊全部故障無法使用,或者遷移數(shù)據(jù)到新集群的場景中,需要對DBService進行恢復(fù)數(shù)據(jù)操作。
2個CDM集群的作業(yè)個數(shù)平均分配,并發(fā)執(zhí)行。 作業(yè)執(zhí)行完成后,可在作業(yè)的“歷史記錄”中查看詳細的數(shù)據(jù)統(tǒng)計。 父主題: 車聯(lián)網(wǎng)大數(shù)據(jù)零丟失搬遷入湖
數(shù)據(jù)架構(gòu)規(guī)劃設(shè)計是一體化政務(wù)大數(shù)據(jù)建設(shè)過程非常重要環(huán)節(jié),有利于數(shù)據(jù)資源的梳理以及后續(xù)數(shù)據(jù)資源的管理。
schema-registry 集群配置;命令行界面輸入: cd ../..
恢復(fù)HDFS業(yè)務(wù)數(shù)據(jù) 操作場景 在用戶意外修改、刪除或需要找回數(shù)據(jù)時,系統(tǒng)管理員對HDFS進行重大操作(如升級、重大數(shù)據(jù)調(diào)整等)后,系統(tǒng)數(shù)據(jù)出現(xiàn)異?;蛭催_到預(yù)期結(jié)果,模塊全部故障無法使用,或者遷移數(shù)據(jù)到新集群的場景中,需要對HDFS進行恢復(fù)數(shù)據(jù)操作。
恢復(fù)Hive業(yè)務(wù)數(shù)據(jù) 操作場景 在用戶意外修改、刪除或需要找回數(shù)據(jù)時,系統(tǒng)管理員對Hive進行重大操作(如升級、重大數(shù)據(jù)調(diào)整等)后,系統(tǒng)數(shù)據(jù)出現(xiàn)異?;蛭催_到預(yù)期結(jié)果,模塊全部故障無法使用,或者遷移數(shù)據(jù)到新集群的場景中,需要對Hive進行恢復(fù)數(shù)據(jù)操作。
華為云大數(shù)據(jù)上云與實施服務(wù)讓客戶業(yè)務(wù)不中斷,實現(xiàn)對用戶零感知,專業(yè)團隊支撐客戶實現(xiàn)快速穩(wěn)定上云,有效降低時間成本,為客戶的大數(shù)據(jù)系統(tǒng)遷移提供技術(shù)保障。 父主題: 關(guān)于服務(wù)咨詢
創(chuàng)建目的端連接 創(chuàng)建執(zhí)行機連接 創(chuàng)建目的端云服務(wù)連接 創(chuàng)建目的端組件連接 父主題: 大數(shù)據(jù)校驗
快速卸載 登錄應(yīng)用編排服務(wù)AOS堆棧,找到該解決方案創(chuàng)建的堆棧,單擊堆棧名稱最右側(cè)“刪除”按鈕,在彈出的“刪除堆棧”提示框輸入Delete,單擊“確定”進行解決方案卸載。 圖1 一鍵刪除 父主題: 實施步驟
創(chuàng)建目的端連接 創(chuàng)建執(zhí)行機連接 創(chuàng)建目的端云服務(wù)連接 創(chuàng)建目的端組件連接 父主題: 大數(shù)據(jù)校驗
MRS組件應(yīng)用開發(fā)簡介 MRS是企業(yè)級大數(shù)據(jù)存儲、查詢、分析的統(tǒng)一平臺,能夠幫助企業(yè)快速構(gòu)建海量數(shù)據(jù)信息處理系統(tǒng),通過對海量信息數(shù)據(jù)的分析挖掘,發(fā)現(xiàn)全新價值點和企業(yè)商機。
訪問MRS集群上托管的開源組件Web頁面 MRS集群使用過程中,用戶可以通過Manager界面對集群進行運維配置、狀態(tài)監(jiān)控、用戶及角色管理等相關(guān)操作。對于集群內(nèi)的大數(shù)據(jù)組件,部分組件還提供WebUI界面,便于用戶快速了解更詳細的組件運行狀態(tài)或者對組件進行業(yè)務(wù)配置操作。
華為云DataArts是智能化大數(shù)據(jù)平臺解決方案,支持混合云和公有云部署,包含數(shù)智融合引擎層、數(shù)智開發(fā)治理層、知識服務(wù)層、數(shù)智應(yīng)用層四層架構(gòu),為企業(yè)提供云原生、湖倉一體、存算分離的云服務(wù)產(chǎn)品組合。
資源和成本規(guī)劃 該解決方案主要部署如下資源,不同產(chǎn)品的花費僅供參考,實際以收費賬單為準,具體請參考華為云官網(wǎng)價格: 表1 資源和成本規(guī)劃 華為云服務(wù) 配置示例 每月預(yù)估花費 數(shù)據(jù)治理中心 DataArts Studio 區(qū)域:華北-北京四 計費模式:包年包月 版本:初級版 規(guī)格:cdm.medium
政務(wù)大數(shù)據(jù)管理平臺的建設(shè),從以共享交換平臺為中心的政務(wù)數(shù)據(jù)共享通道建設(shè)階段,過渡到以數(shù)據(jù)治理為中心的政務(wù)大數(shù)據(jù)平臺建設(shè)階段,進而為將來公共數(shù)據(jù)的開發(fā)利用奠定基礎(chǔ)。