DLI數(shù)據(jù)怎么存儲(chǔ)
數(shù)據(jù)湖探索(Data Lake Insight,簡(jiǎn)稱(chēng)DLI)是一款大數(shù)據(jù)分析工具,提供標(biāo)準(zhǔn)SQL,完全兼容Spark接口,支持自動(dòng)彈性擴(kuò)展,云上多數(shù)據(jù)源聯(lián)邦分析,提供資源和數(shù)據(jù)細(xì)粒度管控的多租戶(hù)能力,廣泛應(yīng)用于IoT,互聯(lián)網(wǎng),游戲等行業(yè)統(tǒng)計(jì)報(bào)表,行為日志分析,歷史數(shù)據(jù)查詢(xún)審計(jì)等場(chǎng)景
四維地球解決方案基于華為云公有云服務(wù)平臺(tái),用戶(hù)業(yè)務(wù)無(wú)縫對(duì)接,數(shù)據(jù)可在無(wú)感知的情況下推送至華為云OBS對(duì)象存儲(chǔ)中。 華為云OBS服務(wù)在四維地球中的功能 解決方案數(shù)據(jù)更全面,PB級(jí)數(shù)據(jù)在線 0.5m~500m的影像分辨率; 5nm+300余波段; 20年遙感信息積累 解決方案數(shù)據(jù)更可靠,12個(gè)9數(shù)據(jù)持久性 基于華為云OBS對(duì)象存儲(chǔ);
搭配使用 數(shù)據(jù)湖探索 DLI 云數(shù)據(jù)遷移 CDM 消息日志類(lèi)數(shù)據(jù)存儲(chǔ)和查詢(xún) 消息日志類(lèi)數(shù)據(jù)存儲(chǔ)和查詢(xún) CloudTable(HBase)滿(mǎn)足消息或日志類(lèi)數(shù)據(jù)的高速查詢(xún)后展現(xiàn)或者返回到應(yīng)用。適用于以下等場(chǎng)景:消息數(shù)據(jù)、報(bào)表數(shù)據(jù)、推薦類(lèi)數(shù)據(jù)、風(fēng)控類(lèi)數(shù)據(jù)、日志數(shù)據(jù)、訂單數(shù)據(jù)等結(jié)構(gòu)化、半
配,外接觸控屏體驗(yàn)書(shū)寫(xiě)協(xié)作的暢快 聯(lián)接時(shí)空 改變未來(lái) CloudLink Board CloudLink Bar CloudLink Box CloudLink Board CloudLink Bar CloudLink Box 購(gòu)買(mǎi)咨詢(xún)熱線: 4000-955-988或950808按1轉(zhuǎn)1
鍵值存儲(chǔ)服務(wù) KVS 鍵值存儲(chǔ)服務(wù) KVS 提供穩(wěn)定時(shí)延、高可用、Serverless化、高效索引查詢(xún),旨在運(yùn)行任何規(guī)模的高性能應(yīng)用程序 提供穩(wěn)定時(shí)延、高可用、Serverless化、高效索引查詢(xún),旨在運(yùn)行任何規(guī)模的高性能應(yīng)用程序 2024年4月30日~2025年4月29日公測(cè) 申請(qǐng)公測(cè)
實(shí)時(shí)流計(jì)算CS已與數(shù)據(jù)湖探索DLI進(jìn)行了合并,同SPU資源下 數(shù)據(jù)湖探索DLI 價(jià)格下降30%,請(qǐng)前往體驗(yàn)> 進(jìn)入DLI控制臺(tái) 立即購(gòu)買(mǎi) [退市通知] 華為云實(shí)時(shí)流計(jì)算服務(wù)于2020年11月1日00:00:00(北京時(shí)間)退市,原有功能已合并到DLI [進(jìn)入DLI] 數(shù)據(jù)湖探索DLI主頁(yè) [退市通知]
EMS采用半托管融合部署,EMS數(shù)據(jù)面部署在AI節(jié)點(diǎn)本地,高效納管AI節(jié)點(diǎn)空閑內(nèi)存資源,提供加速服務(wù)、降低存儲(chǔ)成本 搭配使用 AI開(kāi)發(fā)平臺(tái)ModelArts 云容器引擎 CCE 您可能感興趣的產(chǎn)品 您可能感興趣的產(chǎn)品 高性能彈性文件服務(wù) SFS Turbo 提供按需擴(kuò)展的高性能文件存儲(chǔ) AI開(kāi)發(fā)平臺(tái)ModelArts
云存儲(chǔ)網(wǎng)關(guān) CSG 云存儲(chǔ)網(wǎng)關(guān) CSG 云存儲(chǔ)網(wǎng)關(guān)(Cloud Storage Gateway)是一種混合云存儲(chǔ)服務(wù),可用于企業(yè)數(shù)據(jù)分級(jí)存儲(chǔ)場(chǎng)景,用戶(hù)數(shù)據(jù)中心的應(yīng)用通過(guò)NFS文件協(xié)議訪問(wèn)網(wǎng)關(guān),數(shù)據(jù)分級(jí)存儲(chǔ)在網(wǎng)關(guān)本地緩存磁盤(pán)及對(duì)象存儲(chǔ)。 云存儲(chǔ)網(wǎng)關(guān)(Cloud Storage Ga
線上線下數(shù)據(jù)實(shí)時(shí)采集 數(shù)據(jù)傳輸 實(shí)時(shí)數(shù)據(jù)高并發(fā)、低延時(shí)、高可靠傳輸 實(shí)時(shí)數(shù)據(jù)高并發(fā)、低延時(shí)、高可靠傳輸 數(shù)據(jù)流動(dòng) 提供多種connector,對(duì)接云上數(shù)據(jù)存儲(chǔ)、計(jì)算、分析等多種服務(wù),實(shí)現(xiàn)用戶(hù)數(shù)據(jù)自由流動(dòng) 提供多種connector,對(duì)接云上數(shù)據(jù)存儲(chǔ)、計(jì)算、分析等多種服務(wù),實(shí)現(xiàn)用戶(hù)數(shù)據(jù)自由流動(dòng)
支持全局事務(wù)、存儲(chǔ)過(guò)程、數(shù)據(jù)強(qiáng)一致性保證 庫(kù)倉(cāng)一體 邏輯集群,支持一套集群容納數(shù)據(jù)集市、數(shù)據(jù)倉(cāng)庫(kù) 搭配使用 數(shù)據(jù)接入服務(wù) DIS 云數(shù)據(jù)遷移 CDM 數(shù)據(jù)湖治理中心 DataArts Studio 一站式BI解決方案 一站式BI解決方案 企業(yè)積累的海量數(shù)據(jù)及各種數(shù)據(jù)資產(chǎn),體量龐大
51CloudLink(彈性混合云專(zhuān)線),基于銳速全球骨干傳輸網(wǎng),連接企業(yè)與大規(guī)模公有云,為客戶(hù)提供的高速專(zhuān)線服務(wù)。1、用于搭建企業(yè)自有計(jì)算環(huán)境到公有云用戶(hù)計(jì)算環(huán)境的高速、穩(wěn)定、安全的專(zhuān)屬通道。用戶(hù)可使用專(zhuān)線接入服務(wù)將本地數(shù)據(jù)中心的計(jì)算機(jī)與云上的云服務(wù)器或托管主機(jī)實(shí)現(xiàn)私網(wǎng)相連,充
數(shù)據(jù)在線備份與存儲(chǔ)系統(tǒng)是新一代智能備份到云備份,從存儲(chǔ)到共享的全方位數(shù)據(jù)保護(hù)產(chǎn)品,并提供了統(tǒng)一的數(shù)據(jù)安全管理平臺(tái)。數(shù)據(jù)在線備份與存儲(chǔ)系統(tǒng)數(shù)據(jù)在線備份與存儲(chǔ)系統(tǒng)是一款集備份與存儲(chǔ)一體化產(chǎn)品,有效的解決中小企業(yè)數(shù)據(jù)管理的難題。為企業(yè)提供低投入、易使用、安全可靠的數(shù)據(jù)資產(chǎn)集中保護(hù)方案。
專(zhuān)業(yè)運(yùn)維過(guò)保的老舊型號(hào)存儲(chǔ)服務(wù)器,幫助客戶(hù)節(jié)約存儲(chǔ)維保成本。 專(zhuān)業(yè)實(shí)施部署各種存儲(chǔ)服務(wù)器或存儲(chǔ)系統(tǒng),幫助客戶(hù)提升項(xiàng)目或日常運(yùn)維效率。 專(zhuān)業(yè)處理存儲(chǔ)系統(tǒng)疑難雜癥,和虛擬化、云平臺(tái)、宿主機(jī)、客戶(hù)機(jī)等關(guān)聯(lián)問(wèn)題處理。提供各梯隊(duì)品牌的存儲(chǔ)服務(wù)器、存儲(chǔ)系統(tǒng)運(yùn)維服務(wù),對(duì)老舊型號(hào)的存儲(chǔ)系統(tǒng)做延保技術(shù)支
藍(lán)光數(shù)據(jù)存儲(chǔ)備份服務(wù)是面向政企、行業(yè)客戶(hù)提供低成本、高可靠、長(zhǎng)周期且易訪問(wèn)的冷數(shù)據(jù)存儲(chǔ)和備份產(chǎn)品?;诖笕萘克{(lán)光存儲(chǔ)技術(shù),適用于海量、訪問(wèn)頻次低的非結(jié)構(gòu)化數(shù)據(jù)長(zhǎng)期存儲(chǔ)、管理和備份。藍(lán)光數(shù)據(jù)存儲(chǔ)備份服務(wù)是面向政企、行業(yè)客戶(hù)提供低成本、高可靠、長(zhǎng)周期且易訪問(wèn)的冷數(shù)據(jù)存儲(chǔ)和備份產(chǎn)品?;?/p>
基于主流開(kāi)源云存儲(chǔ)套件定制開(kāi)發(fā),一站解決數(shù)據(jù)存儲(chǔ)和共享,插件功能強(qiáng)大,靈活可擴(kuò)展且安全可靠的自托管云存儲(chǔ)和協(xié)作平臺(tái),適用于個(gè)人用戶(hù)、企業(yè)和組織。用戶(hù)可以在自己的服務(wù)器上搭建和管理文件存儲(chǔ)和共享服務(wù),用戶(hù)可以完全掌控自己的數(shù)據(jù)。提供了跨平臺(tái)的文件同步功能,可以將文件同步到不同設(shè)備上
藍(lán)光存儲(chǔ)配套服務(wù)是藍(lán)光數(shù)據(jù)存儲(chǔ)備份服務(wù)的配套服務(wù),包括離線數(shù)據(jù)遷移服務(wù)、在線數(shù)據(jù)遷移與技術(shù)支持服務(wù)、存儲(chǔ)設(shè)備搬運(yùn)服務(wù)、軟硬件安裝服務(wù)和數(shù)據(jù)取回服務(wù)。1.離線數(shù)據(jù)遷移服務(wù)離線數(shù)據(jù)遷移服務(wù)面向用戶(hù)提供TB或PB級(jí)的海量數(shù)據(jù)離線遷移工具,有效降低用戶(hù)成本的同時(shí),提供穩(wěn)定、快速的數(shù)據(jù)傳輸
德康容災(zāi)存儲(chǔ)系統(tǒng)為用戶(hù)提供了一種在快速容災(zāi)的同時(shí),對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行實(shí)時(shí)備份的有效方法,從而保障了業(yè)務(wù)的連續(xù)性。應(yīng)用介紹德康容災(zāi)存儲(chǔ)系統(tǒng)采用最新的持續(xù)數(shù)據(jù)保護(hù)技術(shù)保障業(yè)務(wù)的連續(xù)性,達(dá)到最短的恢復(fù)時(shí)間和最小的數(shù)據(jù)丟失量(最小的RTO和RPO);具有操作系統(tǒng)備份,數(shù)據(jù)庫(kù)備份,文件備份等功
本產(chǎn)品基于密碼技術(shù)和分布式存儲(chǔ)技術(shù)設(shè)計(jì)開(kāi)發(fā)的高性能文件加密存儲(chǔ)軟件,支持服務(wù)集群和異地容災(zāi)備份,為用戶(hù)重要文件數(shù)據(jù)提供專(zhuān)業(yè)級(jí)的安全存儲(chǔ)服務(wù),滿(mǎn)足數(shù)據(jù)存儲(chǔ)安全方面的合規(guī)性要求。格爾文件加密存儲(chǔ)網(wǎng)關(guān)是一款基于密碼技術(shù)和分布式存儲(chǔ)技術(shù)進(jìn)行設(shè)計(jì)開(kāi)發(fā)的安全產(chǎn)品,可以有效解決黨政軍及企事業(yè)單位的敏感文件安全存儲(chǔ)問(wèn)題,滿(mǎn)足“等保2
存儲(chǔ)轉(zhuǎn)發(fā)類(lèi)業(yè)務(wù)是指利用存儲(chǔ)轉(zhuǎn)發(fā)機(jī)制為用戶(hù)提供信息發(fā)送的業(yè)務(wù)包括語(yǔ)音信箱、電子郵件、傳真存儲(chǔ)轉(zhuǎn)發(fā)等業(yè)務(wù)。 免費(fèi)咨詢(xún)專(zhuān)業(yè)客服 為您解決全部辦理難題,牌照第二類(lèi)增值電信業(yè)務(wù) 全國(guó)代辦理 急速下證
安全性 圖解對(duì)象存儲(chǔ)服務(wù) 功能概覽 免費(fèi)的對(duì)象存儲(chǔ) 免費(fèi)的對(duì)象存儲(chǔ) 華為云對(duì)象存儲(chǔ)服務(wù) 華為云對(duì)象存儲(chǔ)服務(wù) 對(duì)象存儲(chǔ)服務(wù)(Object Storage Service,OBS)是一個(gè)基于對(duì)象的海量存儲(chǔ)服務(wù),為客戶(hù)提供海量、安全、高可靠、低成本的數(shù)據(jù)存儲(chǔ)能力。 對(duì)象存儲(chǔ)服務(wù)(Object
AI訓(xùn)練加速存儲(chǔ) AI訓(xùn)練加速存儲(chǔ) 華為云對(duì)象存儲(chǔ)服務(wù) OBS 華為云對(duì)象存儲(chǔ)服務(wù) OBS 對(duì)象存儲(chǔ)服務(wù)(Object Storage Server, OBS)是一個(gè)基于對(duì)象的存儲(chǔ)服務(wù),為客戶(hù)提供海量、安全、高可靠、低成本的數(shù)據(jù)存儲(chǔ)能力,使用時(shí)無(wú)需考慮容量限制,并且提供多種存儲(chǔ)類(lèi)型供選擇,滿(mǎn)足客戶(hù)各類(lèi)業(yè)務(wù)場(chǎng)景訴求。
華為云對(duì)象存儲(chǔ)服務(wù) OBS 新手入門(mén)必看 對(duì)象存儲(chǔ)服務(wù)簡(jiǎn)介 對(duì)象存儲(chǔ)服務(wù)產(chǎn)品優(yōu)勢(shì) 對(duì)象存儲(chǔ)服務(wù)應(yīng)用場(chǎng)景 常見(jiàn)問(wèn)題匯總 產(chǎn)品咨詢(xún) 計(jì)費(fèi)相關(guān) 權(quán)限相關(guān) 桶和對(duì)象相關(guān) 安全性 圖解對(duì)象存儲(chǔ)服務(wù) 功能概覽 免費(fèi)試用 幫助文檔 對(duì)象存儲(chǔ)服務(wù)簡(jiǎn)介 對(duì)象存儲(chǔ)服務(wù)產(chǎn)品優(yōu)勢(shì) 對(duì)象存儲(chǔ)服務(wù)應(yīng)用場(chǎng)景 產(chǎn)品咨詢(xún)
一站式數(shù)據(jù)存儲(chǔ)管理 一站式數(shù)據(jù)存儲(chǔ)管理 對(duì)象存儲(chǔ)服務(wù)(Object Storage Service,OBS)是一個(gè)基于對(duì)象的海量存儲(chǔ)服務(wù),為客戶(hù)提供海量、安全、高可靠、低成本的數(shù)據(jù)存儲(chǔ)能力。到目前為止,OBS支持4種存儲(chǔ)類(lèi)別:標(biāo)準(zhǔn)存儲(chǔ)、低頻訪問(wèn)存儲(chǔ)、歸檔存儲(chǔ)、深度歸檔存儲(chǔ)(受限公
使用DLI進(jìn)行電商實(shí)時(shí)業(yè)務(wù)數(shù)據(jù)分析 數(shù)據(jù)湖探索優(yōu)勢(shì) 支持SQL操作: DLI提供標(biāo)準(zhǔn)SQL接口,用戶(hù)僅需使用SQL便可實(shí)現(xiàn)海量數(shù)據(jù)查詢(xún)分析。SQL語(yǔ)法全兼容標(biāo)準(zhǔn)ANSI SQL 2003。 跨源分析: 支持多種數(shù)據(jù)格式,云上多種數(shù)據(jù)源、ECS自建數(shù)據(jù)庫(kù)以及線下數(shù)據(jù)庫(kù),數(shù)據(jù)無(wú)需搬遷
跨源連接的特點(diǎn)與用途 DLI支持原生Spark的跨源連接能力,并在其基礎(chǔ)上進(jìn)行了擴(kuò)展,能夠通過(guò)SQL語(yǔ)句、Spark作業(yè)或者Flink作業(yè)訪問(wèn)其他數(shù)據(jù)存儲(chǔ)服務(wù)并導(dǎo)入、查詢(xún)、分析處理其中的數(shù)據(jù),數(shù)據(jù)湖探索跨源連接的功能是打通數(shù)據(jù)源之間的網(wǎng)絡(luò)連接。 數(shù)據(jù)湖探索跨源連接的功能是打通數(shù)據(jù)源之間的網(wǎng)絡(luò)
OBS基因測(cè)序解決方案 華為云對(duì)象存儲(chǔ)服務(wù) 華為云對(duì)象存儲(chǔ)服務(wù) OBS提供高并發(fā)、高可靠、低時(shí)延、低成本的海量存儲(chǔ)系統(tǒng),結(jié)合 華為云計(jì)算 服務(wù)可快速搭建高擴(kuò)展性、低成本、高可用的基因測(cè)序平臺(tái)。 OBS提供高并發(fā)、高可靠、低時(shí)延、低成本的海量存儲(chǔ)系統(tǒng),結(jié)合 華為云計(jì)算 服務(wù)可快速搭建高擴(kuò)展性、低成本、高可用的基因測(cè)序平臺(tái)。
DLI可以查詢(xún)存儲(chǔ)在OBS中的數(shù)據(jù),本例介紹使用DLI提交SQL作業(yè)查詢(xún)OBS數(shù)據(jù)的操作步驟。 DLI可以查詢(xún)存儲(chǔ)在OBS中的數(shù)據(jù),本例介紹使用DLI提交SQL作業(yè)查詢(xún)OBS數(shù)據(jù)的操作步驟。 創(chuàng)建并提交Spark SQL作業(yè) 使用DLI提交SQL作業(yè)查詢(xún)RDS MySQL數(shù)據(jù) 本例以SQL作業(yè)
帶您了解更多華為云產(chǎn)品,助力企業(yè)上云 云服務(wù)器搭建教程 華為云服務(wù)器價(jià)格 云服務(wù)器配置選型 試用云服務(wù)器 香港云服務(wù)器 云服務(wù)器免費(fèi)體驗(yàn)試用 windows系統(tǒng)虛擬主機(jī)介紹及配置 建網(wǎng)站用什么服務(wù)器 國(guó)內(nèi)云服務(wù)器價(jià)格對(duì)比 輕量云服務(wù)器價(jià)格 虛擬主機(jī)空間購(gòu)買(mǎi) 云計(jì)算服務(wù)器搭建教程 高帶寬云服務(wù)器 云服務(wù)器免費(fèi)體驗(yàn)30天
DLI數(shù)據(jù)怎么存儲(chǔ)
功能描述
創(chuàng)建source流從HBase中獲取數(shù)據(jù),作為作業(yè)的輸入數(shù)據(jù)。HBase是一個(gè)穩(wěn)定可靠,性能卓越、可伸縮、面向列的分布式云存儲(chǔ)系統(tǒng),適用于海量數(shù)據(jù)存儲(chǔ)以及分布式計(jì)算的場(chǎng)景,用戶(hù)可以利用HBase搭建起TB至PB級(jí)數(shù)據(jù)規(guī)模的存儲(chǔ)系統(tǒng),對(duì)數(shù)據(jù)輕松進(jìn)行過(guò)濾分析,毫秒級(jí)得到響應(yīng),快速發(fā)現(xiàn)數(shù)據(jù)價(jià)值。DLI可以從HBase中讀取數(shù)據(jù),用于過(guò)濾分析、數(shù)據(jù)轉(zhuǎn)儲(chǔ)等場(chǎng)景。
前提條件
- 該場(chǎng)景作業(yè)需要運(yùn)行在DLI的獨(dú)享隊(duì)列上,因此要與HBase建立增強(qiáng)型跨源連接,且用戶(hù)可以根據(jù)實(shí)際所需設(shè)置相應(yīng)安全組規(guī)則。
- 如何建立增強(qiáng)型跨源連接,請(qǐng)參考《數(shù)據(jù)湖探索用戶(hù)指南》中增強(qiáng)型跨源連接章節(jié)。
- 如何設(shè)置安全組規(guī)則,請(qǐng)參見(jiàn)《 虛擬私有云 用戶(hù)指南》中“安全組”章節(jié)。
- 如果使用 MRS HBase,請(qǐng)?jiān)谠鰪?qiáng)型跨源的主機(jī)信息中添加MRS集群所有節(jié)點(diǎn)的主機(jī)ip信息。
詳細(xì)操作請(qǐng)參考《數(shù)據(jù)湖探索用戶(hù)指南》中的“修改主機(jī)信息”章節(jié)描述。
注意事項(xiàng)
- 創(chuàng)建Flink OpenSource SQL作業(yè)時(shí),在作業(yè)編輯界面的“運(yùn)行參數(shù)”處,“Flink版本”需要選擇“1.15”,勾選“保存作業(yè)日志”并設(shè)置保存作業(yè)日志的 OBS 桶,方便后續(xù)查看作業(yè)日志。
- 認(rèn)證用的username和password等硬編碼到代碼中或者明文存儲(chǔ)都有很大的安全風(fēng)險(xiǎn),建議使用 DEW 管理憑證。配置文件或者環(huán)境變量中密文存放,使用時(shí)解密,確保安全。Flink Opensource SQL使用DEW管理訪問(wèn)憑據(jù)
- 創(chuàng)建HBase源表的列簇必須定義為ROW類(lèi)型,字段名對(duì)應(yīng)列簇名(column family),嵌套的字段名對(duì)應(yīng)列限定符名(column qualifier)。
用戶(hù)只需在表結(jié)構(gòu)中聲明查詢(xún)中使用的的列簇和列限定符。除了ROW類(lèi)型的列,剩下的原子數(shù)據(jù)類(lèi)型字段(比如,STRING, BIGINT)將被識(shí)別為HBase的rowkey,一張表中只能聲明一個(gè)rowkey。rowkey字段的名字可以是任意的,如果是保留關(guān)鍵字,需要用反引號(hào)進(jìn)行轉(zhuǎn)義。
語(yǔ)法格式
create table hbaseSource ( attr_name attr_type (',' attr_name attr_type)* (',' watermark for rowtime_column_name as watermark-strategy_expression) ','PRIMARY KEY (attr_name, ...) NOT ENFORCED))with ( 'connector' = 'hbase-2.2', 'table-name' = '', 'zookeeper.quorum' = '');
參數(shù)說(shuō)明
|
參數(shù) |
是否必選 |
默認(rèn)值 |
數(shù)據(jù) |
說(shuō)明 |
|---|---|---|---|---|
|
connector |
是 |
無(wú) |
String |
指定使用的連接器,需配置為:hbase-2.2。 |
|
table-name |
是 |
無(wú) |
String |
連接的HBase表名。 |
|
zookeeper.quorum |
是 |
無(wú) |
String |
格式為:ZookeeperAddress:ZookeeperPort 以MRS Hbase集群為例,該參數(shù)的所使用Zookeeper的ip地址和端口號(hào)獲取方式如下:
|
|
zookeeper.znode.parent |
否 |
/hbase |
String |
Zookeeper中的根目錄,默認(rèn)是/hbase。 |
|
null-string-literal |
否 |
無(wú) |
String |
當(dāng)字符串值為null時(shí)的存儲(chǔ)形式,默認(rèn)存成 "null" 字符串。 HBase的source的編解碼將所有數(shù)據(jù)類(lèi)型(除字符串外)將null值以空字節(jié)來(lái)存儲(chǔ)。 |
|
krb_auth_name |
否 |
無(wú) |
String |
DLI側(cè)創(chuàng)建的Kerberos類(lèi)型的跨源認(rèn)證名稱(chēng)。 |
數(shù)據(jù)類(lèi)型映射
HBase以字節(jié)數(shù)組存儲(chǔ)所有數(shù)據(jù),在讀和寫(xiě)過(guò)程中要序列化和反序列化數(shù)據(jù)。
Flink的HBase連接器利用HBase(Hadoop) 的工具類(lèi)org.apache.hadoop.hbase.util.Bytes進(jìn)行字節(jié)數(shù)組和Flink數(shù)據(jù)類(lèi)型轉(zhuǎn)換。
Flink的HBase連接器將所有數(shù)據(jù)類(lèi)型(除字符串外)null值編碼成空字節(jié)。對(duì)于字符串類(lèi)型,null值的字面值由null-string-literal選項(xiàng)值決定。
|
Flink數(shù)據(jù)類(lèi)型 |
HBase轉(zhuǎn)換 |
|---|---|
|
CHAR/VARCHAR/STRING |
byte[] toBytes(String s) String toString(byte[] b) |
|
BOOLEAN |
byte[] toBytes(boolean b) boolean toBoolean(byte[] b) |
|
BINARY/VARBINARY |
返回 byte[]。 |
|
DECIMAL |
byte[] toBytes(BigDecimal v) BigDecimal toBigDecimal(byte[] b) |
|
TINYINT |
new byte[] { val } bytes[0] // returns first and only byte from bytes |
|
SMALLINT |
byte[] toBytes(short val) short toShort(byte[] bytes) |
|
INT |
byte[] toBytes(int val) int toInt(byte[] bytes) |
|
BIGINT |
byte[] toBytes(long val) long toLong(byte[] bytes) |
|
FLOAT |
byte[] toBytes(float val) float toFloat(byte[] bytes) |
|
DOUBLE |
byte[] toBytes(double val) double toDouble(byte[] bytes) |
|
DATE |
從 1970-01-01 00:00:00 UTC 開(kāi)始的天數(shù),int 值。 |
|
TIME |
從 1970-01-01 00:00:00 UTC 開(kāi)始天的毫秒數(shù),int 值。 |
|
TIMESTAMP |
從 1970-01-01 00:00:00 UTC 開(kāi)始的毫秒數(shù),long 值。 |
|
ARRAY |
不支持 |
|
MAP/MULTISET |
不支持 |
|
ROW |
不支持 |
示例
該示例是從HBase數(shù)據(jù)源中讀取數(shù)據(jù),并寫(xiě)入到Print結(jié)果表中(該示例使用的HBase版本2.2.3):
- 參考增強(qiáng)型跨源連接,在DLI上根據(jù)HBase所在的虛擬 私有云 和子網(wǎng)創(chuàng)建相應(yīng)的增強(qiáng)型跨源,并綁定所要使用的Flink作業(yè)隊(duì)列。參考“修改主機(jī)信息”章節(jié)描述,在增強(qiáng)型跨源中增加MRS的主機(jī)信息。
- 設(shè)置HBase集群的安全組,添加入向規(guī)則使其對(duì)Flink作業(yè)隊(duì)列網(wǎng)段放通。參考測(cè)試地址連通性根據(jù)HBase的地址測(cè)試隊(duì)列連通性。如果能連通,則表示跨源已經(jīng)綁定成功,否則表示未成功。
- 參考MRS HBase的使用,通過(guò)HBase shell在HBase中創(chuàng)建相應(yīng)的表,表名為order,表中只有一個(gè)列簇detail。創(chuàng)建語(yǔ)句參考如下:
create 'order', {NAME => 'detail'} - 在HBase shell中執(zhí)行下述命令,以插入一條數(shù)據(jù):
put 'order', '202103241000000001', 'detail:order_channel','webShop'put 'order', '202103241000000001', 'detail:order_time','2021-03-24 10:00:00'put 'order', '202103241000000001', 'detail:pay_amount','100.00'put 'order', '202103241000000001', 'detail:real_pay','100.00'put 'order', '202103241000000001', 'detail:pay_time','2021-03-24 10:02:03'put 'order', '202103241000000001', 'detail:user_id','0001'put 'order', '202103241000000001', 'detail:user_name','Alice'put 'order', '202103241000000001', 'detail:area_id','330106'
- 參考創(chuàng)建Flink OpenSource作業(yè),創(chuàng)建flink opensource sql作業(yè),輸入以下作業(yè)腳本,并提交運(yùn)行。該作業(yè)腳本將HBase作為數(shù)據(jù)源,Print作為結(jié)果表。
注意:創(chuàng)建作業(yè)時(shí),在作業(yè)編輯界面的“運(yùn)行參數(shù)”處,“Flink版本”選擇“1.15”,勾選“保存作業(yè)日志”并設(shè)置保存作業(yè)日志的OBS桶,方便后續(xù)查看作業(yè)日志。如下腳本中的加粗參數(shù)請(qǐng)根據(jù)實(shí)際環(huán)境修改。
create table hbaseSource ( order_id string,--表示唯一的rowkey detail Row( --detail表示列簇 order_channel string, order_time string, pay_amount string, real_pay string, pay_time string, user_id string, user_name string, area_id string), primary key (order_id) not enforced) with ( 'connector' = 'hbase-2.2', 'table-name' = 'order', 'zookeeper.quorum' = 'ZookeeperAddress:ZookeeperPort') ;create table printSink ( order_id string, order_channel string, order_time string, pay_amount string, real_pay string, pay_time string, user_id string, user_name string, area_id string) with ( 'connector' = 'print');insert into printSink select order_id, detail.order_channel,detail.order_time,detail.pay_amount,detail.real_pay,detail.pay_time,detail.user_id,detail.user_name,detail.area_id from hbaseSource;
- 按照如下方式查看taskmanager.out文件中的數(shù)據(jù)結(jié)果:
- 登錄DLI管理控制臺(tái),選擇“作業(yè)管理 > Flink作業(yè)”。
- 單擊對(duì)應(yīng)的Flink作業(yè)名稱(chēng),選擇“運(yùn)行日志”,單擊“OBS桶”,根據(jù)作業(yè)運(yùn)行的日期,找到對(duì)應(yīng)日志的文件夾。
- 進(jìn)入對(duì)應(yīng)日期的文件夾后,找到名字中包含“taskmanager”的文件夾進(jìn)入,下載獲取taskmanager.out文件查看結(jié)果日志。
數(shù)據(jù)結(jié)果參考如下:
+I(202103241000000001,webShop,2021-03-24 10:00:00,100.00,100.00,2021-03-24 10:02:03,0001,Alice,330106)
常見(jiàn)問(wèn)題
- Q:Flink作業(yè)運(yùn)行失敗,作業(yè)運(yùn)行日志中如下報(bào)錯(cuò)信息,應(yīng)該怎么解決?
java.lang.IllegalArgumentException: offset (0) + length (8) exceed the capacity of the array: 6
A:如果HBase表中的數(shù)據(jù)是以其他方式導(dǎo)入的話,那么其存儲(chǔ)是以String格式存儲(chǔ)的,所以使用其他的數(shù)據(jù)格式將會(huì)報(bào)該錯(cuò)誤。需要將Flink創(chuàng)建HBase源表中非string類(lèi)型的字段的字段類(lèi)型重新改為String即可。
- Q:Flink作業(yè)運(yùn)行失敗,作業(yè)運(yùn)行日志中如下報(bào)錯(cuò)信息,應(yīng)該怎么解決?
org.apache.zookeeper.ClientCnxn$SessionTimeoutException: Client session timed out, have not heard from server in 90069ms for connection id 0x0
A:跨源未綁定或未綁定成功,或是HBase集群安全組未配置放通DLI隊(duì)列的網(wǎng)段地址。參考增強(qiáng)型跨源連接重新配置跨源,或者HBase集群安全組放通DLI隊(duì)列的網(wǎng)段地址。
DLI數(shù)據(jù)怎么存儲(chǔ)常見(jiàn)問(wèn)題
更多常見(jiàn)問(wèn)題 >>-
數(shù)據(jù)湖探索DLI用戶(hù)可以通過(guò)可視化界面、Restful API、JDBC、ODBC、Beeline等多種接入方式對(duì)云上CloudTable、RDS和DWS等異構(gòu)數(shù)據(jù)源進(jìn)行查詢(xún)分析,數(shù)據(jù)格式兼容CSV、JSON、Parquet、Carbon和ORC五種主流數(shù)據(jù)格式。
-
數(shù)據(jù)湖探索(Data Lake Insight,簡(jiǎn)稱(chēng)DLI)是完全兼容Apache Spark和Apache Flink生態(tài), 實(shí)現(xiàn)批流一體的Serverless大數(shù)據(jù)計(jì)算分析服務(wù)。DLI支持多模引擎,企業(yè)僅需使用SQL或程序就可輕松完成異構(gòu)數(shù)據(jù)源的批處理、流處理等,挖掘和探索數(shù)據(jù)價(jià)值。
-
華為云對(duì)象存儲(chǔ)服務(wù)OBS針對(duì)桶和對(duì)象提供了標(biāo)準(zhǔn)存儲(chǔ)、低頻訪問(wèn)存儲(chǔ)、歸檔存儲(chǔ)、深度歸檔存儲(chǔ)(受限公測(cè)中)四種存儲(chǔ)類(lèi)別,滿(mǎn)足不同場(chǎng)景下客戶(hù)對(duì)存儲(chǔ)性能和成本的不同訴求。
-
提供安全穩(wěn)定、性能領(lǐng)先、無(wú)限彈性擴(kuò)展的存儲(chǔ)能力,降低使用成本,驅(qū)動(dòng)千行百業(yè)數(shù)據(jù)價(jià)值變現(xiàn)
-
數(shù)據(jù)湖探索(Data Lake Insight,簡(jiǎn)稱(chēng)DLI)是完全兼容Apache Spark、Apache Flink、Trino生態(tài),提供一站式的流處理、批處理、交互式分析的Serverless融合處理分析服務(wù)。用戶(hù)不需要管理任何服務(wù)器,即開(kāi)即用。
-
DLI服務(wù)適用于海量日志分析、異構(gòu)數(shù)據(jù)源聯(lián)邦分析、大數(shù)據(jù)ETL處理。
DLI數(shù)據(jù)怎么存儲(chǔ)教程視頻
最佳實(shí)踐視頻幫助您快速了解搭建流程 了解更多
-
數(shù)據(jù)湖探索DLI Flink作業(yè)入門(mén)指導(dǎo)
讓您了解數(shù)據(jù)湖探索管理控制臺(tái)中Flink作業(yè)的基本操作。 -
海量數(shù)據(jù)的最佳存儲(chǔ)地
隨著人們分享與溝通需求的增加,創(chuàng)造出的數(shù)據(jù)日益增多,越來(lái)越多的企業(yè)面臨著海量數(shù)據(jù)存儲(chǔ)及隨時(shí)分享與訪問(wèn)的問(wèn)題。導(dǎo)致數(shù)據(jù)爆炸的原因是多方面的:智能終端普及、人們分享與溝通需求增加、網(wǎng)絡(luò)狀況高速發(fā)展等等。 那么如何有效解決數(shù)據(jù)爆炸的問(wèn)題?本期云點(diǎn)學(xué)堂,將為您解答疑問(wèn)。 -
使用存儲(chǔ)容災(zāi)服務(wù)復(fù)制數(shù)據(jù)
視頻演示以復(fù)制Wordpress數(shù)據(jù)為例,保護(hù)組切換、切回的操作過(guò)程。
更多相關(guān)專(zhuān)題
- 熱門(mén)產(chǎn)品
- 大模型即服務(wù)平臺(tái) MaaS
- Flexus云服務(wù)
- 云服務(wù)器
- 盤(pán)古大模型
- SSL證書(shū)
- 華為云WeLink
- 支持與服務(wù)
- 自助服務(wù)
- 服務(wù)公告
- 支持計(jì)劃
- 盤(pán)古Doer
- 聯(lián)系我們
- 舉報(bào)中心
- 實(shí)用工具
- 文字識(shí)別
- 漏洞掃描
- 華為云會(huì)議
- 云服務(wù)健康看板
增值電信業(yè)務(wù)經(jīng)營(yíng)許可證:B1.B2-20200593 | 域名注冊(cè)服務(wù)機(jī)構(gòu)許可:黔D3-20230001 | 代理域名注冊(cè)服務(wù)機(jī)構(gòu):新網(wǎng)、西數(shù)