五月婷婷丁香性爱|j久久一级免费片|久久美女福利视频|中文观看在线观看|加勒比四区三区二|亚洲裸女视频网站|超碰97AV在线69网站免费观看|有码在线免费视频|久久青青日本视频|亚洲国产AAAA

[快速入門(mén)]DLI數(shù)據(jù)怎么存儲(chǔ)
對(duì)象存儲(chǔ)服務(wù) OBS功能-PB級(jí)數(shù)據(jù)存儲(chǔ)

四維地球解決方案基于華為云公有云服務(wù)平臺(tái),用戶(hù)業(yè)務(wù)無(wú)縫對(duì)接,數(shù)據(jù)可在無(wú)感知的情況下推送至華為云OBS對(duì)象存儲(chǔ)中。 華為云OBS服務(wù)在四維地球中的功能 解決方案數(shù)據(jù)更全面,PB級(jí)數(shù)據(jù)在線 0.5m~500m的影像分辨率; 5nm+300余波段; 20年遙感信息積累 解決方案數(shù)據(jù)更可靠,12個(gè)9數(shù)據(jù)持久性 基于華為云OBS對(duì)象存儲(chǔ);

表格存儲(chǔ)服務(wù)

搭配使用 數(shù)據(jù)湖探索 DLI數(shù)據(jù)遷移 CDM 消息日志類(lèi)數(shù)據(jù)存儲(chǔ)查詢(xún) 消息日志類(lèi)數(shù)據(jù)存儲(chǔ)查詢(xún) CloudTable(HBase)滿(mǎn)足消息或日志類(lèi)數(shù)據(jù)的高速查詢(xún)后展現(xiàn)或者返回到應(yīng)用。適用于以下等場(chǎng)景:消息數(shù)據(jù)、報(bào)表數(shù)據(jù)、推薦類(lèi)數(shù)據(jù)、風(fēng)控類(lèi)數(shù)據(jù)、日志數(shù)據(jù)、訂單數(shù)據(jù)等結(jié)構(gòu)化、半

CloudLink 協(xié)作智真系列

配,外接觸控屏體驗(yàn)書(shū)寫(xiě)協(xié)作的暢快 聯(lián)接時(shí)空 改變未來(lái) CloudLink Board CloudLink Bar CloudLink Box CloudLink Board CloudLink Bar CloudLink Box 購(gòu)買(mǎi)咨詢(xún)熱線: 4000-955-988或950808按1轉(zhuǎn)1

鍵值存儲(chǔ)服務(wù)KVS

鍵值存儲(chǔ)服務(wù) KVS 鍵值存儲(chǔ)服務(wù) KVS 提供穩(wěn)定時(shí)延、高可用、Serverless化、高效索引查詢(xún),旨在運(yùn)行任何規(guī)模的高性能應(yīng)用程序 提供穩(wěn)定時(shí)延、高可用、Serverless化、高效索引查詢(xún),旨在運(yùn)行任何規(guī)模的高性能應(yīng)用程序 2024年4月30日~2025年4月29日公測(cè) 申請(qǐng)公測(cè)

實(shí)時(shí)流計(jì)算服務(wù)

實(shí)時(shí)流計(jì)算CS已與數(shù)據(jù)湖探索DLI進(jìn)行了合并,同SPU資源下 數(shù)據(jù)湖探索DLI 價(jià)格下降30%,請(qǐng)前往體驗(yàn)> 進(jìn)入DLI控制臺(tái) 立即購(gòu)買(mǎi) [退市通知] 華為云實(shí)時(shí)流計(jì)算服務(wù)于2020年11月1日00:00:00(北京時(shí)間)退市,原有功能已合并到DLI [進(jìn)入DLI] 數(shù)據(jù)湖探索DLI主頁(yè) [退市通知]

彈性?xún)?nèi)存存儲(chǔ)

EMS采用半托管融合部署,EMS數(shù)據(jù)面部署在AI節(jié)點(diǎn)本地,高效納管AI節(jié)點(diǎn)空閑內(nèi)存資源,提供加速服務(wù)、降低存儲(chǔ)成本 搭配使用 AI開(kāi)發(fā)平臺(tái)ModelArts 云容器引擎 CCE 您可能感興趣的產(chǎn)品 您可能感興趣的產(chǎn)品 高性能彈性文件服務(wù) SFS Turbo 提供按需擴(kuò)展的高性能文件存儲(chǔ) AI開(kāi)發(fā)平臺(tái)ModelArts

云存儲(chǔ)網(wǎng)關(guān)

存儲(chǔ)網(wǎng)關(guān) CSG 云存儲(chǔ)網(wǎng)關(guān) CSG 云存儲(chǔ)網(wǎng)關(guān)(Cloud Storage Gateway)是一種混合云存儲(chǔ)服務(wù),可用于企業(yè)數(shù)據(jù)分級(jí)存儲(chǔ)場(chǎng)景,用戶(hù)數(shù)據(jù)中心的應(yīng)用通過(guò)NFS文件協(xié)議訪問(wèn)網(wǎng)關(guān),數(shù)據(jù)分級(jí)存儲(chǔ)在網(wǎng)關(guān)本地緩存磁盤(pán)及對(duì)象存儲(chǔ)。 云存儲(chǔ)網(wǎng)關(guān)(Cloud Storage Ga

數(shù)據(jù)接入服務(wù) DIS

線上線下數(shù)據(jù)實(shí)時(shí)采集 數(shù)據(jù)傳輸 實(shí)時(shí)數(shù)據(jù)高并發(fā)、低延時(shí)、高可靠傳輸 實(shí)時(shí)數(shù)據(jù)高并發(fā)、低延時(shí)、高可靠傳輸 數(shù)據(jù)流動(dòng) 提供多種connector,對(duì)接云上數(shù)據(jù)存儲(chǔ)、計(jì)算、分析等多種服務(wù),實(shí)現(xiàn)用戶(hù)數(shù)據(jù)自由流動(dòng) 提供多種connector,對(duì)接云上數(shù)據(jù)存儲(chǔ)、計(jì)算、分析等多種服務(wù),實(shí)現(xiàn)用戶(hù)數(shù)據(jù)自由流動(dòng)

數(shù)據(jù)倉(cāng)庫(kù)服務(wù) DWS

支持全局事務(wù)、存儲(chǔ)過(guò)程、數(shù)據(jù)強(qiáng)一致性保證 庫(kù)倉(cāng)一體 邏輯集群,支持一套集群容納數(shù)據(jù)集市、數(shù)據(jù)倉(cāng)庫(kù) 搭配使用 數(shù)據(jù)接入服務(wù) DIS 云數(shù)據(jù)遷移 CDM 數(shù)據(jù)湖治理中心 DataArts Studio 一站式BI解決方案 一站式BI解決方案 企業(yè)積累的海量數(shù)據(jù)及各種數(shù)據(jù)資產(chǎn),體量龐大

[相關(guān)產(chǎn)品]DLI數(shù)據(jù)怎么存儲(chǔ)
51cloudlink

51CloudLink(彈性混合云專(zhuān)線),基于銳速全球骨干傳輸網(wǎng),連接企業(yè)與大規(guī)模公有云,為客戶(hù)提供的高速專(zhuān)線服務(wù)。1、用于搭建企業(yè)自有計(jì)算環(huán)境到公有云用戶(hù)計(jì)算環(huán)境的高速、穩(wěn)定、安全的專(zhuān)屬通道。用戶(hù)可使用專(zhuān)線接入服務(wù)將本地數(shù)據(jù)中心的計(jì)算機(jī)與云上的云服務(wù)器或托管主機(jī)實(shí)現(xiàn)私網(wǎng)相連,充

數(shù)據(jù)在線備份與存儲(chǔ)系統(tǒng)

數(shù)據(jù)在線備份與存儲(chǔ)系統(tǒng)是新一代智能備份到云備份,從存儲(chǔ)到共享的全方位數(shù)據(jù)保護(hù)產(chǎn)品,并提供了統(tǒng)一的數(shù)據(jù)安全管理平臺(tái)。數(shù)據(jù)在線備份與存儲(chǔ)系統(tǒng)數(shù)據(jù)在線備份與存儲(chǔ)系統(tǒng)是一款集備份與存儲(chǔ)一體化產(chǎn)品,有效的解決中小企業(yè)數(shù)據(jù)管理的難題。為企業(yè)提供低投入、易使用、安全可靠的數(shù)據(jù)資產(chǎn)集中保護(hù)方案。

存儲(chǔ)維保

專(zhuān)業(yè)運(yùn)維過(guò)保的老舊型號(hào)存儲(chǔ)服務(wù)器,幫助客戶(hù)節(jié)約存儲(chǔ)維保成本。 專(zhuān)業(yè)實(shí)施部署各種存儲(chǔ)服務(wù)器或存儲(chǔ)系統(tǒng),幫助客戶(hù)提升項(xiàng)目或日常運(yùn)維效率。 專(zhuān)業(yè)處理存儲(chǔ)系統(tǒng)疑難雜癥,和虛擬化、云平臺(tái)、宿主機(jī)、客戶(hù)機(jī)等關(guān)聯(lián)問(wèn)題處理。提供各梯隊(duì)品牌的存儲(chǔ)服務(wù)器、存儲(chǔ)系統(tǒng)運(yùn)維服務(wù),對(duì)老舊型號(hào)的存儲(chǔ)系統(tǒng)做延保技術(shù)支

易華錄藍(lán)光存儲(chǔ)數(shù)據(jù)備份服務(wù)

藍(lán)光數(shù)據(jù)存儲(chǔ)備份服務(wù)是面向政企、行業(yè)客戶(hù)提供低成本、高可靠、長(zhǎng)周期且易訪問(wèn)的冷數(shù)據(jù)存儲(chǔ)和備份產(chǎn)品?;诖笕萘克{(lán)光存儲(chǔ)技術(shù),適用于海量、訪問(wèn)頻次低的非結(jié)構(gòu)化數(shù)據(jù)長(zhǎng)期存儲(chǔ)、管理和備份。藍(lán)光數(shù)據(jù)存儲(chǔ)備份服務(wù)是面向政企、行業(yè)客戶(hù)提供低成本、高可靠、長(zhǎng)周期且易訪問(wèn)的冷數(shù)據(jù)存儲(chǔ)和備份產(chǎn)品?;?/p>

私有云存儲(chǔ)定制

基于主流開(kāi)源云存儲(chǔ)套件定制開(kāi)發(fā),一站解決數(shù)據(jù)存儲(chǔ)和共享,插件功能強(qiáng)大,靈活可擴(kuò)展且安全可靠的自托管云存儲(chǔ)和協(xié)作平臺(tái),適用于個(gè)人用戶(hù)、企業(yè)和組織。用戶(hù)可以在自己的服務(wù)器上搭建和管理文件存儲(chǔ)和共享服務(wù),用戶(hù)可以完全掌控自己的數(shù)據(jù)。提供了跨平臺(tái)的文件同步功能,可以將文件同步到不同設(shè)備上

藍(lán)光存儲(chǔ)配套服務(wù)

藍(lán)光存儲(chǔ)配套服務(wù)是藍(lán)光數(shù)據(jù)存儲(chǔ)備份服務(wù)的配套服務(wù),包括離線數(shù)據(jù)遷移服務(wù)、在線數(shù)據(jù)遷移與技術(shù)支持服務(wù)、存儲(chǔ)設(shè)備搬運(yùn)服務(wù)、軟硬件安裝服務(wù)數(shù)據(jù)取回服務(wù)。1.離線數(shù)據(jù)遷移服務(wù)離線數(shù)據(jù)遷移服務(wù)面向用戶(hù)提供TB或PB級(jí)的海量數(shù)據(jù)離線遷移工具,有效降低用戶(hù)成本的同時(shí),提供穩(wěn)定、快速的數(shù)據(jù)傳輸

德康容災(zāi)存儲(chǔ)系統(tǒng)

德康容災(zāi)存儲(chǔ)系統(tǒng)為用戶(hù)提供了一種在快速容災(zāi)的同時(shí),對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行實(shí)時(shí)備份的有效方法,從而保障了業(yè)務(wù)的連續(xù)性。應(yīng)用介紹德康容災(zāi)存儲(chǔ)系統(tǒng)采用最新的持續(xù)數(shù)據(jù)保護(hù)技術(shù)保障業(yè)務(wù)的連續(xù)性,達(dá)到最短的恢復(fù)時(shí)間和最小的數(shù)據(jù)丟失量(最小的RTO和RPO);具有操作系統(tǒng)備份,數(shù)據(jù)庫(kù)備份,文件備份等功

格爾文件加密存儲(chǔ)網(wǎng)關(guān)軟件

本產(chǎn)品基于密碼技術(shù)和分布式存儲(chǔ)技術(shù)設(shè)計(jì)開(kāi)發(fā)的高性能文件加密存儲(chǔ)軟件,支持服務(wù)集群和異地容災(zāi)備份,為用戶(hù)重要文件數(shù)據(jù)提供專(zhuān)業(yè)級(jí)的安全存儲(chǔ)服務(wù),滿(mǎn)足數(shù)據(jù)存儲(chǔ)安全方面的合規(guī)性要求。格爾文件加密存儲(chǔ)網(wǎng)關(guān)是一款基于密碼技術(shù)和分布式存儲(chǔ)技術(shù)進(jìn)行設(shè)計(jì)開(kāi)發(fā)的安全產(chǎn)品,可以有效解決黨政軍及企事業(yè)單位的敏感文件安全存儲(chǔ)問(wèn)題,滿(mǎn)足“等保2

存儲(chǔ)轉(zhuǎn)發(fā)類(lèi)業(yè)務(wù)許可證

存儲(chǔ)轉(zhuǎn)發(fā)類(lèi)業(yè)務(wù)是指利用存儲(chǔ)轉(zhuǎn)發(fā)機(jī)制為用戶(hù)提供信息發(fā)送的業(yè)務(wù)包括語(yǔ)音信箱、電子郵件、傳真存儲(chǔ)轉(zhuǎn)發(fā)等業(yè)務(wù)。  免費(fèi)咨詢(xún)專(zhuān)業(yè)客服 為您解決全部辦理難題,牌照第二類(lèi)增值電信業(yè)務(wù) 全國(guó)代辦理 急速下證

[相似文章]DLI數(shù)據(jù)怎么存儲(chǔ)
大數(shù)據(jù)存儲(chǔ)_OBS怎么設(shè)置_免費(fèi)的對(duì)象存儲(chǔ)

安全性 圖解對(duì)象存儲(chǔ)服務(wù) 功能概覽 免費(fèi)的對(duì)象存儲(chǔ) 免費(fèi)的對(duì)象存儲(chǔ) 華為云對(duì)象存儲(chǔ)服務(wù) 華為云對(duì)象存儲(chǔ)服務(wù) 對(duì)象存儲(chǔ)服務(wù)(Object Storage Service,OBS)是一個(gè)基于對(duì)象的海量存儲(chǔ)服務(wù),為客戶(hù)提供海量、安全、高可靠、低成本的數(shù)據(jù)存儲(chǔ)能力。 對(duì)象存儲(chǔ)服務(wù)(Object

AI訓(xùn)練加速存儲(chǔ)_高性能數(shù)據(jù)存儲(chǔ)_AI數(shù)據(jù)存儲(chǔ)內(nèi)存不足怎么辦

AI訓(xùn)練加速存儲(chǔ) AI訓(xùn)練加速存儲(chǔ) 華為云對(duì)象存儲(chǔ)服務(wù) OBS 華為云對(duì)象存儲(chǔ)服務(wù) OBS 對(duì)象存儲(chǔ)服務(wù)(Object Storage Server, OBS)是一個(gè)基于對(duì)象的存儲(chǔ)服務(wù),為客戶(hù)提供海量、安全、高可靠、低成本的數(shù)據(jù)存儲(chǔ)能力,使用時(shí)無(wú)需考慮容量限制,并且提供多種存儲(chǔ)類(lèi)型供選擇,滿(mǎn)足客戶(hù)各類(lèi)業(yè)務(wù)場(chǎng)景訴求。

如何搭建基因測(cè)序平臺(tái)_基因數(shù)據(jù)怎么存儲(chǔ)_基因測(cè)序數(shù)據(jù)上云

華為云對(duì)象存儲(chǔ)服務(wù) OBS 新手入門(mén)必看 對(duì)象存儲(chǔ)服務(wù)簡(jiǎn)介 對(duì)象存儲(chǔ)服務(wù)產(chǎn)品優(yōu)勢(shì) 對(duì)象存儲(chǔ)服務(wù)應(yīng)用場(chǎng)景 常見(jiàn)問(wèn)題匯總 產(chǎn)品咨詢(xún) 計(jì)費(fèi)相關(guān) 權(quán)限相關(guān) 桶和對(duì)象相關(guān) 安全性 圖解對(duì)象存儲(chǔ)服務(wù) 功能概覽 免費(fèi)試用 幫助文檔 對(duì)象存儲(chǔ)服務(wù)簡(jiǎn)介 對(duì)象存儲(chǔ)服務(wù)產(chǎn)品優(yōu)勢(shì) 對(duì)象存儲(chǔ)服務(wù)應(yīng)用場(chǎng)景 產(chǎn)品咨詢(xún)

大數(shù)據(jù)存儲(chǔ)_一站式數(shù)據(jù)存儲(chǔ)管理_數(shù)據(jù)存儲(chǔ)方式有哪些

一站式數(shù)據(jù)存儲(chǔ)管理 一站式數(shù)據(jù)存儲(chǔ)管理 對(duì)象存儲(chǔ)服務(wù)(Object Storage Service,OBS)是一個(gè)基于對(duì)象的海量存儲(chǔ)服務(wù),為客戶(hù)提供海量、安全、高可靠、低成本的數(shù)據(jù)存儲(chǔ)能力。到目前為止,OBS支持4種存儲(chǔ)類(lèi)別:標(biāo)準(zhǔn)存儲(chǔ)、低頻訪問(wèn)存儲(chǔ)、歸檔存儲(chǔ)、深度歸檔存儲(chǔ)(受限公

什么是數(shù)據(jù)湖探索服務(wù)_數(shù)據(jù)湖探索DLI用途與特點(diǎn)

使用DLI進(jìn)行電商實(shí)時(shí)業(yè)務(wù)數(shù)據(jù)分析 數(shù)據(jù)湖探索優(yōu)勢(shì) 支持SQL操作: DLI提供標(biāo)準(zhǔn)SQL接口,用戶(hù)僅需使用SQL便可實(shí)現(xiàn)海量數(shù)據(jù)查詢(xún)分析。SQL語(yǔ)法全兼容標(biāo)準(zhǔn)ANSI SQL 2003。 跨源分析: 支持多種數(shù)據(jù)格式,云上多種數(shù)據(jù)源、ECS自建數(shù)據(jù)庫(kù)以及線下數(shù)據(jù)庫(kù),數(shù)據(jù)無(wú)需搬遷

什么是跨源連接-數(shù)據(jù)湖探索DLI跨源連接

跨源連接的特點(diǎn)與用途 DLI支持原生Spark的跨源連接能力,并在其基礎(chǔ)上進(jìn)行了擴(kuò)展,能夠通過(guò)SQL語(yǔ)句、Spark作業(yè)或者Flink作業(yè)訪問(wèn)其他數(shù)據(jù)存儲(chǔ)服務(wù)并導(dǎo)入、查詢(xún)、分析處理其中的數(shù)據(jù),數(shù)據(jù)湖探索跨源連接的功能是打通數(shù)據(jù)源之間的網(wǎng)絡(luò)連接。 數(shù)據(jù)湖探索跨源連接的功能是打通數(shù)據(jù)源之間的網(wǎng)絡(luò)

基因測(cè)序數(shù)據(jù)安全存儲(chǔ)_低成本基因測(cè)序數(shù)據(jù)存儲(chǔ)_基因數(shù)據(jù)存儲(chǔ)

OBS基因測(cè)序解決方案 華為云對(duì)象存儲(chǔ)服務(wù) 華為云對(duì)象存儲(chǔ)服務(wù) OBS提供高并發(fā)、高可靠、低時(shí)延、低成本的海量存儲(chǔ)系統(tǒng),結(jié)合 華為云計(jì)算 服務(wù)可快速搭建高擴(kuò)展性、低成本、高可用的基因測(cè)序平臺(tái)。 OBS提供高并發(fā)、高可靠、低時(shí)延、低成本的海量存儲(chǔ)系統(tǒng),結(jié)合 華為云計(jì)算 服務(wù)可快速搭建高擴(kuò)展性、低成本、高可用的基因測(cè)序平臺(tái)。

什么是Spark SQL作業(yè)_數(shù)據(jù)湖探索DLISpark SQL作業(yè)

DLI可以查詢(xún)存儲(chǔ)在OBS中的數(shù)據(jù),本例介紹使用DLI提交SQL作業(yè)查詢(xún)OBS數(shù)據(jù)的操作步驟。 DLI可以查詢(xún)存儲(chǔ)在OBS中的數(shù)據(jù),本例介紹使用DLI提交SQL作業(yè)查詢(xún)OBS數(shù)據(jù)的操作步驟。 創(chuàng)建并提交Spark SQL作業(yè) 使用DLI提交SQL作業(yè)查詢(xún)RDS MySQL數(shù)據(jù) 本例以SQL作業(yè)

彈性文件存儲(chǔ)試用_彈性文件存儲(chǔ)怎么使用_彈性文件服務(wù)

帶您了解更多華為云產(chǎn)品,助力企業(yè)上云 云服務(wù)器搭建教程 華為云服務(wù)器價(jià)格 云服務(wù)器配置選型 試用云服務(wù)器 香港云服務(wù)器 云服務(wù)器免費(fèi)體驗(yàn)試用 windows系統(tǒng)虛擬主機(jī)介紹及配置 建網(wǎng)站用什么服務(wù)器 國(guó)內(nèi)云服務(wù)器價(jià)格對(duì)比 輕量云服務(wù)器價(jià)格 虛擬主機(jī)空間購(gòu)買(mǎi) 云計(jì)算服務(wù)器搭建教程 高帶寬云服務(wù)器 云服務(wù)器免費(fèi)體驗(yàn)30天

DLI數(shù)據(jù)怎么存儲(chǔ)

功能描述

創(chuàng)建source流從HBase中獲取數(shù)據(jù),作為作業(yè)的輸入數(shù)據(jù)。HBase是一個(gè)穩(wěn)定可靠,性能卓越、可伸縮、面向列的分布式云存儲(chǔ)系統(tǒng),適用于海量數(shù)據(jù)存儲(chǔ)以及分布式計(jì)算的場(chǎng)景,用戶(hù)可以利用HBase搭建起TB至PB級(jí)數(shù)據(jù)規(guī)模的存儲(chǔ)系統(tǒng),對(duì)數(shù)據(jù)輕松進(jìn)行過(guò)濾分析,毫秒級(jí)得到響應(yīng),快速發(fā)現(xiàn)數(shù)據(jù)價(jià)值。DLI可以從HBase中讀取數(shù)據(jù),用于過(guò)濾分析、數(shù)據(jù)轉(zhuǎn)儲(chǔ)等場(chǎng)景。

前提條件

  • 該場(chǎng)景作業(yè)需要運(yùn)行在DLI的獨(dú)享隊(duì)列上,因此要與HBase建立增強(qiáng)型跨源連接,且用戶(hù)可以根據(jù)實(shí)際所需設(shè)置相應(yīng)安全組規(guī)則。
    • 如何建立增強(qiáng)型跨源連接,請(qǐng)參考《數(shù)據(jù)湖探索用戶(hù)指南》中增強(qiáng)型跨源連接章節(jié)。
    • 如何設(shè)置安全組規(guī)則,請(qǐng)參見(jiàn) 虛擬私有云 用戶(hù)指南》中“安全組”章節(jié)。
  • 如果使用 MRS HBase,請(qǐng)?jiān)谠鰪?qiáng)型跨源的主機(jī)信息中添加MRS集群所有節(jié)點(diǎn)的主機(jī)ip信息。

    詳細(xì)操作請(qǐng)參考《數(shù)據(jù)湖探索用戶(hù)指南》中的“修改主機(jī)信息”章節(jié)描述。

注意事項(xiàng)

  • 創(chuàng)建Flink OpenSource SQL作業(yè)時(shí),在作業(yè)編輯界面的“運(yùn)行參數(shù)”處,“Flink版本”需要選擇“1.15”,勾選“保存作業(yè)日志”并設(shè)置保存作業(yè)日志的 OBS 桶,方便后續(xù)查看作業(yè)日志。
  • 認(rèn)證用的username和password等硬編碼到代碼中或者明文存儲(chǔ)都有很大的安全風(fēng)險(xiǎn),建議使用 DEW 管理憑證。配置文件或者環(huán)境變量中密文存放,使用時(shí)解密,確保安全。Flink Opensource SQL使用DEW管理訪問(wèn)憑據(jù)
  • 創(chuàng)建HBase源表的列簇必須定義為ROW類(lèi)型,字段名對(duì)應(yīng)列簇名(column family),嵌套的字段名對(duì)應(yīng)列限定符名(column qualifier)。

    用戶(hù)只需在表結(jié)構(gòu)中聲明查詢(xún)中使用的的列簇和列限定符。除了ROW類(lèi)型的列,剩下的原子數(shù)據(jù)類(lèi)型字段(比如,STRING, BIGINT)將被識(shí)別為HBase的rowkey,一張表中只能聲明一個(gè)rowkey。rowkey字段的名字可以是任意的,如果是保留關(guān)鍵字,需要用反引號(hào)進(jìn)行轉(zhuǎn)義。

語(yǔ)法格式

create table hbaseSource (  attr_name attr_type   (',' attr_name attr_type)*   (',' watermark for rowtime_column_name as watermark-strategy_expression)  ','PRIMARY KEY (attr_name, ...) NOT ENFORCED))with (  'connector' = 'hbase-2.2',  'table-name' = '',  'zookeeper.quorum' = '');

參數(shù)說(shuō)明

表1 參數(shù)說(shuō)明

參數(shù)

是否必選

默認(rèn)值

數(shù)據(jù)

說(shuō)明

connector

無(wú)

String

指定使用的連接器,需配置為:hbase-2.2。

table-name

無(wú)

String

連接的HBase表名。

zookeeper.quorum

無(wú)

String

格式為:ZookeeperAddress:ZookeeperPort

以MRS Hbase集群為例,該參數(shù)的所使用Zookeeper的ip地址和端口號(hào)獲取方式如下:

  • 在MRS Manager上,選擇“集群 > 待操作的集群名稱(chēng) > 服務(wù) > ZooKeeper > 實(shí)例”,獲取ZooKeeper角色實(shí)例的IP地址。
  • 在MRS Manager上,選擇“集群 > 待操作的集群名稱(chēng) > 服務(wù) > ZooKeeper > 配置 > 全部配置”,搜索參數(shù)“clientPort”,獲取“clientPort”的參數(shù)值即為ZooKeeper的端口。

zookeeper.znode.parent

/hbase

String

Zookeeper中的根目錄,默認(rèn)是/hbase。

null-string-literal

無(wú)

String

當(dāng)字符串值為null時(shí)的存儲(chǔ)形式,默認(rèn)存成 "null" 字符串。

HBase的source的編解碼將所有數(shù)據(jù)類(lèi)型(除字符串外)將null值以空字節(jié)來(lái)存儲(chǔ)。

krb_auth_name

無(wú)

String

DLI側(cè)創(chuàng)建的Kerberos類(lèi)型的跨源認(rèn)證名稱(chēng)。

創(chuàng)建跨源認(rèn)證

數(shù)據(jù)類(lèi)型映射

HBase以字節(jié)數(shù)組存儲(chǔ)所有數(shù)據(jù),在讀和寫(xiě)過(guò)程中要序列化和反序列化數(shù)據(jù)。

Flink的HBase連接器利用HBase(Hadoop) 的工具類(lèi)org.apache.hadoop.hbase.util.Bytes進(jìn)行字節(jié)數(shù)組和Flink數(shù)據(jù)類(lèi)型轉(zhuǎn)換。

Flink的HBase連接器將所有數(shù)據(jù)類(lèi)型(除字符串外)null值編碼成空字節(jié)。對(duì)于字符串類(lèi)型,null值的字面值由null-string-literal選項(xiàng)值決定。

表2 數(shù)據(jù)類(lèi)型映射表

Flink數(shù)據(jù)類(lèi)型

HBase轉(zhuǎn)換

CHAR/VARCHAR/STRING

byte[] toBytes(String s)

String toString(byte[] b)

BOOLEAN

byte[] toBytes(boolean b)

boolean toBoolean(byte[] b)

BINARY/VARBINARY

返回 byte[]。

DECIMAL

byte[] toBytes(BigDecimal v)

BigDecimal toBigDecimal(byte[] b)

TINYINT

new byte[] { val }

bytes[0] // returns first and only byte from bytes

SMALLINT

byte[] toBytes(short val)

short toShort(byte[] bytes)

INT

byte[] toBytes(int val)

int toInt(byte[] bytes)

BIGINT

byte[] toBytes(long val)

long toLong(byte[] bytes)

FLOAT

byte[] toBytes(float val)

float toFloat(byte[] bytes)

DOUBLE

byte[] toBytes(double val)

double toDouble(byte[] bytes)

DATE

從 1970-01-01 00:00:00 UTC 開(kāi)始的天數(shù),int 值。

TIME

從 1970-01-01 00:00:00 UTC 開(kāi)始天的毫秒數(shù),int 值。

TIMESTAMP

從 1970-01-01 00:00:00 UTC 開(kāi)始的毫秒數(shù),long 值。

ARRAY

不支持

MAP/MULTISET

不支持

ROW

不支持

示例

該示例是從HBase數(shù)據(jù)源中讀取數(shù)據(jù),并寫(xiě)入到Print結(jié)果表中(該示例使用的HBase版本2.2.3):

  1. 參考增強(qiáng)型跨源連接,在DLI上根據(jù)HBase所在的虛擬 私有云 和子網(wǎng)創(chuàng)建相應(yīng)的增強(qiáng)型跨源,并綁定所要使用的Flink作業(yè)隊(duì)列。參考“修改主機(jī)信息”章節(jié)描述,在增強(qiáng)型跨源中增加MRS的主機(jī)信息。
  2. 設(shè)置HBase集群的安全組,添加入向規(guī)則使其對(duì)Flink作業(yè)隊(duì)列網(wǎng)段放通。參考測(cè)試地址連通性根據(jù)HBase的地址測(cè)試隊(duì)列連通性。如果能連通,則表示跨源已經(jīng)綁定成功,否則表示未成功。
  3. 參考MRS HBase的使用,通過(guò)HBase shell在HBase中創(chuàng)建相應(yīng)的表,表名為order,表中只有一個(gè)列簇detail。創(chuàng)建語(yǔ)句參考如下:
    create 'order', {NAME => 'detail'}
  4. 在HBase shell中執(zhí)行下述命令,以插入一條數(shù)據(jù):
    put 'order', '202103241000000001', 'detail:order_channel','webShop'put 'order', '202103241000000001', 'detail:order_time','2021-03-24 10:00:00'put 'order', '202103241000000001', 'detail:pay_amount','100.00'put 'order', '202103241000000001', 'detail:real_pay','100.00'put 'order', '202103241000000001', 'detail:pay_time','2021-03-24 10:02:03'put 'order', '202103241000000001', 'detail:user_id','0001'put 'order', '202103241000000001', 'detail:user_name','Alice'put 'order', '202103241000000001', 'detail:area_id','330106'
  5. 參考創(chuàng)建Flink OpenSource作業(yè),創(chuàng)建flink opensource sql作業(yè),輸入以下作業(yè)腳本,并提交運(yùn)行。該作業(yè)腳本將HBase作為數(shù)據(jù)源,Print作為結(jié)果表。
    注意:創(chuàng)建作業(yè)時(shí),在作業(yè)編輯界面的“運(yùn)行參數(shù)”處,“Flink版本”選擇“1.15”,勾選“保存作業(yè)日志”并設(shè)置保存作業(yè)日志的OBS桶,方便后續(xù)查看作業(yè)日志。如下腳本中的加粗參數(shù)請(qǐng)根據(jù)實(shí)際環(huán)境修改。
    create table hbaseSource (  order_id string,--表示唯一的rowkey  detail Row( --detail表示列簇    order_channel string,    order_time string,    pay_amount string,    real_pay string,    pay_time string,    user_id string,    user_name string,    area_id string),  primary key (order_id) not enforced) with (  'connector' = 'hbase-2.2',   'table-name' = 'order',   'zookeeper.quorum' = 'ZookeeperAddress:ZookeeperPort') ;create table printSink (  order_id string,  order_channel string,  order_time string,  pay_amount string,  real_pay string,  pay_time string,  user_id string,  user_name string,  area_id string) with ( 'connector' = 'print');insert into printSink select order_id, detail.order_channel,detail.order_time,detail.pay_amount,detail.real_pay,detail.pay_time,detail.user_id,detail.user_name,detail.area_id from hbaseSource;
  6. 按照如下方式查看taskmanager.out文件中的數(shù)據(jù)結(jié)果:
    1. 登錄DLI管理控制臺(tái),選擇“作業(yè)管理 > Flink作業(yè)”。
    2. 單擊對(duì)應(yīng)的Flink作業(yè)名稱(chēng),選擇“運(yùn)行日志”,單擊“OBS桶”,根據(jù)作業(yè)運(yùn)行的日期,找到對(duì)應(yīng)日志的文件夾。
    3. 進(jìn)入對(duì)應(yīng)日期的文件夾后,找到名字中包含“taskmanager”的文件夾進(jìn)入,下載獲取taskmanager.out文件查看結(jié)果日志。

    數(shù)據(jù)結(jié)果參考如下:

    +I(202103241000000001,webShop,2021-03-24 10:00:00,100.00,100.00,2021-03-24 10:02:03,0001,Alice,330106)

常見(jiàn)問(wèn)題

  • Q:Flink作業(yè)運(yùn)行失敗,作業(yè)運(yùn)行日志中如下報(bào)錯(cuò)信息,應(yīng)該怎么解決?
    java.lang.IllegalArgumentException: offset (0) + length (8) exceed the capacity of the array: 6

    A:如果HBase表中的數(shù)據(jù)是以其他方式導(dǎo)入的話,那么其存儲(chǔ)是以String格式存儲(chǔ)的,所以使用其他的數(shù)據(jù)格式將會(huì)報(bào)該錯(cuò)誤。需要將Flink創(chuàng)建HBase源表中非string類(lèi)型的字段的字段類(lèi)型重新改為String即可。

  • Q:Flink作業(yè)運(yùn)行失敗,作業(yè)運(yùn)行日志中如下報(bào)錯(cuò)信息,應(yīng)該怎么解決?
    org.apache.zookeeper.ClientCnxn$SessionTimeoutException: Client session timed out, have not heard from server in 90069ms for connection id 0x0

    A:跨源未綁定或未綁定成功,或是HBase集群安全組未配置放通DLI隊(duì)列的網(wǎng)段地址。參考增強(qiáng)型跨源連接重新配置跨源,或者HBase集群安全組放通DLI隊(duì)列的網(wǎng)段地址。

DLI數(shù)據(jù)怎么存儲(chǔ)常見(jiàn)問(wèn)題

更多常見(jiàn)問(wèn)題 >>
  • 數(shù)據(jù)湖探索DLI用戶(hù)可以通過(guò)可視化界面、Restful API、JDBC、ODBC、Beeline等多種接入方式對(duì)云上CloudTable、RDS和DWS等異構(gòu)數(shù)據(jù)源進(jìn)行查詢(xún)分析,數(shù)據(jù)格式兼容CSV、JSON、Parquet、Carbon和ORC五種主流數(shù)據(jù)格式。

  • 數(shù)據(jù)湖探索(Data Lake Insight,簡(jiǎn)稱(chēng)DLI)是完全兼容Apache Spark和Apache Flink生態(tài), 實(shí)現(xiàn)批流一體的Serverless大數(shù)據(jù)計(jì)算分析服務(wù)。DLI支持多模引擎,企業(yè)僅需使用SQL或程序就可輕松完成異構(gòu)數(shù)據(jù)源的批處理、流處理等,挖掘和探索數(shù)據(jù)價(jià)值。

  • 華為云對(duì)象存儲(chǔ)服務(wù)OBS針對(duì)桶和對(duì)象提供了標(biāo)準(zhǔn)存儲(chǔ)、低頻訪問(wèn)存儲(chǔ)、歸檔存儲(chǔ)、深度歸檔存儲(chǔ)(受限公測(cè)中)四種存儲(chǔ)類(lèi)別,滿(mǎn)足不同場(chǎng)景下客戶(hù)對(duì)存儲(chǔ)性能和成本的不同訴求。

  • 提供安全穩(wěn)定、性能領(lǐng)先、無(wú)限彈性擴(kuò)展的存儲(chǔ)能力,降低使用成本,驅(qū)動(dòng)千行百業(yè)數(shù)據(jù)價(jià)值變現(xiàn)

  • 數(shù)據(jù)湖探索(Data Lake Insight,簡(jiǎn)稱(chēng)DLI)是完全兼容Apache Spark、Apache Flink、Trino生態(tài),提供一站式的流處理、批處理、交互式分析的Serverless融合處理分析服務(wù)。用戶(hù)不需要管理任何服務(wù)器,即開(kāi)即用。

  • DLI服務(wù)適用于海量日志分析、異構(gòu)數(shù)據(jù)源聯(lián)邦分析、大數(shù)據(jù)ETL處理。

更多相關(guān)專(zhuān)題