檢測到您已登錄華為云國際站賬號,為了您更好的體驗,建議您訪問國際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
標(biāo)簽管理 給指定通道添加標(biāo)簽 - CreateTag 查詢指定通道的標(biāo)簽信息 - ShowStreamTags 刪除指定通道的標(biāo)簽 - DeleteTag 批量添加資源標(biāo)簽 - BatchCreateTags 查詢指定區(qū)域所有標(biāo)簽集合 - ListTags 使用標(biāo)簽過濾資源(通道等
Kafka Adapter概述 dis-kafka-adapter是數(shù)據(jù)接入服務(wù)(DIS)提供的一個sdk,支持原本使用Kafka Client上傳數(shù)據(jù)的用戶,以類似原來的操作將數(shù)據(jù)上傳到DIS。 目前只支持Java版本。 父主題: 使用Kafka Adapter上傳與下載數(shù)據(jù)
步驟4:從DIS獲取數(shù)據(jù) 功能簡介 從DIS服務(wù)中下載數(shù)據(jù)。
新增轉(zhuǎn)儲任務(wù) 將數(shù)據(jù)發(fā)送到DIS通道后,通過為通道添加轉(zhuǎn)儲任務(wù),數(shù)據(jù)將自動傳輸?shù)侥x擇的目標(biāo)。 使用注冊賬戶登錄DIS控制臺。 單擊管理控制臺左上角的,選擇區(qū)域和項目。 在左側(cè)列表欄中選擇通道管理。 單擊需要查看的通道名稱,進(jìn)入所選通道的管理頁面,選擇“轉(zhuǎn)儲任務(wù)”頁簽。
步驟1:開通DIS通道 用戶可以基于云管理平臺Web界面開通DIS通道。 前提條件 使用DIS前需要注冊公有云賬戶,再開通DIS。 操作步驟 使用注冊賬戶登錄DIS控制臺。 單擊管理控制臺左上角的,選擇區(qū)域和項目。 單擊“購買接入通道”配置相關(guān)參數(shù)。
我們用區(qū)域和可用區(qū)來描述數(shù)據(jù)中心的位置,您可以在特定的區(qū)域、可用區(qū)創(chuàng)建資源。 區(qū)域(Region):從地理位置和網(wǎng)絡(luò)時延維度劃分,同一個Region內(nèi)共享彈性計算、塊存儲、對象存儲、VPC網(wǎng)絡(luò)、彈性公網(wǎng)IP、鏡像等公共服務(wù)。
SDK下載 在https://github.com/huaweicloud/huaweicloud-sdk-java-dis中下載DIS的Java SDK壓縮包。 獲取DIS SDK軟件包及校驗文件后,需要對軟件包的完整性進(jìn)行校驗,參考如何校驗軟件包完整性?。 父主題: 相關(guān)資源
獲取認(rèn)證信息 獲取AK/SK AK/SK (Access Key ID/Secret Access Key)是用戶調(diào)用接口的訪問密鑰。由用戶在IAM中創(chuàng)建,可在“我的憑證 > 訪問密鑰”頁面下載生成。 獲取項目ID 項目ID表示租戶的資源。用戶可在“我的憑證 > > API憑證”頁面下查看項目列表中不同
查看事件 介紹用戶如何查找通道或轉(zhuǎn)儲任務(wù)發(fā)生的事件。 在“事件管理”頁面中單擊“事件”,默認(rèn)顯示當(dāng)前所有通道或轉(zhuǎn)儲任務(wù)已發(fā)生的事件。 在事件列表右上方的下拉列表中通過選擇不同的篩選條件搜索事件??蓮氖录墑e和事件源兩個維度進(jìn)行篩選。 在下拉列表中選擇“所有事件級別”、“正常”或“警告
監(jiān)控管理 查詢通道監(jiān)控 - ShowStreamMetrics 查詢分區(qū)監(jiān)控 - ShowPartitionMetrics 父主題: API說明
自動創(chuàng)建委托 用戶創(chuàng)建DIS通道,選擇將數(shù)據(jù)轉(zhuǎn)儲到對象存儲服務(wù)(Object Storage Service,簡稱OBS)中,需要通過創(chuàng)建IAM委托授權(quán)DIS服務(wù)去訪問用戶的OB資源。 使用賬號首次進(jìn)入界面添加轉(zhuǎn)儲任務(wù)時,系統(tǒng)會自動彈出創(chuàng)建委托界面。
下載數(shù)據(jù)時,需要定期的使用descriptStream接口檢測通道分區(qū)數(shù)量的變化,以便DIS可以下載到所有分區(qū)的數(shù)據(jù)。
獲取項目ID 調(diào)用API獲取項目ID 項目ID可以通過調(diào)用查詢指定條件下的項目信息API獲取。 獲取項目ID的接口為“GET https://{Endpoint}/v3/projects”,其中{Endpoint}為IAM的終端節(jié)點,可以從地區(qū)和終端節(jié)點獲取。接口的認(rèn)證鑒權(quán)請參見認(rèn)證鑒權(quán)
應(yīng)用程序消費數(shù)據(jù)時,記錄已消費數(shù)據(jù)的最新序列號作為檢查點。當(dāng)重新消費數(shù)據(jù)時,可根據(jù)此檢查點繼續(xù)消費。 APP 應(yīng)用程序標(biāo)識符。當(dāng)多個應(yīng)用程序分別消費同一通道的數(shù)據(jù)時,為區(qū)分不同應(yīng)用程序的消費檢查點,使用APP作為標(biāo)識。 父主題: 使用前必讀
數(shù)據(jù)接入服務(wù)(Data Ingestion Service)為處理或分析流數(shù)據(jù)的自定義應(yīng)用程序構(gòu)建數(shù)據(jù)流管道,主要解決云服務(wù)外的數(shù)據(jù)實時傳輸?shù)皆?span id="b5dxfth" class='cur'>服務(wù)內(nèi)的問題。
步驟3:發(fā)送數(shù)據(jù)到DIS 基于數(shù)據(jù)上傳業(yè)務(wù)開發(fā)應(yīng)用程序,并運行程序,實現(xiàn)數(shù)據(jù)上傳功能。數(shù)據(jù)上傳過程中可在Console控制臺查看數(shù)據(jù)上傳通道相關(guān)信息。 步驟4:從DIS獲取數(shù)據(jù) 基于數(shù)據(jù)下載業(yè)務(wù)開發(fā)應(yīng)用程序,并運行程序,實現(xiàn)數(shù)據(jù)下載功能。 父主題: 入門
DIS Spark Streaming概述 DIS Spark Streaming是數(shù)據(jù)接入服務(wù)(DIS)提供的一個sdk,支持將DIS作為數(shù)據(jù)源創(chuàng)建DStream對接SparkStreaming。 DIS Spark Streaming使用流程如圖1所示。
DIS對接EPS鑒權(quán)后,進(jìn)入通道列表頁面看不見之前創(chuàng)建的通道? 默認(rèn)的DIS服務(wù)委托權(quán)限過大,應(yīng)該怎么進(jìn)行權(quán)限最小化處理?
因此客戶端必須注意本地時間與時鐘服務(wù)器的同步,避免請求消息頭X-Sdk-Date的值出現(xiàn)較大誤差。
刪除轉(zhuǎn)儲任務(wù) - DeleteTransferTask 查詢轉(zhuǎn)儲任務(wù)詳情 - ShowTransferTask 批量暫停轉(zhuǎn)儲任務(wù) - BatchStopTransferTask 批量啟動轉(zhuǎn)儲任務(wù) - BatchStartTransferTask 獲取桶列表 - Getbuckets 創(chuàng)建源數(shù)據(jù)