檢測到您已登錄華為云國際站賬號,為了您更好的體驗,建議您訪問國際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
計費說明 計費項 DIS根據(jù)您的消息數(shù)量和使用分區(qū)時長計費。 表1 計費項信息 計費項 計費說明 消息數(shù)量 用戶上傳至DIS通道的消息數(shù)量,下載不計入消息數(shù)量。單條消息計量不超過25KB,即用戶每次上傳的單條數(shù)據(jù)超過25KB時按多條消息計算,不足25KB時,按單條消息計算。
序列號由DIS在數(shù)據(jù)生產(chǎn)者調(diào)用PutRecord操作以添加數(shù)據(jù)到DIS數(shù)據(jù)通道時DIS服務(wù)自動分配的。同一分區(qū)鍵的序列號通常會隨時間變化增加。PutRecords請求之間的時間段越長,序列號越大。 應(yīng)用程序:一個DIS應(yīng)用程序是讀取和處理來自DIS數(shù)據(jù)通道的使用者。
管理轉(zhuǎn)儲任務(wù) 新增轉(zhuǎn)儲任務(wù) 轉(zhuǎn)儲至OBS
開通DIS 開通DIS服務(wù)
數(shù)據(jù)接入服務(wù)(DIS)DIS對于從數(shù)據(jù)生產(chǎn)者快速移出數(shù)據(jù),然后進行持續(xù)處理非常有用。以下是使用DIS的典型場景:加速日志和數(shù)據(jù)傳送獲?。耗鸁o需等待批量處理數(shù)據(jù),而是讓數(shù)據(jù)生產(chǎn)者在生成數(shù)據(jù)后立即輸入DIS數(shù)據(jù)通道,防止因數(shù)據(jù)生產(chǎn)者出現(xiàn)故障導(dǎo)致的數(shù)據(jù)損失。
用戶使用接入通道上傳數(shù)據(jù)的時候,如果數(shù)據(jù)涉及敏感信息,請使用DIS SDK提供的加密配置進行加密或者自行加密。
Python:準備環(huán)境~~獲取數(shù)據(jù)游標 介紹使用DIS SDK進行的常用操作(匹配python)。 Java:準備環(huán)境~~變更分區(qū)數(shù)量 介紹使用DIS SDK進行的常用操作(匹配java)。 DIS服務(wù)端錯誤碼 介紹使用DIS SDK過程中遇到異常時的響應(yīng)信息。 父主題: 簡介
事件通知 事件通知概述 訂閱事件通知 查看事件
使用前必讀 概述 基本概念
轉(zhuǎn)儲相關(guān)問題 Schema如何支持字段缺省或者為NULL 如何專線接入DIS 讀取通道數(shù)據(jù)時,如何區(qū)分不同類型數(shù)據(jù)?
使用注冊賬戶登錄DIS控制臺。 單擊管理控制臺左上角的,選擇區(qū)域和項目。 在左側(cè)列表欄中選擇“通道管理”。 在需要刪除的通道中單擊操作列的“刪除”,彈出“刪除DIS通道”對話框。 單擊“確認”,刪除選中的通道。 父主題: 管理通道
使用注冊賬戶登錄DIS控制臺。 單擊管理控制臺左上角的,選擇區(qū)域和項目。 在左側(cè)列表欄中選擇“通道管理”。 單擊通道名稱,進入所選通道的管理頁面。 單擊“通道調(diào)試”,選擇對應(yīng)分區(qū)后的上傳或下載操作,進行數(shù)據(jù)的上傳和下載。
用戶登錄并驗證權(quán)限 新創(chuàng)建的用戶登錄控制臺,切換至授權(quán)區(qū)域,驗證權(quán)限: 在“服務(wù)列表”中選擇“數(shù)據(jù)接入服務(wù)”,進入DIS主界面創(chuàng)建通道,若未提示權(quán)限不足,表示“DIS Operator”已生效。
使用DIS采集增量駕駛行為日志數(shù)據(jù) 場景簡介 數(shù)據(jù)接入服務(wù)(Data Ingestion Service,簡稱DIS)采集增量駕駛行為日志數(shù)據(jù)并上傳到華為云對象存儲服務(wù)(Object Storage Service,簡稱OBS),通過數(shù)據(jù)湖探索(Data Lake Insight,
應(yīng)用場景 數(shù)據(jù)接入備份 將大量滾動日志文件傳輸?shù)皆贫俗鰝浞?,用?span id="blbrlvh" class='cur'>數(shù)據(jù)丟失或異常后的恢復(fù)和故障分析。同時大量小文本文件可合并轉(zhuǎn)儲為大文件,提高數(shù)據(jù)處理性能。
使用SDK 使用SDK(Java) 使用Kafka Adapter上傳與下載數(shù)據(jù) 使用SDK(Python)
獲取區(qū)域和Endpoint信息 DIS的終端節(jié)點Endpoint構(gòu)造規(guī)則為dis.{region_id}.{域名},您可以從地區(qū)和終端節(jié)點獲取區(qū)域和終端節(jié)點信息。
如何調(diào)用API 構(gòu)造請求 認證鑒權(quán) 返回結(jié)果
查看通道詳情 - ShowStream 修改分區(qū)數(shù)量 - UpdatePartitionCount 查詢當前通道分區(qū)擴縮容日志 - QueryUpdatePartitionCountlog 更新通道信息 - UpdateStream 獲取租戶賬戶下配額情況 - GetQuotas 提交云服務(wù)套餐包訂單
連接OBS 介紹 DIS可以向?qū)ο蟠鎯?span id="lvnf5t5" class='cur'>服務(wù)(Object Storage Service,簡稱OBS)上傳數(shù)據(jù)。 前提條件 已參考自動創(chuàng)建委托創(chuàng)建IAM委托,授權(quán)DIS服務(wù)去訪問用戶的OBS。 數(shù)據(jù)轉(zhuǎn)儲 用戶在新增轉(zhuǎn)儲任務(wù)時可設(shè)置”數(shù)據(jù)轉(zhuǎn)儲地址”。