數(shù)據(jù)通道
數(shù)據(jù)接入服務(wù)是什么
數(shù)據(jù)接入服務(wù) 是什么？數(shù)據(jù)采集是什么通過數(shù)據(jù)采集、傳輸、傳輸標(biāo)準(zhǔn)化 數(shù)據(jù)倉庫 、API能力，將這些數(shù)據(jù)轉(zhuǎn)換成數(shù)據(jù)處理工作。數(shù)據(jù)接入服務(wù)(DataIngestionService，簡稱DLI)，是完全托管的 數(shù)據(jù)管理服務(wù) 。數(shù)據(jù)接入服務(wù)的主要功能是從CloudTable中獲取數(shù)據(jù)，作為數(shù)據(jù)清洗、數(shù)據(jù)清洗、數(shù)據(jù)開發(fā)模塊的應(yīng)用程序完成數(shù)據(jù)開發(fā)過程，提供海量數(shù)據(jù)信息處理服務(wù)。DIS的更多信息，請參見數(shù)據(jù)接入簡介。DIS的更多信息，請參見《數(shù)據(jù)接入服務(wù)用戶指南》。topic是數(shù)據(jù)通道的唯一標(biāo)識。partition_name是數(shù)據(jù)輸出通道的名稱。local_partition_name是數(shù)據(jù)輸出通道名稱，可以自定義。partition_key否數(shù)據(jù)輸出分組的屬性名，多個屬性用逗號分隔。當(dāng)該參數(shù)沒有配置的時候默認(rèn)輸出空。說明：若該參數(shù)已存在時，則會使用默認(rèn)值。目前只支持partition_count否數(shù)據(jù)輸出分組的屬性。當(dāng)該參數(shù)沒有配置的時候默認(rèn)讀取所有partition。partition_range否指定作業(yè)從DIS通道讀取的分區(qū)范圍。該參數(shù)和partition_count參數(shù)不能同時配置。partition_range=''時，表示讀取的分區(qū)范圍是2-5，包括分區(qū)2和分區(qū)5。若編碼格式為“json”，則需配置“json_config”屬性。
數(shù)據(jù)監(jiān)測平臺
數(shù)據(jù)監(jiān)測平臺通過配置數(shù)據(jù)通道，對數(shù)據(jù)進行實時監(jiān)測和監(jiān)控。前提條件用戶必須開通一個華為云賬號并進行實名認(rèn)證。服務(wù)實例所創(chuàng)建的數(shù)據(jù)已完成數(shù)據(jù)訂閱。當(dāng)用戶需要將本地的數(shù)據(jù)接入通道中已經(jīng)部署在公有云上，用戶既可以從專線下的數(shù)據(jù)中心的流數(shù)據(jù)完成采集上云。用戶也可以通過數(shù)據(jù)采集任務(wù)將數(shù)據(jù)下載到本地，無需再將本地的數(shù)據(jù)上傳至OBS。數(shù)據(jù)采集在云上創(chuàng)建數(shù)據(jù)接入服務(wù)和數(shù)據(jù)接入的具體操作流程如下：登錄 云專線 服務(wù)管理控制臺。在左側(cè)導(dǎo)航欄，選擇“數(shù)據(jù)接入服務(wù)”。在頁面右上角單擊“創(chuàng)建數(shù)據(jù)接入通道”。在彈出的“創(chuàng)建數(shù)據(jù)接入通道”頁面中，填寫相關(guān)參數(shù)。“密鑰”填寫創(chuàng)建數(shù)據(jù)通道的相關(guān)配置信息。待采集的FIHDFS數(shù)據(jù)源名稱填寫用戶自定義。KMS密鑰存儲使用的密鑰名稱。分隔符用戶數(shù)據(jù)存儲FIHDFS數(shù)據(jù)源的文件格式。分隔符填寫FIHDFS數(shù)據(jù)源的分隔符。存儲塊大小(M)選擇FIHDFS數(shù)據(jù)源的數(shù)據(jù)存儲類型。存儲類型選擇寫入MRSHDFS數(shù)據(jù)源的數(shù)據(jù)存儲類型，可選擇“Textfile”。批次號用戶自定義批次號，該批次號字段不能和Mapping信息中的目標(biāo)字段重復(fù)。該字段值將為一個隨機數(shù)，用來標(biāo)識同一批次的數(shù)據(jù)，同一批次插入的數(shù)據(jù)具有相同的批次號，表示這些數(shù)據(jù)是同一批次插入的，可以用來定位或者解析回滾。元數(shù)據(jù)定義寫入到目標(biāo)端文本數(shù)據(jù)的數(shù)據(jù)字段，不同數(shù)據(jù)字段通過“分隔符”進行分隔。源端有多少個字段需要集成，則目標(biāo)端需要定義相同個數(shù)的元數(shù)據(jù)。