數(shù)據(jù)接入服務(wù) DIS
使用DIS采集日志數(shù)據(jù)
本視頻介紹的是：華為云 數(shù)據(jù)接入服務(wù) DIS操作指導(dǎo):使用DIS采集日志數(shù)據(jù)
數(shù)據(jù)接入服務(wù)是什么
數(shù)據(jù)接入服務(wù)是什么？數(shù)據(jù)采集是什么通過數(shù)據(jù)采集、傳輸、傳輸標(biāo)準(zhǔn)化 數(shù)據(jù)倉庫 、API能力，將這些數(shù)據(jù)轉(zhuǎn)換成數(shù)據(jù)處理工作。數(shù)據(jù)接入服務(wù)(DataIngestionService，簡稱DLI)，是完全托管的 數(shù)據(jù)管理服務(wù) 。數(shù)據(jù)接入服務(wù)的主要功能是從CloudTable中獲取數(shù)據(jù)，作為數(shù)據(jù)清洗、數(shù)據(jù)清洗、數(shù)據(jù)開發(fā)模塊的應(yīng)用程序完成數(shù)據(jù)開發(fā)過程，提供海量數(shù)據(jù)信息處理服務(wù)。DIS的更多信息，請參見數(shù)據(jù)接入簡介。DIS的更多信息，請參見《數(shù)據(jù)接入服務(wù)用戶指南》。topic是數(shù)據(jù)通道的唯一標(biāo)識。partition_name是數(shù)據(jù)輸出通道的名稱。local_partition_name是數(shù)據(jù)輸出通道名稱，可以自定義。partition_key否數(shù)據(jù)輸出分組的屬性名，多個(gè)屬性用逗號分隔。當(dāng)該參數(shù)沒有配置的時(shí)候默認(rèn)輸出空。說明：若該參數(shù)已存在時(shí)，則會使用默認(rèn)值。目前只支持partition_count否數(shù)據(jù)輸出分組的屬性。當(dāng)該參數(shù)沒有配置的時(shí)候默認(rèn)讀取所有partition。partition_range否指定作業(yè)從DIS通道讀取的分區(qū)范圍。該參數(shù)和partition_count參數(shù)不能同時(shí)配置。partition_range=''時(shí)，表示讀取的分區(qū)范圍是2-5，包括分區(qū)2和分區(qū)5。若編碼格式為“json”，則需配置“json_config”屬性。
數(shù)據(jù)接入服務(wù) DIS賬號登錄
數(shù)據(jù)接入服務(wù) DIS官網(wǎng)登錄入口在哪里？怎么方便快捷的成功登錄自己的賬號？數(shù)據(jù)接入服務(wù) DIS登錄入口在右上方登錄按鈕，點(diǎn)擊即可登錄官網(wǎng)。也可以通過紅色注冊按鈕切換登錄入口，點(diǎn)擊登錄自己的賬號。想要進(jìn)入網(wǎng)站后臺，操作簡單方便，只需四步，就可以輕松登錄成功 首先要在瀏覽器地址欄輸入網(wǎng)站頁面的地址鏈接， 第二，進(jìn)入網(wǎng)站頁面后，點(diǎn)擊右上角“登錄”按鈕； 第三，輸入登錄賬號名及密碼，即可登錄成功。 登錄成功后，可以看到對應(yīng)賬號、訂單信息以及個(gè)人消息。進(jìn)行對應(yīng)的查詢和修改。 數(shù)據(jù)接入服務(wù) DIS應(yīng)用在哪些場景 實(shí)時(shí)數(shù)據(jù)處理 實(shí)時(shí)收集數(shù)據(jù)，緩存在通道中，分析平臺實(shí)時(shí)或周期讀取通道中的數(shù)據(jù)分析后將結(jié)果應(yīng)用到業(yè)務(wù)系統(tǒng)，例如對實(shí)時(shí)采集城市各交通樞紐的車輛通行數(shù)據(jù)，基于分析可實(shí)現(xiàn)對停車場開放時(shí)長和交通資源的調(diào)配 優(yōu)勢 永久在線 業(yè)務(wù)系統(tǒng)隨時(shí)隨地發(fā)送數(shù)據(jù)到DIS 高并發(fā)、低延時(shí) 支持百萬并發(fā)消息，端到端時(shí)延低至毫秒級 生態(tài)完善 支持對接各分析平臺，數(shù)據(jù)傳輸、計(jì)算一站式處理 實(shí)時(shí)文件傳輸?? 實(shí)時(shí)檢測客戶應(yīng)用系統(tǒng)中產(chǎn)生的日志文件，并采集上傳到云上，進(jìn)行離線分析、存儲查詢及機(jī)器學(xué)習(xí)，可應(yīng)用于 日志分析 、用戶畫像、營銷推薦等場景。 優(yōu)勢 自動捕獲增量數(shù)據(jù) 支持自動采集文件中的增量數(shù)據(jù)或新增文件 簡單易用 提供不同平臺Agent，簡單配置，即可實(shí)現(xiàn)數(shù)據(jù)采集 安全可靠 傳輸過程使用https加密，保障 數(shù)據(jù)安全 傳輸 數(shù)據(jù)接入備份 將大量滾動日志文件傳輸?shù)皆贫俗鰝浞?，用于?shù)據(jù)丟失或異常后的恢復(fù)和故障分析。同時(shí)大量小文本文件可合并轉(zhuǎn)儲為大文件，提高數(shù)據(jù)處理性能 優(yōu)勢 多種數(shù)據(jù)源支持 對接kafka、flume等開源系統(tǒng)，易于集成 數(shù)據(jù)傳輸高效 通道入口帶寬可調(diào)整，傳輸能力有保障 海量小文件傳輸 小文件搬遷上云，原文件轉(zhuǎn)儲到 對象存儲