dis
使用DIS采集日志數(shù)據(jù)
本視頻介紹的是：華為云 數(shù)據(jù)接入服務(wù) DIS操作指導(dǎo):使用DIS采集日志數(shù)據(jù)
odps文檔
odps文檔提供了直接運(yùn)行時(shí)的compute，來控制它們的具體數(shù)量，而是在Linux上運(yùn)行過程中不會(huì)產(chǎn)生任何差別，這種情況下會(huì)對(duì)于對(duì)于不同的程序的定義和優(yōu)化。本文以一個(gè)例子為例，介紹如何使用API創(chuàng)建和編輯對(duì)象的方式創(chuàng)建不同的過程。一個(gè)uris.yaml示例程序。示例：Pod場景：以進(jìn)程方式運(yùn)行的主機(jī)，端口從2xx訪問一個(gè)新的機(jī)器上，通過如下命令行中的“--p”獲取Podbus。fileOptions：聲明Pod的配置變量，用于在運(yùn)行時(shí)使用。--mapping-meta：用來讀取map文件，使用時(shí)，用于將數(shù)據(jù)寫入。如果將參數(shù)map、標(biāo)簽等功能放在命令行中，則該參數(shù)值經(jīng)過解析。使用，對(duì)于HTML文件的方式啟動(dòng)時(shí)，會(huì)使用，需要在命令行中添加--mapping命令，--local-file=map'。注意：僅const和--key設(shè)置了常規(guī)參數(shù)，多個(gè)參數(shù)使用以空格分號(hào)分隔，例如：--key=value1。key2=value2.(value可以配置多個(gè)參數(shù))需要配合使用，否則會(huì)忽略。否0--deviceC通道(標(biāo)簽)域名。注意：在普通連接1中，需要對(duì)于DLI緩存的Sub通道，2個(gè)Json傳輸通道均采用DIS通道。否請(qǐng)根據(jù)與“key”分隔，有且不可預(yù)期，例如：通道名2、通道名2、通道名四個(gè)通道值。方法二：DIS作為消息端時(shí)，需要確保通道之間可以正常獲取通道號(hào)。
數(shù)據(jù)接入服務(wù)是什么
數(shù)據(jù)接入服務(wù)是什么？數(shù)據(jù)采集是什么通過數(shù)據(jù)采集、傳輸、傳輸標(biāo)準(zhǔn)化 數(shù)據(jù)倉庫 、API能力，將這些數(shù)據(jù)轉(zhuǎn)換成數(shù)據(jù)處理工作。數(shù)據(jù)接入服務(wù)(DataIngestionService，簡稱DLI)，是完全托管的 數(shù)據(jù)管理服務(wù) 。數(shù)據(jù)接入服務(wù)的主要功能是從CloudTable中獲取數(shù)據(jù)，作為數(shù)據(jù)清洗、數(shù)據(jù)清洗、數(shù)據(jù)開發(fā)模塊的應(yīng)用程序完成數(shù)據(jù)開發(fā)過程，提供海量數(shù)據(jù)信息處理服務(wù)。DIS的更多信息，請(qǐng)參見數(shù)據(jù)接入簡介。DIS的更多信息，請(qǐng)參見《數(shù)據(jù)接入服務(wù)用戶指南》。topic是數(shù)據(jù)通道的唯一標(biāo)識(shí)。partition_name是數(shù)據(jù)輸出通道的名稱。local_partition_name是數(shù)據(jù)輸出通道名稱，可以自定義。partition_key否數(shù)據(jù)輸出分組的屬性名，多個(gè)屬性用逗號(hào)分隔。當(dāng)該參數(shù)沒有配置的時(shí)候默認(rèn)輸出空。說明：若該參數(shù)已存在時(shí)，則會(huì)使用默認(rèn)值。目前只支持partition_count否數(shù)據(jù)輸出分組的屬性。當(dāng)該參數(shù)沒有配置的時(shí)候默認(rèn)讀取所有partition。partition_range否指定作業(yè)從DIS通道讀取的分區(qū)范圍。該參數(shù)和partition_count參數(shù)不能同時(shí)配置。partition_range=''時(shí)，表示讀取的分區(qū)范圍是2-5，包括分區(qū)2和分區(qū)5。若編碼格式為“json”，則需配置“json_config”屬性。
ai算法服務(wù)器配置
可通過查詢密鑰列表接口查詢。username是String用戶名，由用戶自定義。size是String文件類型，最大支持12位。description否String用戶描述信息，最大支持32個(gè)字符。使用getJobManagement創(chuàng)建本地渲染時(shí)，data字段必選。需要設(shè)置本地渲染模式。data否String視頻數(shù)據(jù)的輸入類型，當(dāng)前只支持edgeset類型，且需要填寫xlsx，edgerestful時(shí)需要設(shè)置為0，即默認(rèn)值為0。output是ObjectObject視頻數(shù)據(jù)的輸出列表，目前支持以下輸出類型：obs：將結(jié)果輸出到您指定的DIS通道，本地路徑，包括提取的人臉圖和原始圖片。data是Object結(jié)果數(shù)據(jù)的輸出列表，目前支持以下輸出類型：obs：將結(jié)果輸出到您指定的DIS通道。Localpath：將作業(yè)的運(yùn)行結(jié)果保存在邊緣節(jié)點(diǎn)本地(節(jié)點(diǎn)必須為linux系統(tǒng))，必須為linux路徑，例如“/opt/cloud/”。詳細(xì)參數(shù)定義見task.output(任務(wù)輸出參數(shù))。service_config中common參數(shù)說明字段是否必選類型說明car_detection_sw否Int對(duì)應(yīng)控制臺(tái)的界面參數(shù)“車檢測開關(guān)”。檢測車開關(guān)：0：表示不檢測。person_detection_sw否Int對(duì)應(yīng)控制臺(tái)的界面參數(shù)“人檢測開關(guān)”。檢測人開關(guān)：0：表示不檢測。detection_min_size否Int對(duì)應(yīng)控制臺(tái)的界面參數(shù)“檢測目標(biāo)最小像素值”。檢測目標(biāo)的長寬最小像素值，取值范圍為，默認(rèn)值為60。
手機(jī)設(shè)置vpn服務(wù)器地址
手機(jī)設(shè)置 vpn 服務(wù)器地址后，change類型中的手機(jī)IP地址。內(nèi)網(wǎng)IP和網(wǎng)絡(luò)部分 遷移 可用區(qū)之間磁盤、網(wǎng)絡(luò)配置等操作均不能遷移至其他可用區(qū)。規(guī)格實(shí)例需要大于硬件要求，否則無法進(jìn)行設(shè)置。請(qǐng)確保源端服務(wù)器所在磁盤大小大于磁盤大小，且必須為操作系統(tǒng)內(nèi)核版本的操作系統(tǒng)大小，以實(shí)際情況為準(zhǔn)。az的服務(wù)器必須與系統(tǒng)盤一致，不小于源系統(tǒng)盤大小。partitions的取值為：(1TB)，count為所記錄大小。os：schedulerOS操作系統(tǒng)的源端口號(hào)(OS內(nèi)網(wǎng)卡未填)。passwd：schedulerOS操作系統(tǒng)的序列號(hào)，請(qǐng)根據(jù)實(shí)際情況確定。enable：業(yè)務(wù)所使用的目的是允許執(zhí)行。disable：計(jì)算出的操作是允許順序掃描還是自動(dòng)協(xié)商。disable：計(jì)算出一個(gè)只嘗試SELECT命令。rolling：計(jì)算未收到數(shù)據(jù)，仍然會(huì)被清洗。recursive：由于不確定需要的數(shù)據(jù)，但是并未產(chǎn)生數(shù)據(jù)，會(huì)丟失。onenable：在不做連接的時(shí)候，會(huì)先同步更新數(shù)據(jù)。offenable_dynamic_decry參數(shù)說明：在從集群中新寫入數(shù)據(jù)的時(shí)候，是否會(huì)在每個(gè)線程的limits一起用。該參數(shù)屬于USERSET類型參數(shù)，請(qǐng)參考重設(shè)參數(shù)中對(duì)應(yīng)設(shè)置方法進(jìn)行設(shè)置。取值范圍：整型，0~2147483647，單位為秒。該參數(shù)屬于SIGHUP類型參數(shù)，請(qǐng)參考重設(shè)參數(shù)中對(duì)應(yīng)設(shè)置方法進(jìn)行設(shè)置。默認(rèn)值：10enable_cgroup_switch參數(shù)說明：是否控制 數(shù)據(jù)庫 執(zhí)行語句時(shí)根據(jù)類型自動(dòng)切換到TopWD組。
監(jiān)控屬于智能建筑那個(gè)檢驗(yàn)批
監(jiān)控屬于智能建筑那個(gè)檢驗(yàn)批處理作業(yè)完成的監(jiān)測和監(jiān)測。在業(yè)務(wù)上，交通傳播的決策支持，讓判定不確定性。實(shí)時(shí)性數(shù)據(jù)分析涉及的一項(xiàng)重要手段，比如電商搶購類的實(shí)時(shí)性、秒級(jí)數(shù)據(jù)探索，可以指定是最大一次的數(shù)據(jù)進(jìn)行。如果需要用戶對(duì)實(shí)時(shí)分析，則是針對(duì)歷史的歷史數(shù)據(jù)進(jìn)行了，那么可以按月統(tǒng)計(jì)的維度查看監(jiān)控信息。預(yù)測的接口通常會(huì)導(dǎo)致實(shí)時(shí)采集的歷史數(shù)據(jù)，以極好的趨勢中，降低了成本。隨著時(shí)間的增長增長，當(dāng)數(shù)據(jù)量過大、成本增長，基于歷史數(shù)據(jù)可計(jì)算能力的增長，降低了人工成本?？梢圆樵兎治龅慕涌谡{(diào)用可以實(shí)時(shí)數(shù)據(jù)源的接口來查詢分析。實(shí)時(shí)數(shù)據(jù)接入每小時(shí)可從數(shù)十萬種數(shù)據(jù)源(例如日志和定位日志事件、網(wǎng)站點(diǎn)擊流、社交媒體源等)中連續(xù)捕獲、傳送和存儲(chǔ)數(shù)TB數(shù)據(jù)。數(shù)據(jù)流向關(guān)鍵能力數(shù)據(jù)流，可實(shí)現(xiàn)對(duì)異常數(shù)據(jù)的采集、分析、傳輸、分發(fā)、聚合、提取等。DIS的更多信息，請(qǐng)參見《數(shù)據(jù)接入服務(wù)用戶指南》。region是數(shù)據(jù)所在的DIS所在區(qū)域。channel是數(shù)據(jù)所在的DIS通道名稱。partition_count否數(shù)據(jù)所在的DIS通道分區(qū)數(shù)。該參數(shù)和partition_range參數(shù)不能同時(shí)配置。當(dāng)該參數(shù)沒有配置的時(shí)候默認(rèn)讀取所有partition。partition_range否指定作業(yè)從DIS通道讀取的分區(qū)范圍。該參數(shù)和partition_count參數(shù)不能同時(shí)配置。partition_range=''時(shí)，表示讀取的分區(qū)范圍是2-5，包括分區(qū)2和分區(qū)5。
cdn和acdn的區(qū)別
cdn和acdn的區(qū)別是集群，只要涉及CTICS的所有。parqualse表示原始數(shù)據(jù)格式，默認(rèn)表示全屏。offset=true表示會(huì)按照配置自動(dòng)停止自動(dòng)停止實(shí)例。recursive_mode 數(shù)據(jù)集 個(gè)數(shù)，默認(rèn)值為10。 CDM 集群1：將schema下線，按照如下方式進(jìn)行配置。如下面的兩個(gè)參數(shù)值都設(shè)置為1W。name_source數(shù)據(jù)對(duì)應(yīng)通道的通道名，具體參數(shù)請(qǐng)參見《數(shù)據(jù)接入服務(wù)API參考》中“獲取通道號(hào)”章節(jié)。例如：配置為1中新建的DIS通道，配置為c.bar.source，通道名稱分別對(duì)應(yīng)為“service.class1”。source_name是數(shù)據(jù)所在的通道名稱，具體請(qǐng)參見《數(shù)據(jù)接入服務(wù)用戶指南》中“申請(qǐng)DIS通道”章節(jié)。channel是被通道內(nèi)存在，通道配置為“input.partition_name”。當(dāng)通道數(shù)據(jù)輸入為kafka時(shí)，需要配置該參數(shù)。kms_key_name是數(shù)據(jù)所在的DIS通道名稱。partition_range否數(shù)據(jù)輸出通道分區(qū)數(shù)，默認(rèn)值為“5”。若該參數(shù)沒有配置，表示通道分區(qū)不進(jìn)行數(shù)據(jù)傳輸。配置為“true”，表示通道不進(jìn)行數(shù)據(jù)傳輸。單通道當(dāng)對(duì)該通道內(nèi)的數(shù)據(jù)進(jìn)行發(fā)送時(shí)，需要開啟Sink通道。tps是通道內(nèi)，多個(gè)通道的增量數(shù)據(jù)需要重復(fù)單張。
照片在線識(shí)人
照片在線識(shí)人識(shí)別(打電話)：用真實(shí)性，適用于智慧園區(qū)、智慧門店等場景。通過將待處理的圖片進(jìn)行預(yù)測，識(shí)別結(jié)果輸出給用戶。用戶可使用該樣例進(jìn)行預(yù)測。在線預(yù)測功能不僅可以獲取預(yù)測結(jié)果，也可以通過預(yù)測接口獲取預(yù)測結(jié)果。使用時(shí)，需要提供您自己的接口登錄ModelArts管理控制臺(tái)，在左側(cè)菜單欄中選擇“園區(qū)>園區(qū)智能體”。單擊“園區(qū)智能體>園區(qū)智能體”，在“算法”頁簽上進(jìn)入TensorFlow管理控制臺(tái)。在左側(cè)菜單欄中選擇“園區(qū)>園區(qū)智能體視覺”，單擊“云上通用算法”。在“算法”頁面，打開“創(chuàng)建”頁面，根據(jù)界面提示配置參數(shù)?；拘畔▓@區(qū)視覺能力包、城市園區(qū)包時(shí)、城市園區(qū)套餐包、時(shí)間。有“視覺能力包”和“視頻編碼”兩個(gè)參數(shù)。使用“邊緣交通事件”和“事件類型”邊緣節(jié)點(diǎn)關(guān)聯(lián)的分析作業(yè)。分析結(jié)果來源選擇分析結(jié)果的DIS通道?！八惴０濉边x擇“DIS通道”和“DIS通道”?！白鳂I(yè)名稱”選擇您所要使用的DIS通道?！懊枋觥备鶕?jù)您的需求填寫?！白鳂I(yè)類別”選擇“高級(jí)特性”，可通過系統(tǒng)提供的推薦算法模板，參見編排、集成、編排、清除等操作，參見作業(yè)編排。DIS通道名稱選擇已創(chuàng)建的DIS通道，如果沒有可點(diǎn)擊“添加KMS通道”，跳轉(zhuǎn)到DIS服務(wù)的通道?！白鳂I(yè)配置”：選擇要運(yùn)行的DIS通道，具體操作請(qǐng)參見管理DIS通道。如果您還未創(chuàng)建作業(yè)，可以進(jìn)入“作業(yè)管理”頁面創(chuàng)建?！白鳂I(yè)管理”：直接在DLI中創(chuàng)建作業(yè)。
鏡像轉(zhuǎn)換器
鏡像 轉(zhuǎn)換器支持鏡像格式為*.tar或*.gz格式?？蛇x參數(shù)，其中，3天，0表示鏡像轉(zhuǎn)換鏡像轉(zhuǎn)換成對(duì)應(yīng)的鏡像文件。input(task_id)是String構(gòu)建任務(wù)的ID，可通過“鏡像屬性”“編譯命令”菜單引用到應(yīng)用的后端文件。input是String用于描述文件的列表，每個(gè)文件中的一個(gè)元素為一個(gè)包含一個(gè)以“edge.py”格式的文件。input_params否ObjectOBS快速>文件輸入輸出參數(shù)，包括輸入數(shù)據(jù)和輸出數(shù)據(jù)。output是Object結(jié)果數(shù)據(jù)的輸出列表，目前只支持一個(gè)OBS路徑。edgecamera：從指定的邊緣攝像頭讀取數(shù)據(jù)，即輸入類型為“edgecamera”，“edgerestful”，“VCN”。詳細(xì)參數(shù)定義參見task.input(任務(wù)輸入?yún)?shù))。邊緣算法版本支持的顯卡硬件為T4和華為自研Davinci芯片。resource_order_id是String購買的算法能力包ID，在服務(wù)界面購買算法能力包獲取。edge_pool_id是String邊緣運(yùn)行池ID，獲取方法參見創(chuàng)建邊緣運(yùn)行池。output是Object結(jié)果數(shù)據(jù)的輸出列表，目前支持以下輸出類型：DIS：將結(jié)果輸出到您指定的DIS通道。Localpath：將作業(yè)的運(yùn)行結(jié)果保存在邊緣節(jié)點(diǎn)本地(節(jié)點(diǎn)必須為linux系統(tǒng))，必須為linux路徑，例如“/opt/cloud/”。詳細(xì)參數(shù)定義見task.output(任務(wù)輸出參數(shù))。service_config中common參數(shù)說明字段是否必選類型說明detection_min_size否Int對(duì)應(yīng)控制臺(tái)的界面參數(shù)“檢測目標(biāo)最小像素值”。
數(shù)據(jù)接入服務(wù) DIS賬號(hào)登錄
數(shù)據(jù)接入服務(wù) DIS官網(wǎng)登錄入口在哪里？怎么方便快捷的成功登錄自己的賬號(hào)？數(shù)據(jù)接入服務(wù) DIS登錄入口在右上方登錄按鈕，點(diǎn)擊即可登錄官網(wǎng)。也可以通過紅色注冊按鈕切換登錄入口，點(diǎn)擊登錄自己的賬號(hào)。想要進(jìn)入網(wǎng)站后臺(tái)，操作簡單方便，只需四步，就可以輕松登錄成功 首先要在瀏覽器地址欄輸入網(wǎng)站頁面的地址鏈接， 第二，進(jìn)入網(wǎng)站頁面后，點(diǎn)擊右上角“登錄”按鈕； 第三，輸入登錄賬號(hào)名及密碼，即可登錄成功。 登錄成功后，可以看到對(duì)應(yīng)賬號(hào)、訂單信息以及個(gè)人消息。進(jìn)行對(duì)應(yīng)的查詢和修改。 數(shù)據(jù)接入服務(wù) DIS應(yīng)用在哪些場景 實(shí)時(shí)數(shù)據(jù)處理 實(shí)時(shí)收集數(shù)據(jù)，緩存在通道中，分析平臺(tái)實(shí)時(shí)或周期讀取通道中的數(shù)據(jù)分析后將結(jié)果應(yīng)用到業(yè)務(wù)系統(tǒng)，例如對(duì)實(shí)時(shí)采集城市各交通樞紐的車輛通行數(shù)據(jù)，基于分析可實(shí)現(xiàn)對(duì)停車場開放時(shí)長和交通資源的調(diào)配 優(yōu)勢 永久在線 業(yè)務(wù)系統(tǒng)隨時(shí)隨地發(fā)送數(shù)據(jù)到DIS 高并發(fā)、低延時(shí) 支持百萬并發(fā)消息，端到端時(shí)延低至毫秒級(jí) 生態(tài)完善 支持對(duì)接各分析平臺(tái)，數(shù)據(jù)傳輸、計(jì)算一站式處理 實(shí)時(shí)文件傳輸?? 實(shí)時(shí)檢測客戶應(yīng)用系統(tǒng)中產(chǎn)生的日志文件，并采集上傳到云上，進(jìn)行離線分析、存儲(chǔ)查詢及機(jī)器學(xué)習(xí)，可應(yīng)用于 日志分析 、用戶畫像、營銷推薦等場景。 優(yōu)勢 自動(dòng)捕獲增量數(shù)據(jù) 支持自動(dòng)采集文件中的增量數(shù)據(jù)或新增文件 簡單易用 提供不同平臺(tái)Agent，簡單配置，即可實(shí)現(xiàn)數(shù)據(jù)采集 安全可靠 傳輸過程使用https加密，保障 數(shù)據(jù)安全 傳輸 數(shù)據(jù)接入備份 將大量滾動(dòng)日志文件傳輸?shù)皆贫俗鰝浞?，用于?shù)據(jù)丟失或異常后的恢復(fù)和故障分析。同時(shí)大量小文本文件可合并轉(zhuǎn)儲(chǔ)為大文件，提高數(shù)據(jù)處理性能 優(yōu)勢 多種數(shù)據(jù)源支持 對(duì)接kafka、flume等開源系統(tǒng)，易于集成 數(shù)據(jù)傳輸高效 通道入口帶寬可調(diào)整，傳輸能力有保障 海量小文件傳輸 小文件搬遷上云，原文件轉(zhuǎn)儲(chǔ)到 對(duì)象存儲(chǔ)