數(shù)據(jù)治理中心 DataArts Studio應(yīng)用場景一：一站式的數(shù)據(jù)運營治理平臺
從數(shù)據(jù)采集->數(shù)據(jù)架構(gòu)->質(zhì)量監(jiān)控->數(shù)據(jù)清洗->數(shù)據(jù)建模->數(shù)據(jù)聯(lián)接->數(shù)據(jù)整合->數(shù)據(jù)消費->智能分析，一站式數(shù)據(jù)智能運營平臺，數(shù)據(jù)治理中心 DataArts Studio幫助企業(yè)快速構(gòu)建數(shù)據(jù)運營能力。
- 多種云服務(wù)作業(yè)編排
- 全鏈路數(shù)據(jù)治理管控
- 豐富數(shù)據(jù)引擎支持
支持對接所有華為云的數(shù)據(jù)湖與數(shù)據(jù)庫云服務(wù)，也支持對接企業(yè)傳統(tǒng)數(shù)據(jù)倉庫，比如Oracle等。
- 簡單易用
圖形化編排，即開即用，輕松上手。
數(shù)據(jù)治理中心 DataArts Studio應(yīng)用場景二：云上數(shù)據(jù)平臺快速搭建
快速將線下數(shù)據(jù)遷移上云，將數(shù)據(jù)集成到云上大數(shù)據(jù)服務(wù)中，并在數(shù)據(jù)治理中心 DataArts Studio的界面中就可以進(jìn)行快速的數(shù)據(jù)開發(fā)工作，讓企業(yè)數(shù)據(jù)體系的建設(shè)變得如此簡單。
- 數(shù)據(jù)集成一鍵式操作
通過在服務(wù)界面配置化操作，可實現(xiàn)線上線下數(shù)據(jù)快速集成到云數(shù)據(jù)倉庫。
- 支持多種數(shù)倉服務(wù)類型
根據(jù)需求，可以靈活選擇數(shù)據(jù)服務(wù)類型，可以選擇DWS服務(wù)建數(shù)倉，也可以選擇MRS服務(wù)等數(shù)據(jù)平臺。
- 安全穩(wěn)定、降低成本
一站式的服務(wù)能力和穩(wěn)定的數(shù)倉服務(wù)，讓云上數(shù)據(jù)萬無一失；免自建大數(shù)據(jù)集群、免運維，極大降低企業(yè)建設(shè)數(shù)倉成本。
數(shù)據(jù)治理中心 DataArts Studio應(yīng)用場景三：基于行業(yè)領(lǐng)域知識庫快速構(gòu)建數(shù)據(jù)中臺
通過應(yīng)用華為在企業(yè)業(yè)務(wù)領(lǐng)域積累的豐富的行業(yè)領(lǐng)域模型和算法，幫助企業(yè)構(gòu)建數(shù)據(jù)中臺，快速提升數(shù)據(jù)運營能力。
- 多行業(yè)支持
覆蓋政務(wù)/稅務(wù)/城市/交通/園區(qū)等各行業(yè)。
- 標(biāo)準(zhǔn)規(guī)范支持
支持分層結(jié)構(gòu)的行業(yè)數(shù)據(jù)標(biāo)準(zhǔn)。
- 領(lǐng)域模型豐富
支持包含人員/組織/事件/時空/車輛/資產(chǎn)/設(shè)備/資源等八大類數(shù)據(jù)以及相互之間關(guān)系的行業(yè)領(lǐng)域模型。
- 快速應(yīng)用行業(yè)庫
支持快速應(yīng)用的行業(yè)主題庫、行業(yè)算法庫、行業(yè)指標(biāo)庫。
-
周期調(diào)度依賴策略
-
IF條件判斷教程
當(dāng)您在數(shù)據(jù)開發(fā)模塊進(jìn)行作業(yè)開發(fā)編排時，想要實現(xiàn)通過設(shè)置條件，選擇不同的執(zhí)行路徑，可使用IF條件判斷。
當(dāng)您在數(shù)據(jù)開發(fā)模塊進(jìn)行作業(yè)開發(fā)編排時，想要實現(xiàn)通過設(shè)置條件，選擇不同的執(zhí)行路徑，可使用IF條件判斷。
-
獲取Rest Client節(jié)點返回值教程
Rest Client節(jié)點可執(zhí)行華為云內(nèi)的Restful請求
本教程主要介紹如何獲取Rest Client的返回值
本小節(jié)包含以下兩個使用場景舉例。
Rest Client節(jié)點可以執(zhí)行華為云內(nèi)的RESTful請求
本教程主要介紹如何獲取Rest Client的返回值
本小節(jié)包含以下兩個使用場景舉例。
-
For Each節(jié)點使用介紹
當(dāng)您進(jìn)行作業(yè)開發(fā)時，如果某些任務(wù)的參數(shù)有差異、但處理邏輯全部一致，在這種情況下您可以通過For Each節(jié)點避免重復(fù)開發(fā)作業(yè)。
當(dāng)您進(jìn)行作業(yè)開發(fā)時，如果某些任務(wù)的參數(shù)有差異、但處理邏輯全部一致，在這種情況下您可以通過For Each節(jié)點避免重復(fù)開發(fā)作業(yè)。
-
跨空間進(jìn)行作業(yè)調(diào)度
不同空間用戶只能操作本空間的作業(yè)。但不同的工作空間之間的作業(yè)如果存在依賴關(guān)系，可參見本教程實現(xiàn)跨空間作業(yè)調(diào)度。
不同空間用戶只能操作本空間的作業(yè)。但不同的工作空間之間的作業(yè)如果存在依賴關(guān)系，可參見本教程實現(xiàn)跨空間作業(yè)調(diào)度。
-
如何授權(quán)其他用戶使用該服務(wù)
項目管理員可以創(chuàng)建一個自定義角色，并賦予該角色相關(guān)的操作權(quán)限，既能滿足實際業(yè)務(wù)使用，也避免了權(quán)限過大的風(fēng)險。
項目管理員可以創(chuàng)建一個自定義角色，并賦予該角色相關(guān)的操作權(quán)限，既能滿足實際業(yè)務(wù)使用，也避免了權(quán)限過大的風(fēng)險。
-
如何查看表行數(shù)和庫大小
在數(shù)據(jù)治理流程中，經(jīng)常需要統(tǒng)計數(shù)據(jù)表行數(shù)或數(shù)據(jù)庫的大小。其中，數(shù)據(jù)表的行數(shù)可以通過SQL命令或數(shù)據(jù)質(zhì)量作業(yè)獲取；數(shù)據(jù)庫大小可以直接在數(shù)據(jù)目錄組件中查看。
在數(shù)據(jù)治理流程中，經(jīng)常需要統(tǒng)計數(shù)據(jù)表行數(shù)或數(shù)據(jù)庫的大小。其中，數(shù)據(jù)表的行數(shù)可以通過SQL命令或數(shù)據(jù)質(zhì)量作業(yè)獲??；數(shù)據(jù)庫大小可以直接在數(shù)據(jù)目錄組件中查看。
-
通過數(shù)據(jù)開發(fā)使用參數(shù)傳遞靈活調(diào)度CDM作業(yè)
如果CDM作業(yè)接收來自數(shù)據(jù)開發(fā)作業(yè)配置的參數(shù)，則在數(shù)據(jù)開發(fā)模塊可以使用諸如EL表達(dá)式傳遞動態(tài)參數(shù)來調(diào)度CDM作業(yè)。
如果CDM作業(yè)接收來自數(shù)據(jù)開發(fā)作業(yè)配置的參數(shù)，則在數(shù)據(jù)開發(fā)模塊可以使用諸如EL表達(dá)式傳遞動態(tài)參數(shù)來調(diào)度CDM作業(yè)。
-
基于MRS Hive表構(gòu)建圖數(shù)據(jù)并自動導(dǎo)入GES
您可以將原始數(shù)據(jù)表按照GES數(shù)據(jù)導(dǎo)入要求處理為標(biāo)準(zhǔn)點數(shù)據(jù)集和邊數(shù)據(jù)集，并通過自動生成元數(shù)據(jù)功能，將圖數(shù)據(jù)定期導(dǎo)入到GES服務(wù)中，并對數(shù)據(jù)進(jìn)行可視化圖形分析。
您可以將原始數(shù)據(jù)表按照GES數(shù)據(jù)導(dǎo)入要求處理為標(biāo)準(zhǔn)點數(shù)據(jù)集和邊數(shù)據(jù)集，并通過自動生成元數(shù)據(jù)功能，將圖數(shù)據(jù)定期導(dǎo)入到GES服務(wù)中，并對數(shù)據(jù)進(jìn)行可視化圖形分析。
-
搭建實時報警平臺
在本實踐用戶可以了解到如何搭建一個簡單的實時報警平臺，該平臺將應(yīng)用多個云服務(wù)，結(jié)合數(shù)據(jù)開發(fā)模塊的作業(yè)編輯和作業(yè)調(diào)度功能來實現(xiàn)。
在本實踐用戶可以了解到如何搭建一個簡單的實時報警平臺，該平臺將應(yīng)用多個云服務(wù)，結(jié)合數(shù)據(jù)開發(fā)模塊的作業(yè)編輯和作業(yè)調(diào)度功能來實現(xiàn)。
-
車聯(lián)網(wǎng)大數(shù)據(jù)業(yè)務(wù)上云
為搭建公司車聯(lián)網(wǎng)業(yè)務(wù)集團(tuán)級的云管理平臺，統(tǒng)一管理、部署硬件資源和通用類軟件資源，實現(xiàn)IT應(yīng)用全面服務(wù)化、云化，CDM助力公司做到代碼“0”改動、數(shù)據(jù)“0”丟失遷移上云。
為搭建公司車聯(lián)網(wǎng)業(yè)務(wù)集團(tuán)級的云管理平臺，統(tǒng)一管理、部署硬件資源和通用類軟件資源，實現(xiàn)IT應(yīng)用全面服務(wù)化、云化，CDM助力公司做到代碼“0”改動、數(shù)據(jù)“0”丟失遷移上云。
-
貿(mào)易數(shù)據(jù)統(tǒng)計與分析
使用云數(shù)據(jù)遷移CDM將本地貿(mào)易統(tǒng)計數(shù)據(jù)導(dǎo)入到OBS，再使用數(shù)據(jù)湖探索DLI進(jìn)行貿(mào)易統(tǒng)計分析，幫助咨詢公司以極簡、極低成本構(gòu)建其大數(shù)據(jù)分析平臺，使得公司更好地聚焦業(yè)務(wù)。
使用云數(shù)據(jù)遷移CDM將本地貿(mào)易統(tǒng)計數(shù)據(jù)導(dǎo)入到OBS，再使用數(shù)據(jù)湖探索DLI進(jìn)行貿(mào)易統(tǒng)計分析，幫助咨詢公司以極簡、極低成本構(gòu)建其大數(shù)據(jù)分析平臺，使得公司更好地聚焦業(yè)務(wù)。
-
數(shù)據(jù)開發(fā)可以創(chuàng)建多少個作業(yè)，作業(yè)中的節(jié)點數(shù)是否有限制？
目前默認(rèn)每個用戶最多可以創(chuàng)建10000個作業(yè)，每個作業(yè)建議最多包含200個節(jié)點。
另外，系統(tǒng)支持用戶根據(jù)實際需求調(diào)整最大配額。如有需求，請?zhí)峤还芜M(jìn)行申請。
-
打不開作業(yè)日志，返回404報錯？
作業(yè)日志在OBS桶中存儲，您需要先在工作空間中配置作業(yè)日志的桶目錄，然后確認(rèn)當(dāng)前賬戶是否具有OBS讀權(quán)限（可以通過檢查IAM中OBS權(quán)限、OBS桶策略來確認(rèn)）。
說明：OBS路徑僅支持OBS桶，不支持并行文件系統(tǒng)。配置作業(yè)日志的桶目錄的步驟操作如下：
1.使用DAYU Administrator或管理員帳號進(jìn)入DataArts Studio控制臺。
2.單擊控制臺的“空間管理”頁簽，進(jìn)入工作空間頁面。
3.單擊待修改工作空間對應(yīng)的“編輯”按鈕。
4.在空間信息頁面中，單擊空間信息后 的“編輯”，該空間信息置于可編輯狀態(tài)。
5.單擊作業(yè)日志OBS路徑后的“請選擇”按鈕，重新選擇日志存儲路徑，可選擇某個具體的目錄。
6.修改完成后，單擊“保存”，即完成作業(yè)日志存儲路徑的自定義修改。
說明：用戶在創(chuàng)建作業(yè)時，會默認(rèn)創(chuàng)建dlf-log-{projectID}命名的桶，此桶若存在，會跳過創(chuàng)建。 -
作業(yè)配置了周期調(diào)度，但是實例監(jiān)控沒有作業(yè)運行調(diào)度記錄？
1.在“運維調(diào)度 > 作業(yè)監(jiān)控”界面確認(rèn)作業(yè)的調(diào)度狀態(tài)是否是調(diào)度中，只有調(diào)度中的作業(yè)到了調(diào)度周期后才會調(diào)度。
2.如果作業(yè)有依賴于其他作業(yè)，在“運維調(diào)度 > 實例監(jiān)控”界面，查看依賴作業(yè)的運行狀態(tài)。如果作業(yè)有自依賴，擴(kuò)大搜索時間窗口，查看是否當(dāng)前作業(yè)歷史實例失敗，導(dǎo)致作業(yè)在等待運行，而沒有生成新作業(yè)實例。
-
數(shù)據(jù)開發(fā)創(chuàng)建數(shù)據(jù)連接，為什么選不到指定的周邊資源？
請確認(rèn)當(dāng)前DataArts Studio實例與周邊資源在同一個Region且在同一個IAM項目下。如果賬戶開通企業(yè)項目，則還需在同一個企業(yè)項目下。
-
數(shù)據(jù)開發(fā)節(jié)點運行中報TOKEN不合法？
請確認(rèn)當(dāng)前用戶在IAM的權(quán)限管理中權(quán)限是否有變更、是否退出用戶組，或者用戶所在的用戶組權(quán)限策略是否有變更？
如果有變更，請重新登錄即可解決。
-
查看作業(yè)日志，但是日志中沒有內(nèi)容？
問題描述
查看作業(yè)日志，日志中沒有內(nèi)容。
原因分析
已在工作空間中配置作業(yè)日志的桶目錄的前提下，確認(rèn)用戶在IAM中的OBS權(quán)限是否具有對象存儲服務(wù)（OBS）的全局權(quán)限，保證用戶能夠創(chuàng)建桶和操作桶。
解決方案
方式1：用戶在對象存儲OBS中創(chuàng)建以“dlf-log-{projectID}”命名的桶，并將操作權(quán)限賦予調(diào)度用戶。
說明：OBS路徑僅支持OBS桶，不支持并行文件系統(tǒng)。方式2：在IAM用戶權(quán)限中增加全局OBS管理員權(quán)限。
-
為什么執(zhí)行完HIVE任務(wù)什么結(jié)果都不顯示？
解決方案：清理緩存數(shù)據(jù)，采用直連方式，數(shù)據(jù)就可以顯示出來了。
-
作業(yè)的計劃時間和開始時間相差大，是什么原因？
在作業(yè)監(jiān)控頁面查看作業(yè)運行記錄時，發(fā)現(xiàn)作業(yè)的計劃時間和開始時間相差較大。其中計劃時間是作業(yè)預(yù)期開始執(zhí)行的時間，即用戶為作業(yè)配置的調(diào)度計劃。開始時間是作業(yè)實際開始執(zhí)行的時間。
這是因為在數(shù)據(jù)開發(fā)中，單個作業(yè)最多允許5個實例并行執(zhí)行，如果作業(yè)實際執(zhí)行時間大于作業(yè)配置的調(diào)度周期，會導(dǎo)致后面批次的作業(yè)實例堆積，從而出現(xiàn)上述問題。
出現(xiàn)上述問題時，請檢查作業(yè)配置的調(diào)度周期是否小于作業(yè)實際執(zhí)行所需要的時間，根據(jù)實際情況調(diào)整作業(yè)的調(diào)度計劃。
-
配置了SMN通知，卻收不到作業(yè)失敗告警通知？
在“運維調(diào)度 > 通知管理”中配置了作業(yè)異常/失敗的SMN通知，但卻收不到作業(yè)失敗的告警通知。
此時可按以下步驟依次排查：
1.確認(rèn)失敗作業(yè)為調(diào)度中的作業(yè)。測試運行的作業(yè)是不發(fā)通知的，只有調(diào)度中的作業(yè)才會發(fā)SMN通知。
2.在“運維調(diào)度 > 通知管理”中查看此作業(yè)的通知配置開發(fā)是否為打開狀態(tài)。
3.登錄SMN頁面，排查對應(yīng)的SMN主題是否有被訂閱。
4.排查對應(yīng)SMN主題的訂閱終端中是否有自己的終端名，還需確認(rèn)訂閱的狀態(tài)是“已確認(rèn)”。
5.SMN通道異常?？赏ㄟ^在SMN界面中給自己的主題直接發(fā)送消息，判斷能否收到SMN的通知。
-
執(zhí)行DLI腳本，報Invalid authentication怎么辦？
請確認(rèn)當(dāng)前用戶在IAM中是否具有DLI Service User 或者 DLI Service Admin權(quán)限。