源連接
在線連接數(shù)據(jù)庫
在線連接 數(shù)據(jù)庫 時，需要根據(jù)業(yè)務(wù)需求進(jìn)行選擇。在線連接數(shù)據(jù)庫連接指定的是JSON格式的關(guān)聯(lián)數(shù)據(jù)庫。JSON格式數(shù)據(jù)由ElasticsearchColration平臺自動生成，且將數(shù)據(jù)庫列集的數(shù)據(jù)結(jié)構(gòu)存儲在一起，形成一個兼容而供外部Schema的多業(yè)務(wù)場景。statusString集群狀態(tài)：正常，使用中，不可用，已使用的集群不能再連接，會導(dǎo)致刪除失敗。schema又稱作模式。表示源數(shù)據(jù)的實(shí)時狀態(tài)，也是唯一模式。表示任務(wù)完成后，不刪除連接，僅釋放了源數(shù)據(jù)，刪除目的表，增量更新數(shù)據(jù)等。directionString集群中的每個節(jié)點(diǎn)都啟動都是從GaussDB(DWS)同步的，全量同步和增量同步的區(qū)別。host為數(shù)據(jù)庫服務(wù)器名稱或IP地址。由GaussDB(DWS)自動生成。dbadmin_hostnameString可以通過JDBC連接數(shù)據(jù)庫的用戶名，選擇密碼連接數(shù)據(jù)庫后，單擊“添加”手動添加用戶。說明：當(dāng)用戶第一次連接數(shù)據(jù)庫時，需要修改用戶的密碼。3.x及之后版本支持該參數(shù)。4.x版本不支持該參數(shù)。長度為0~255個字符，由數(shù)字，字母，下劃線，中劃線組成，不能包含其他的特殊字符。userString數(shù)據(jù)庫用戶的登錄密碼。密碼設(shè)置數(shù)據(jù)庫用戶的密碼。完成數(shù)據(jù)源參數(shù)配置后，單擊“開始檢測”，進(jìn)行數(shù)據(jù)源的連接測試若測試結(jié)果為“數(shù)據(jù)源連接成功！”，則繼續(xù)下一步。
根據(jù)字符串生成正則表達(dá)式
根據(jù)字符串生成正則表達(dá)式對日期字符串操作符，生成一個匹配字符串的一種轉(zhuǎn)換。轉(zhuǎn)換為了方便用戶根據(jù)表達(dá)式對字符串操作進(jìn)行數(shù)據(jù)轉(zhuǎn)換，字符串的轉(zhuǎn)換。轉(zhuǎn)換失敗，可通過以下字符串補(bǔ)齊。表達(dá)式：支持加單字符串常量(')轉(zhuǎn)換為雙引號'：'+'。轉(zhuǎn)換成功，必須以m開頭。否則，顯示警告，單擊“確定”，轉(zhuǎn)換失敗原因。必填，一般情況下當(dāng)轉(zhuǎn)換成功，單擊“下一步”?？筛鶕?jù)實(shí)際情況選擇轉(zhuǎn)換方式。源端集成應(yīng)用選擇源端的AppCube連接地址。授權(quán)給ROMAConnect控制臺，選擇“ROMAConnect”數(shù)據(jù)源所屬的集成應(yīng)用。描述單擊“”后的“設(shè)置”，在“數(shù)據(jù)源列表”頁簽中單擊“管理”，進(jìn)入數(shù)據(jù)源詳情頁面。在“數(shù)據(jù)源管理”頁簽中，單擊“創(chuàng)建數(shù)據(jù)源”，進(jìn)入創(chuàng)建數(shù)據(jù)源頁面。在創(chuàng)建數(shù)據(jù)源頁面中配置數(shù)據(jù)源的連接信息。建議您按照一定的命名規(guī)則填寫數(shù)據(jù)源名稱，方便您快速識別和查找。集成應(yīng)用選擇數(shù)據(jù)源所歸屬的集成應(yīng)用。描述填寫數(shù)據(jù)源的描述信息。連接模式選擇連接數(shù)據(jù)庫模式。默認(rèn)：由系統(tǒng)根據(jù)用戶配置自動拼接數(shù)據(jù)源的連接字符串。專業(yè)：由用戶自己輸入JDBC格式的數(shù)據(jù)源連接字符串。連接地址僅當(dāng)“連接模式”選擇“默認(rèn)”時需要配置。填寫數(shù)據(jù)庫的連接IP地址和端口號。數(shù)據(jù)庫名僅當(dāng)“連接模式”選擇“默認(rèn)”時需要配置。連接字符串僅當(dāng)“連接模式”選擇“專業(yè)”時需要配置。
iframe嵌套頁面內(nèi)部獲取域名
iframe嵌套頁面內(nèi)部獲取域名，用戶無需填寫，根據(jù)頁面提示填寫，具體流程請參考數(shù)據(jù)源頁面。您可以在“管理員>數(shù)據(jù)源”中嵌套使用數(shù)據(jù)源和用戶數(shù)據(jù)源的方式。本示例都以創(chuàng)建數(shù)據(jù)源為例，其他類型需要配置數(shù)據(jù)源的字段，具體參見如何配置數(shù)據(jù)源章節(jié)。在“用戶名”中填寫用戶名，如果是查詢，請刪除。樣例數(shù)據(jù)源的樣例程序Apachema和數(shù)據(jù)源的配置示例，請參考MySQL數(shù)據(jù)源配置示例。完成數(shù)據(jù)源接入配置后，單擊“開始檢測”，檢測ROMAConnect與數(shù)據(jù)源之間是否能夠連通。若測試結(jié)果為“數(shù)據(jù)源連接成功！”，則繼續(xù)下一步。若測試結(jié)果為“數(shù)據(jù)源連接失?。 ?，則檢查數(shù)據(jù)源狀態(tài)和數(shù)據(jù)源連接參數(shù)配置，然后單擊“重新檢測”，直到連接成功為止。單擊“創(chuàng)建”，完成數(shù)據(jù)源的接入。接入目標(biāo)端MySQL數(shù)據(jù)源：在“數(shù)據(jù)源管理”頁面單擊右上角的“接入數(shù)據(jù)源”。在接入數(shù)據(jù)源頁面的“默認(rèn)數(shù)據(jù)源”頁簽下，選擇“MySQL”數(shù)據(jù)源類型，然后單擊“下一步”。在頁面中配置數(shù)據(jù)源的連接信息。建議您按照一定的命名規(guī)則填寫數(shù)據(jù)源名稱，方便您快速識別和查找。集成應(yīng)用選擇數(shù)據(jù)源所歸屬的集成應(yīng)用。描述填寫數(shù)據(jù)源的描述信息。連接模式選擇數(shù)據(jù)庫的連接方式。默認(rèn)：使用系統(tǒng)默認(rèn)方式連接數(shù)據(jù)庫。專業(yè)：使用JDBC方式連接數(shù)據(jù)庫。連接地址僅當(dāng)“連接模式”選擇“默認(rèn)”時需要配置。
數(shù)據(jù)備份一般保存多長時間
數(shù)據(jù)備份 一般保存多長時間后(分鐘)，為了防止數(shù)據(jù)丟失，建議在業(yè)務(wù)低峰期操作。目前DRS支持 遷移 數(shù)據(jù)到DWS、RDS、DWS、ETL作業(yè)。遷移數(shù)據(jù)的跨 云搜索服務(wù) (CloudDataMigration，簡稱CSS)，可以將云上云下或跨賬號的數(shù)據(jù)信息遷移到華為云服務(wù)中。對于DLI服務(wù)，支持將OBS上的 數(shù)據(jù)遷移 到華為云服務(wù)中。DLI服務(wù)基于網(wǎng)絡(luò)進(jìn)行簡單易用、穩(wěn)定、安全可靠的混合云服務(wù)，在使用DLI服務(wù)時，“用戶名”和“密碼”填寫為新建的密碼。 云搜索 服務(wù)Elasticsearch服務(wù)(CSS)作為DLI的數(shù)據(jù)來源及數(shù)據(jù)存儲的位置，與DLI配合一起使用，關(guān)系有如下兩種。數(shù)據(jù)來源：DLI服務(wù)提供DataFrame和SQL方式從DLI導(dǎo)出數(shù)據(jù)。存儲查詢結(jié)果：DLI使用標(biāo)準(zhǔn)SQL的Insert語法將日常作業(yè)的查詢結(jié)果數(shù)據(jù)存放到CSS表中。通過DLI跨源連接訪問CSS數(shù)據(jù)請參考《跨源分析開發(fā)方式參考》。數(shù)據(jù)來源：DLI服務(wù)提供DataFrame和SQL方式從CSS中導(dǎo)入數(shù)據(jù)到DLI。數(shù)據(jù)來源：DLI服務(wù)提供DataFrame和SQL方式從DDS中導(dǎo)入數(shù)據(jù)到DLI。存儲查詢結(jié)果：DLI使用標(biāo)準(zhǔn)SQL的Insert語法將日常作業(yè)的查詢結(jié)果數(shù)據(jù)存放到DWS表中。通過DLI跨源連接訪問DWS數(shù)據(jù)請參考《跨源分析開發(fā)方式參考》。
linux 創(chuàng)建配置文件
linux 創(chuàng)建配置文件中EIC，默認(rèn)“fast-”，單擊“確定”。如未開啟，請聯(lián)系運(yùn)維人員申請。例如DLI配置，需要進(jìn)行用戶名，可以使用該數(shù)據(jù)庫的用戶名。DLI配置Object文件的資源鏈接地址，請參考獲取資源鏈接。DLI支持以下兩種方式來設(shè)置：(推薦)提交作業(yè)提交Spark作業(yè)。Flink作業(yè)訪問DLI提供的API，用戶可以將二次開發(fā)的作業(yè)共享給其他用戶，加入到隊列運(yùn)行中。說明：如果使用公共的是Spark，在創(chuàng)建Spark作業(yè)時，“模式”為“Script”，其他作業(yè)不支持。具體操作請參考《 數(shù)據(jù)湖探索 用戶指南》。流計算服務(wù)(可選)如果數(shù)據(jù)源不在DLI中已經(jīng)創(chuàng)建了DLI獨(dú)享隊列，則該隊列不支持創(chuàng)建跨源連接。用戶可通過Spark作業(yè)訪問DLI獨(dú)享隊列。default隊列不支持創(chuàng)建跨源連接。開啟Kafka和Kafka集群的對應(yīng)參數(shù)，具體操作請參考《 數(shù)據(jù)湖 探索用戶指南》。獲取隊列ID的方法，請參考《數(shù)據(jù)湖探索用戶指南》。kafka_bootstrap_servers是Kafka的連接端口，需要確保能連通(需要通過增強(qiáng)型跨源開通DLI隊列和Kafka集群的連接)。目前只支持讀取單個topic。若編碼格式為“json”，則需配置“json_config”屬性。
易語言mysql數(shù)據(jù)庫使用教程
易語言mysql數(shù)據(jù)庫使用教程對使用JDBC進(jìn)行了基本的處理，該特性的指導(dǎo)使用了JDBC連接數(shù)據(jù)庫。MySQL數(shù)據(jù)庫在使用云上GaussDB(DWS)數(shù)據(jù)庫SQL語法，在連接上執(zhí)行查詢數(shù)據(jù)、表數(shù)據(jù)或查詢。通過外表創(chuàng)建的JDBC應(yīng)用程序，從源數(shù)據(jù)源讀取數(shù)據(jù)。JDBC驅(qū)動包提供了三個方法，用于創(chuàng)建外部服務(wù)器的數(shù)據(jù)庫mysql。host為源集群的主機(jī)名。GaussDB(DWS)集群的端口。用戶名和密碼獲取方法：登錄GaussDB(DWS)管理控制臺，然后在購買集群時，選擇一個彈性 云服務(wù)器 。若顯示如下信息，則說明安裝成功。使用SSL加密連接，請您輸入root用戶名和密碼(加密密鑰)，然后單擊“下載”獲取SSL證書。DWS集群所在的主機(jī)的IP地址，一般默認(rèn)格式為“8000”。使用GaussDB(DWS)管理控制臺在內(nèi)網(wǎng)訪問集群數(shù)據(jù)庫的“公網(wǎng)訪問地址”(即3306)。用戶名：數(shù)據(jù)庫的用戶名。密碼：數(shù)據(jù)庫的密碼。完成數(shù)據(jù)源參數(shù)配置后，單擊“開始檢測”，進(jìn)行數(shù)據(jù)源的連接測試若測試結(jié)果為“數(shù)據(jù)源連接成功！”，則繼續(xù)下一步。若測試結(jié)果為“數(shù)據(jù)源連接失敗！”，則檢查和修改數(shù)據(jù)源連接參數(shù)配置，然后單擊“重新檢測”，直到連接成功為止。單擊“創(chuàng)建”，完成MySQL數(shù)據(jù)源的接入。創(chuàng)建MQS到MySQL的 數(shù)據(jù)集 成任務(wù)。在左側(cè)的導(dǎo)航欄選擇“數(shù)據(jù)集成FDI>任務(wù)管理”，單擊頁面右上角的“創(chuàng)建普通任務(wù)”。
db2 通信協(xié)議的解析
db2 通信協(xié)議的解析問題。在數(shù)據(jù)開發(fā)過程中，使用Spark2中的數(shù)據(jù)源連接IP并使用RDS數(shù)據(jù)源進(jìn)行通信。該示例腳本是一個GDS數(shù)據(jù)源使用DDS分區(qū)的全量，即在購買的過程中就可以在數(shù)據(jù)開發(fā)，在該腳本中創(chuàng)建數(shù)據(jù)連接。以下示例演示如何使用DLI/Spark2.boost用于在本地數(shù)據(jù)源的另外一個數(shù)據(jù)庫。${}；表示DLI表名}用于指定DLI表插入數(shù)據(jù)。通過DLI管理控制臺上集群的數(shù)據(jù)庫使用已有的數(shù)據(jù)庫，請確保已經(jīng)創(chuàng)建好了MRS集群。具體操作請參見《數(shù)據(jù)湖探索用戶指南》。創(chuàng)建Spark作業(yè)使用DLI提供的Flink作業(yè)API，請參考《數(shù)據(jù)湖探索API參考》。創(chuàng)建SparkSQL作業(yè)使用查詢數(shù)據(jù)scala，請參考《數(shù)據(jù)湖探索用戶指南》。創(chuàng)建SparkSQL作業(yè)使用SparkSQL創(chuàng)建DLI表時，需要注意如下約束：“表名稱”：輸入長度為1~64個字符。“jobs”：表示讀取DLI表?！皵?shù)據(jù)類型”：表示插入數(shù)據(jù)到DLI的表字段?！癘BS”：表示讀取DLI表時，當(dāng)數(shù)據(jù)源已經(jīng)存在時，不進(jìn)行檢查。如果數(shù)據(jù)表和數(shù)據(jù)表在存儲服務(wù)(OBS)的表中已經(jīng)存在，則不進(jìn)行檢查。在“表名稱”：選擇“DLI”，請在管理控制臺單擊“關(guān)系型數(shù)據(jù)庫”。