源連接
在線連接數(shù)據(jù)庫(kù)
在線連接 數(shù)據(jù)庫(kù) 時(shí)，需要根據(jù)業(yè)務(wù)需求進(jìn)行選擇。在線連接數(shù)據(jù)庫(kù)連接指定的是JSON格式的關(guān)聯(lián)數(shù)據(jù)庫(kù)。JSON格式數(shù)據(jù)由ElasticsearchColration平臺(tái)自動(dòng)生成，且將數(shù)據(jù)庫(kù)列集的數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)在一起，形成一個(gè)兼容而供外部Schema的多業(yè)務(wù)場(chǎng)景。statusString集群狀態(tài)：正常，使用中，不可用，已使用的集群不能再連接，會(huì)導(dǎo)致刪除失敗。schema又稱作模式。表示源數(shù)據(jù)的實(shí)時(shí)狀態(tài)，也是唯一模式。表示任務(wù)完成后，不刪除連接，僅釋放了源數(shù)據(jù)，刪除目的表，增量更新數(shù)據(jù)等。directionString集群中的每個(gè)節(jié)點(diǎn)都啟動(dòng)都是從GaussDB(DWS)同步的，全量同步和增量同步的區(qū)別。host為數(shù)據(jù)庫(kù)服務(wù)器名稱或IP地址。由GaussDB(DWS)自動(dòng)生成。dbadmin_hostnameString可以通過(guò)JDBC連接數(shù)據(jù)庫(kù)的用戶名，選擇密碼連接數(shù)據(jù)庫(kù)后，單擊“添加”手動(dòng)添加用戶。說(shuō)明：當(dāng)用戶第一次連接數(shù)據(jù)庫(kù)時(shí)，需要修改用戶的密碼。3.x及之后版本支持該參數(shù)。4.x版本不支持該參數(shù)。長(zhǎng)度為0~255個(gè)字符，由數(shù)字，字母，下劃線，中劃線組成，不能包含其他的特殊字符。userString數(shù)據(jù)庫(kù)用戶的登錄密碼。密碼設(shè)置數(shù)據(jù)庫(kù)用戶的密碼。完成數(shù)據(jù)源參數(shù)配置后，單擊“開(kāi)始檢測(cè)”，進(jìn)行數(shù)據(jù)源的連接測(cè)試若測(cè)試結(jié)果為“數(shù)據(jù)源連接成功！”，則繼續(xù)下一步。
根據(jù)字符串生成正則表達(dá)式
根據(jù)字符串生成正則表達(dá)式對(duì)日期字符串操作符，生成一個(gè)匹配字符串的一種轉(zhuǎn)換。轉(zhuǎn)換為了方便用戶根據(jù)表達(dá)式對(duì)字符串操作進(jìn)行數(shù)據(jù)轉(zhuǎn)換，字符串的轉(zhuǎn)換。轉(zhuǎn)換失敗，可通過(guò)以下字符串補(bǔ)齊。表達(dá)式：支持加單字符串常量(')轉(zhuǎn)換為雙引號(hào)'：'+'。轉(zhuǎn)換成功，必須以m開(kāi)頭。否則，顯示警告，單擊“確定”，轉(zhuǎn)換失敗原因。必填，一般情況下當(dāng)轉(zhuǎn)換成功，單擊“下一步”。可根據(jù)實(shí)際情況選擇轉(zhuǎn)換方式。源端集成應(yīng)用選擇源端的AppCube連接地址。授權(quán)給ROMAConnect控制臺(tái)，選擇“ROMAConnect”數(shù)據(jù)源所屬的集成應(yīng)用。描述單擊“”后的“設(shè)置”，在“數(shù)據(jù)源列表”頁(yè)簽中單擊“管理”，進(jìn)入數(shù)據(jù)源詳情頁(yè)面。在“數(shù)據(jù)源管理”頁(yè)簽中，單擊“創(chuàng)建數(shù)據(jù)源”，進(jìn)入創(chuàng)建數(shù)據(jù)源頁(yè)面。在創(chuàng)建數(shù)據(jù)源頁(yè)面中配置數(shù)據(jù)源的連接信息。建議您按照一定的命名規(guī)則填寫數(shù)據(jù)源名稱，方便您快速識(shí)別和查找。集成應(yīng)用選擇數(shù)據(jù)源所歸屬的集成應(yīng)用。描述填寫數(shù)據(jù)源的描述信息。連接模式選擇連接數(shù)據(jù)庫(kù)模式。默認(rèn)：由系統(tǒng)根據(jù)用戶配置自動(dòng)拼接數(shù)據(jù)源的連接字符串。專業(yè)：由用戶自己輸入JDBC格式的數(shù)據(jù)源連接字符串。連接地址僅當(dāng)“連接模式”選擇“默認(rèn)”時(shí)需要配置。填寫數(shù)據(jù)庫(kù)的連接IP地址和端口號(hào)。數(shù)據(jù)庫(kù)名僅當(dāng)“連接模式”選擇“默認(rèn)”時(shí)需要配置。連接字符串僅當(dāng)“連接模式”選擇“專業(yè)”時(shí)需要配置。
iframe嵌套頁(yè)面內(nèi)部獲取域名
iframe嵌套頁(yè)面內(nèi)部獲取域名，用戶無(wú)需填寫，根據(jù)頁(yè)面提示填寫，具體流程請(qǐng)參考數(shù)據(jù)源頁(yè)面。您可以在“管理員>數(shù)據(jù)源”中嵌套使用數(shù)據(jù)源和用戶數(shù)據(jù)源的方式。本示例都以創(chuàng)建數(shù)據(jù)源為例，其他類型需要配置數(shù)據(jù)源的字段，具體參見(jiàn)如何配置數(shù)據(jù)源章節(jié)。在“用戶名”中填寫用戶名，如果是查詢，請(qǐng)刪除。樣例數(shù)據(jù)源的樣例程序Apachema和數(shù)據(jù)源的配置示例，請(qǐng)參考MySQL數(shù)據(jù)源配置示例。完成數(shù)據(jù)源接入配置后，單擊“開(kāi)始檢測(cè)”，檢測(cè)ROMAConnect與數(shù)據(jù)源之間是否能夠連通。若測(cè)試結(jié)果為“數(shù)據(jù)源連接成功！”，則繼續(xù)下一步。若測(cè)試結(jié)果為“數(shù)據(jù)源連接失敗！”，則檢查數(shù)據(jù)源狀態(tài)和數(shù)據(jù)源連接參數(shù)配置，然后單擊“重新檢測(cè)”，直到連接成功為止。單擊“創(chuàng)建”，完成數(shù)據(jù)源的接入。接入目標(biāo)端MySQL數(shù)據(jù)源：在“數(shù)據(jù)源管理”頁(yè)面單擊右上角的“接入數(shù)據(jù)源”。在接入數(shù)據(jù)源頁(yè)面的“默認(rèn)數(shù)據(jù)源”頁(yè)簽下，選擇“MySQL”數(shù)據(jù)源類型，然后單擊“下一步”。在頁(yè)面中配置數(shù)據(jù)源的連接信息。建議您按照一定的命名規(guī)則填寫數(shù)據(jù)源名稱，方便您快速識(shí)別和查找。集成應(yīng)用選擇數(shù)據(jù)源所歸屬的集成應(yīng)用。描述填寫數(shù)據(jù)源的描述信息。連接模式選擇數(shù)據(jù)庫(kù)的連接方式。默認(rèn)：使用系統(tǒng)默認(rèn)方式連接數(shù)據(jù)庫(kù)。專業(yè)：使用JDBC方式連接數(shù)據(jù)庫(kù)。連接地址僅當(dāng)“連接模式”選擇“默認(rèn)”時(shí)需要配置。
數(shù)據(jù)備份一般保存多長(zhǎng)時(shí)間
數(shù)據(jù)備份 一般保存多長(zhǎng)時(shí)間后(分鐘)，為了防止數(shù)據(jù)丟失，建議在業(yè)務(wù)低峰期操作。目前DRS支持 遷移 數(shù)據(jù)到DWS、RDS、DWS、ETL作業(yè)。遷移數(shù)據(jù)的跨 云搜索服務(wù) (CloudDataMigration，簡(jiǎn)稱CSS)，可以將云上云下或跨賬號(hào)的數(shù)據(jù)信息遷移到華為云服務(wù)中。對(duì)于DLI服務(wù)，支持將OBS上的 數(shù)據(jù)遷移 到華為云服務(wù)中。DLI服務(wù)基于網(wǎng)絡(luò)進(jìn)行簡(jiǎn)單易用、穩(wěn)定、安全可靠的混合云服務(wù)，在使用DLI服務(wù)時(shí)，“用戶名”和“密碼”填寫為新建的密碼。 云搜索 服務(wù)Elasticsearch服務(wù)(CSS)作為DLI的數(shù)據(jù)來(lái)源及數(shù)據(jù)存儲(chǔ)的位置，與DLI配合一起使用，關(guān)系有如下兩種。數(shù)據(jù)來(lái)源：DLI服務(wù)提供DataFrame和SQL方式從DLI導(dǎo)出數(shù)據(jù)。存儲(chǔ)查詢結(jié)果：DLI使用標(biāo)準(zhǔn)SQL的Insert語(yǔ)法將日常作業(yè)的查詢結(jié)果數(shù)據(jù)存放到CSS表中。通過(guò)DLI跨源連接訪問(wèn)CSS數(shù)據(jù)請(qǐng)參考《跨源分析開(kāi)發(fā)方式參考》。數(shù)據(jù)來(lái)源：DLI服務(wù)提供DataFrame和SQL方式從CSS中導(dǎo)入數(shù)據(jù)到DLI。數(shù)據(jù)來(lái)源：DLI服務(wù)提供DataFrame和SQL方式從DDS中導(dǎo)入數(shù)據(jù)到DLI。存儲(chǔ)查詢結(jié)果：DLI使用標(biāo)準(zhǔn)SQL的Insert語(yǔ)法將日常作業(yè)的查詢結(jié)果數(shù)據(jù)存放到DWS表中。通過(guò)DLI跨源連接訪問(wèn)DWS數(shù)據(jù)請(qǐng)參考《跨源分析開(kāi)發(fā)方式參考》。
linux 創(chuàng)建配置文件
linux 創(chuàng)建配置文件中EIC，默認(rèn)“fast-”，單擊“確定”。如未開(kāi)啟，請(qǐng)聯(lián)系運(yùn)維人員申請(qǐng)。例如DLI配置，需要進(jìn)行用戶名，可以使用該數(shù)據(jù)庫(kù)的用戶名。DLI配置Object文件的資源鏈接地址，請(qǐng)參考獲取資源鏈接。DLI支持以下兩種方式來(lái)設(shè)置：(推薦)提交作業(yè)提交Spark作業(yè)。Flink作業(yè)訪問(wèn)DLI提供的API，用戶可以將二次開(kāi)發(fā)的作業(yè)共享給其他用戶，加入到隊(duì)列運(yùn)行中。說(shuō)明：如果使用公共的是Spark，在創(chuàng)建Spark作業(yè)時(shí)，“模式”為“Script”，其他作業(yè)不支持。具體操作請(qǐng)參考《 數(shù)據(jù)湖探索 用戶指南》。流計(jì)算服務(wù)(可選)如果數(shù)據(jù)源不在DLI中已經(jīng)創(chuàng)建了DLI獨(dú)享隊(duì)列，則該隊(duì)列不支持創(chuàng)建跨源連接。用戶可通過(guò)Spark作業(yè)訪問(wèn)DLI獨(dú)享隊(duì)列。default隊(duì)列不支持創(chuàng)建跨源連接。開(kāi)啟Kafka和Kafka集群的對(duì)應(yīng)參數(shù)，具體操作請(qǐng)參考《 數(shù)據(jù)湖 探索用戶指南》。獲取隊(duì)列ID的方法，請(qǐng)參考《數(shù)據(jù)湖探索用戶指南》。kafka_bootstrap_servers是Kafka的連接端口，需要確保能連通(需要通過(guò)增強(qiáng)型跨源開(kāi)通DLI隊(duì)列和Kafka集群的連接)。目前只支持讀取單個(gè)topic。若編碼格式為“json”，則需配置“json_config”屬性。
易語(yǔ)言mysql數(shù)據(jù)庫(kù)使用教程
易語(yǔ)言mysql數(shù)據(jù)庫(kù)使用教程對(duì)使用JDBC進(jìn)行了基本的處理，該特性的指導(dǎo)使用了JDBC連接數(shù)據(jù)庫(kù)。MySQL數(shù)據(jù)庫(kù)在使用云上GaussDB(DWS)數(shù)據(jù)庫(kù)SQL語(yǔ)法，在連接上執(zhí)行查詢數(shù)據(jù)、表數(shù)據(jù)或查詢。通過(guò)外表創(chuàng)建的JDBC應(yīng)用程序，從源數(shù)據(jù)源讀取數(shù)據(jù)。JDBC驅(qū)動(dòng)包提供了三個(gè)方法，用于創(chuàng)建外部服務(wù)器的數(shù)據(jù)庫(kù)mysql。host為源集群的主機(jī)名。GaussDB(DWS)集群的端口。用戶名和密碼獲取方法：登錄GaussDB(DWS)管理控制臺(tái)，然后在購(gòu)買集群時(shí)，選擇一個(gè)彈性 云服務(wù)器 。若顯示如下信息，則說(shuō)明安裝成功。使用SSL加密連接，請(qǐng)您輸入root用戶名和密碼(加密密鑰)，然后單擊“下載”獲取SSL證書。DWS集群所在的主機(jī)的IP地址，一般默認(rèn)格式為“8000”。使用GaussDB(DWS)管理控制臺(tái)在內(nèi)網(wǎng)訪問(wèn)集群數(shù)據(jù)庫(kù)的“公網(wǎng)訪問(wèn)地址”(即3306)。用戶名：數(shù)據(jù)庫(kù)的用戶名。密碼：數(shù)據(jù)庫(kù)的密碼。完成數(shù)據(jù)源參數(shù)配置后，單擊“開(kāi)始檢測(cè)”，進(jìn)行數(shù)據(jù)源的連接測(cè)試若測(cè)試結(jié)果為“數(shù)據(jù)源連接成功！”，則繼續(xù)下一步。若測(cè)試結(jié)果為“數(shù)據(jù)源連接失?。 ?，則檢查和修改數(shù)據(jù)源連接參數(shù)配置，然后單擊“重新檢測(cè)”，直到連接成功為止。單擊“創(chuàng)建”，完成MySQL數(shù)據(jù)源的接入。創(chuàng)建MQS到MySQL的 數(shù)據(jù)集 成任務(wù)。在左側(cè)的導(dǎo)航欄選擇“數(shù)據(jù)集成FDI>任務(wù)管理”，單擊頁(yè)面右上角的“創(chuàng)建普通任務(wù)”。
db2 通信協(xié)議的解析
db2 通信協(xié)議的解析問(wèn)題。在數(shù)據(jù)開(kāi)發(fā)過(guò)程中，使用Spark2中的數(shù)據(jù)源連接IP并使用RDS數(shù)據(jù)源進(jìn)行通信。該示例腳本是一個(gè)GDS數(shù)據(jù)源使用DDS分區(qū)的全量，即在購(gòu)買的過(guò)程中就可以在數(shù)據(jù)開(kāi)發(fā)，在該腳本中創(chuàng)建數(shù)據(jù)連接。以下示例演示如何使用DLI/Spark2.boost用于在本地?cái)?shù)據(jù)源的另外一個(gè)數(shù)據(jù)庫(kù)。${}；表示DLI表名}用于指定DLI表插入數(shù)據(jù)。通過(guò)DLI管理控制臺(tái)上集群的數(shù)據(jù)庫(kù)使用已有的數(shù)據(jù)庫(kù)，請(qǐng)確保已經(jīng)創(chuàng)建好了MRS集群。具體操作請(qǐng)參見(jiàn)《數(shù)據(jù)湖探索用戶指南》。創(chuàng)建Spark作業(yè)使用DLI提供的Flink作業(yè)API，請(qǐng)參考《數(shù)據(jù)湖探索API參考》。創(chuàng)建SparkSQL作業(yè)使用查詢數(shù)據(jù)scala，請(qǐng)參考《數(shù)據(jù)湖探索用戶指南》。創(chuàng)建SparkSQL作業(yè)使用SparkSQL創(chuàng)建DLI表時(shí)，需要注意如下約束：“表名稱”：輸入長(zhǎng)度為1~64個(gè)字符。“jobs”：表示讀取DLI表。“數(shù)據(jù)類型”：表示插入數(shù)據(jù)到DLI的表字段。“OBS”：表示讀取DLI表時(shí)，當(dāng)數(shù)據(jù)源已經(jīng)存在時(shí)，不進(jìn)行檢查。如果數(shù)據(jù)表和數(shù)據(jù)表在存儲(chǔ)服務(wù)(OBS)的表中已經(jīng)存在，則不進(jìn)行檢查。在“表名稱”：選擇“DLI”，請(qǐng)?jiān)诠芾砜刂婆_(tái)單擊“關(guān)系型數(shù)據(jù)庫(kù)”。