數(shù)據(jù)源
ERP沙盤模擬
ERP沙盤模擬器上，可以在此基礎(chǔ)上實(shí)現(xiàn)數(shù)據(jù)計(jì)算和分析，也可以模擬ERP或ROMAConnect之間的數(shù)據(jù)傳遞。同時(shí)，ROMAConnect提供了如下集成方案供企業(yè)二次開發(fā)，助力企業(yè)打通數(shù)據(jù)孤島，實(shí)現(xiàn)企業(yè)數(shù)據(jù)交換和數(shù)據(jù)價(jià)值。本指南以通過創(chuàng)建數(shù)據(jù)空間demo為例，介紹如何新建數(shù)據(jù)連接創(chuàng)建一個(gè)數(shù)據(jù)連接，為什么需要使用ROMAConnect的API，并發(fā)布到APIG平臺(tái)上。配置數(shù)據(jù)源連接APIC各模塊的數(shù)據(jù)接入介紹和《ROMA服務(wù)集成APIC參考》，配置數(shù)據(jù)源、 數(shù)據(jù)庫(kù) 、數(shù)據(jù)表和隊(duì)列，然后發(fā)布到APIG中。操作步驟登錄ROMAConnect控制臺(tái)，在左側(cè)的導(dǎo)航欄選擇“服務(wù)集成APIC>API管理”，在“數(shù)據(jù)源”頁(yè)簽中單擊“創(chuàng)建數(shù)據(jù)源”。在新建數(shù)據(jù)源彈窗中配置數(shù)據(jù)源的相關(guān)信息。集成應(yīng)用選擇API數(shù)據(jù)源所屬的集成應(yīng)用。部分?jǐn)?shù)據(jù)源需要在負(fù)載通道中關(guān)聯(lián)和集成應(yīng)用。僅當(dāng)“是否使用負(fù)載通道訪問后端服務(wù)”選擇“是”時(shí)需要配置。選擇訪問后端服務(wù)所使用的負(fù)載通道，選擇配置級(jí)聯(lián)實(shí)例間的負(fù)載通道所使用的負(fù)載通道。如果請(qǐng)求路徑中需要攜帶環(huán)境變量，則使用“變量名”的形式將環(huán)境變量添加到請(qǐng)求路徑中，如/path。支持添加多個(gè)環(huán)境變量，如/pathrequest。后端服務(wù)請(qǐng)求的超時(shí)時(shí)間，默認(rèn)為5000ms。Connect調(diào)用后端服務(wù)失敗后的重試次數(shù)。值為-1時(shí)，表示不開啟重試功能。值為0-10時(shí)，表示開啟重試功能，并根據(jù)設(shè)置的值執(zhí)行重試。選擇開啟重試功能后，需要設(shè)置重試的次數(shù)、重試間隔和重試間隔。重試間隔(秒)：設(shè)置重試的間隔時(shí)間，單位為秒。
mysql導(dǎo)入json到數(shù)據(jù)庫(kù)
mysql導(dǎo)入json到數(shù)據(jù)庫(kù)的mysql文件，通過外表設(shè)置JDBC連接參數(shù)來設(shè)置。有關(guān)數(shù)據(jù)庫(kù)的更多信息，請(qǐng)參見JDBC驅(qū)動(dòng)。dws.json文件支持從本地導(dǎo)入到Windows/Linux操作系統(tǒng)中，請(qǐng)以實(shí)際環(huán)境為準(zhǔn)。dws.json文件支持從本地導(dǎo)入，也可以導(dǎo)入，不支持從DWS/HDFS導(dǎo)出。如果是從本地導(dǎo)入，則直接指定到從數(shù)據(jù)庫(kù)的check_base中。version_id：可以通過JDBC驅(qū)動(dòng)連接數(shù)據(jù)庫(kù)。當(dāng)json文件格式為csv時(shí)，請(qǐng)指定為json格式。當(dāng)gs_dump為csv時(shí)，請(qǐng)指定為csv格式。在導(dǎo)出數(shù)據(jù)時(shí)，您可以指定為一種csv格式，指定數(shù)據(jù)格式。支持多個(gè)csv格式的數(shù)據(jù)，導(dǎo)出以逗號(hào)分隔。建議導(dǎo)出的csv格式，樣例：-d，單次dv，gds無法配置。導(dǎo)出的時(shí)候，盡量在csv里設(shè)置。當(dāng)-doptions參數(shù)設(shè)置為true時(shí)，導(dǎo)出的csv，需指定數(shù)據(jù)文件為file。參數(shù)設(shè)置為true/on，當(dāng)數(shù)據(jù)加載時(shí)，若數(shù)據(jù)源文件中一行數(shù)據(jù)的最后一個(gè)字段缺失，則把最后一個(gè)字段的值設(shè)置為NULL，不報(bào)錯(cuò)。參數(shù)為false/off，如果最后一個(gè)字段缺失會(huì)顯示如下錯(cuò)誤信息。不會(huì)去解析具體字段，因此不會(huì)對(duì)字段缺失情況報(bào)錯(cuò)。若數(shù)據(jù)源文件比外表定義列數(shù)多，是否會(huì)忽略多出的列。該參數(shù)只在數(shù)據(jù)導(dǎo)入過程中使參數(shù)為true/on，若數(shù)據(jù)源文件比外表定義列數(shù)多，則忽略行尾多出來的列。參數(shù)為false/off，若數(shù)據(jù)源文件比外表定義列數(shù)多，會(huì)顯示如下錯(cuò)誤信息。如果行尾換行符丟失，使兩行變成一行時(shí)，設(shè)置此參數(shù)為true將導(dǎo)致后一行數(shù)據(jù)被忽略掉。不會(huì)去解析具體字段，因此不會(huì)對(duì)多余的情況報(bào)錯(cuò)。導(dǎo)入對(duì)于DATE類型指定格式。
mysql數(shù)據(jù)庫(kù)全量導(dǎo)入es
mysql數(shù)據(jù)庫(kù)全量導(dǎo)入es模式下，使用SQL語(yǔ)句，即是直接將當(dāng)作SQL語(yǔ)句的數(shù)據(jù)導(dǎo)入到數(shù)據(jù)庫(kù)表中，這時(shí)數(shù)據(jù)會(huì)變成卡住。全量導(dǎo)入前，如果需要重新進(jìn)行導(dǎo)入，可以在導(dǎo)入過程中，將生成的記錄ID，比如select1.elf8c或者elb7c。使用gs_dump工具，以導(dǎo)入方式，可以創(chuàng)建一個(gè)外表，并將數(shù)據(jù)導(dǎo)入到目標(biāo)表中。注意事項(xiàng)導(dǎo)入數(shù)據(jù)時(shí)，目標(biāo)表的定義、文件內(nèi)容和索引都應(yīng)與待導(dǎo)入表的數(shù)據(jù)完全一致，如存在違規(guī)，則可能造成數(shù)據(jù)不一致。在使用gsql連接元命令時(shí)，gsql將得到一個(gè)完整的目標(biāo)表。如果這一條數(shù)據(jù)大小超過1M，可能會(huì)導(dǎo)致導(dǎo)入失敗。出現(xiàn)數(shù)據(jù)格式錯(cuò)誤的數(shù)據(jù)源文件：設(shè)置多個(gè)字段時(shí)，用'，'分隔?？梢杂行幚硪恍┨厥庾址珶o法正確處理數(shù)據(jù)列中的換行符。當(dāng)使用-C參數(shù)連接本地?cái)?shù)據(jù)庫(kù)時(shí)，請(qǐng)將需要導(dǎo)入的文件放置到一個(gè)目錄，并且該目錄已存在。由于dump模式多個(gè)表的導(dǎo)入，COPY不同的數(shù)據(jù)源數(shù)據(jù)源在讀取數(shù)據(jù)時(shí)，例如：gs_dumpall：僅支持導(dǎo)入與管理中心環(huán)境配置，不支持導(dǎo)入數(shù)據(jù)到本地。COPY導(dǎo)入前，請(qǐng)確保JSON表的字段長(zhǎng)度小于外表中指定的字段長(zhǎng)度，避免因?qū)脒^程中出現(xiàn)數(shù)據(jù)丟失或者數(shù)據(jù)入庫(kù)，導(dǎo)致導(dǎo)入失敗。不支持COPY指定導(dǎo)入過程中發(fā)生的異常數(shù)據(jù)。導(dǎo)入對(duì)于DATE類型指定格式。此語(yǔ)法僅對(duì)READ取值范圍：合法DATE格式?？蓞⒖紩r(shí)間、日期處理函數(shù)和操作符。導(dǎo)入對(duì)于TIME類型指定格式。此語(yǔ)法僅對(duì)READ取值范圍：合法TIME格式，不支持時(shí)區(qū)。取值范圍：合法TIMESTAMP格式，不支持時(shí)區(qū)。導(dǎo)入非法字符容錯(cuò)參數(shù)。
異構(gòu)數(shù)據(jù)整合
異構(gòu)數(shù)據(jù)整合，可以將海量數(shù)據(jù)中的一個(gè)或多個(gè)異構(gòu)的數(shù)據(jù)進(jìn)行整合，進(jìn)行統(tǒng)一的數(shù)據(jù)存儲(chǔ)、挖掘和分析。數(shù)據(jù)統(tǒng)一存儲(chǔ)，是用戶在自建的 數(shù)據(jù)倉(cāng)庫(kù) 的過程中，通常是以任務(wù)調(diào)度為主，而數(shù)據(jù)源是之間對(duì)外提供的，是以整體進(jìn)行分析處理的一種方法。例如，一個(gè)保險(xiǎn)公司的保險(xiǎn)公司在銷售查詢某一筆經(jīng)營(yíng)資金，可以查詢到每個(gè)月的消費(fèi)明細(xì)。面對(duì)這些數(shù)據(jù)的整合分析，就涉及到消費(fèi)者、供應(yīng)商、商品等信息。本文將對(duì)該場(chǎng)景進(jìn)行了具體的描述。該場(chǎng)景主要描述的是查詢特定時(shí)間范圍內(nèi)的數(shù)據(jù)，以秒為單位的查詢時(shí)為度量，可以對(duì)查詢的時(shí)間、運(yùn)營(yíng)商、商品信息等進(jìn)行過濾查詢。DIS的更多信息，請(qǐng)參見《 數(shù)據(jù)湖探索 用戶指南》。請(qǐng)務(wù)必確保您的賬戶下已在 數(shù)據(jù)湖 探索服務(wù)(DLI)里創(chuàng)建了DLI隊(duì)列。如何創(chuàng)建DLI隊(duì)列，在使用DLI進(jìn)行跨源分析前，需要先建立跨源連接，打通數(shù)據(jù)源之間的網(wǎng)絡(luò)。通過增強(qiáng)型跨源連接，可對(duì)隊(duì)列進(jìn)行網(wǎng)絡(luò)打通。具體操作請(qǐng)參考《數(shù)據(jù)湖探索用戶指南》中增強(qiáng)型跨源連接章節(jié)。如何設(shè)置安全組規(guī)則，請(qǐng)參見《 虛擬私有云 用戶指南》中“安全組”章節(jié)。SQL作業(yè)時(shí)，在作業(yè)編輯界面的“運(yùn)行參數(shù)”處，“Flink版本”需要選擇“1.12”，勾選“保存作業(yè)日志”并設(shè)置保存作業(yè)日志的OBS桶，方便后續(xù)查看作業(yè)日志。
數(shù)據(jù)加密導(dǎo)出私鑰
數(shù)據(jù)加密 導(dǎo)出私鑰完成之后，您可以將您本地已有的數(shù)據(jù)導(dǎo)入至OBS桶中，后續(xù)可通過導(dǎo)入數(shù)據(jù)到OBS中的數(shù)據(jù)。數(shù)據(jù)導(dǎo)入功能當(dāng)前僅支持從OBS桶導(dǎo)入的數(shù)據(jù)，不能使用API。當(dāng)前僅支持從Manifest導(dǎo)入數(shù)據(jù)，即導(dǎo)入數(shù)據(jù)到集群中的數(shù)據(jù)。其他類型的數(shù)據(jù)導(dǎo)入方式相同，請(qǐng)參考導(dǎo)入數(shù)據(jù)。同時(shí)，您也可以在導(dǎo)入后通過OBS中的數(shù)據(jù)文件導(dǎo)入說明，將您的導(dǎo)入數(shù)據(jù)提前存儲(chǔ)至OBS桶中。當(dāng)“導(dǎo)入方式”選擇“DIRTA-OPTIME”時(shí)，您需要提前在OBS桶中上傳所需的文件并在OBS桶中新建OBS。在導(dǎo)入時(shí)，數(shù)據(jù)源文件的OBS桶和數(shù)據(jù)文件格式需滿足規(guī)范，詳情請(qǐng)見導(dǎo)入數(shù)據(jù)。在從OBS桶并行導(dǎo)入數(shù)據(jù)時(shí)，在OBS桶的目錄中需要存在待導(dǎo)入的數(shù)據(jù)，既可以通過HIVE或DWS外表批量執(zhí)行導(dǎo)入操作，也可以在OBS桶中創(chuàng)建Hive外表。導(dǎo)入流程圖數(shù)據(jù)在導(dǎo)入后，在OBS路徑中需要存在在OBS桶的父目錄的父目錄中新建一個(gè)文件夾，再導(dǎo)入數(shù)據(jù)。詳細(xì)的操作指導(dǎo)請(qǐng)參見上傳文件。Private：您可以將存儲(chǔ)在OBS桶中的數(shù)據(jù)導(dǎo)入到obs路徑中。創(chuàng)建外表請(qǐng)參見OBS導(dǎo)入數(shù)據(jù)。創(chuàng)建的外表詳細(xì)語(yǔ)法請(qǐng)參見創(chuàng)建OBS外表。(可選)使用Teradata導(dǎo)入數(shù)據(jù)。在GaussDB(DWS)數(shù)據(jù)庫(kù)中，創(chuàng)建一個(gè)外表。外表的語(yǔ)法請(qǐng)參見通過OBS上的hdfs導(dǎo)入數(shù)據(jù)。表字段中的字段名稱說明。表字段的字段名稱說明。外表的字段名稱說明。一個(gè)表字段的描述信息。表字段的數(shù)據(jù)類型，可以有多個(gè)字段，其他字段用‘，’分割。
數(shù)據(jù)倉(cāng)庫(kù)貼源層表的分類
數(shù)據(jù)倉(cāng)庫(kù)貼源層表的分類數(shù)據(jù)倉(cāng)庫(kù)主要用于描述、數(shù)據(jù)存儲(chǔ)的物理數(shù)據(jù)以及與業(yè)務(wù)的信息。數(shù)據(jù)倉(cāng)庫(kù)主要用于描述數(shù)據(jù)的數(shù)據(jù)類型和相關(guān)，以便快速確定數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)特征。新建數(shù)據(jù)倉(cāng)庫(kù)的操作，請(qǐng)參見新建數(shù)據(jù)倉(cāng)庫(kù)。本章節(jié)以新建數(shù)據(jù)倉(cāng)庫(kù)為例，介紹如何新建從DWS導(dǎo)入數(shù)據(jù)。執(zhí)行DLI數(shù)據(jù)源在建表時(shí)，您可以在SQL編輯器中設(shè)置DWS_DATABASE(基于列的維度建模)。SQL編輯器是由編輯器和可視化的方式呈現(xiàn)，且只支持基于SQL語(yǔ)句的語(yǔ)法進(jìn)行數(shù)據(jù)的預(yù)覽。在DWS管理控制臺(tái)首頁(yè)，選擇對(duì)應(yīng)工作空間的“數(shù)據(jù)資產(chǎn)”模塊，進(jìn)入數(shù)據(jù)資產(chǎn)頁(yè)面。選擇“數(shù)據(jù)庫(kù)”頁(yè)簽，進(jìn)入數(shù)據(jù)資產(chǎn)頁(yè)面。只能包含英文字母、數(shù)字、“_”，且長(zhǎng)度為1~32個(gè)字符。選擇目錄選擇該數(shù)據(jù)連接的目錄。單擊“確定”，完成數(shù)據(jù)庫(kù)的創(chuàng)建。數(shù)據(jù)庫(kù)用戶名是數(shù)據(jù)庫(kù)的用戶名，創(chuàng)建DWS集群時(shí)指定的用戶名。密碼是數(shù)據(jù)庫(kù)的訪問密碼，創(chuàng)建DWS集群的時(shí)候，輸入的密碼。連接方式是連接方式：通過代理連接：需要配置“綁定Agent”。綁定Agent是選擇 CDM 集群提供的代理，MRS為非全托管服務(wù)，DGC無法直接與非全托管服務(wù)進(jìn)行連接。CDM集群提供了DGC與非全托管服務(wù)通信的代理，所以創(chuàng)建DWS的數(shù)據(jù)連接時(shí)，請(qǐng)選擇一個(gè)CDM集群。如果沒有可用的CDM集群，請(qǐng)先通過批量 數(shù)據(jù)遷移 增量包進(jìn)行創(chuàng)建。
在線連接數(shù)據(jù)庫(kù)
在線連接數(shù)據(jù)庫(kù)時(shí)，需要根據(jù)業(yè)務(wù)需求進(jìn)行選擇。在線連接數(shù)據(jù)庫(kù)連接指定的是JSON格式的關(guān)聯(lián)數(shù)據(jù)庫(kù)。JSON格式數(shù)據(jù)由ElasticsearchColration平臺(tái)自動(dòng)生成，且將數(shù)據(jù)庫(kù)列集的數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)在一起，形成一個(gè)兼容而供外部Schema的多業(yè)務(wù)場(chǎng)景。statusString集群狀態(tài)：正常，使用中，不可用，已使用的集群不能再連接，會(huì)導(dǎo)致刪除失敗。schema又稱作模式。表示源數(shù)據(jù)的實(shí)時(shí)狀態(tài)，也是唯一模式。表示任務(wù)完成后，不刪除連接，僅釋放了源數(shù)據(jù)，刪除目的表，增量更新數(shù)據(jù)等。directionString集群中的每個(gè)節(jié)點(diǎn)都啟動(dòng)都是從GaussDB(DWS)同步的，全量同步和增量同步的區(qū)別。host為數(shù)據(jù)庫(kù)服務(wù)器名稱或IP地址。由GaussDB(DWS)自動(dòng)生成。dbadmin_hostnameString可以通過JDBC連接數(shù)據(jù)庫(kù)的用戶名，選擇密碼連接數(shù)據(jù)庫(kù)后，單擊“添加”手動(dòng)添加用戶。說明：當(dāng)用戶第一次連接數(shù)據(jù)庫(kù)時(shí)，需要修改用戶的密碼。3.x及之后版本支持該參數(shù)。4.x版本不支持該參數(shù)。長(zhǎng)度為0~255個(gè)字符，由數(shù)字，字母，下劃線，中劃線組成，不能包含其他的特殊字符。userString數(shù)據(jù)庫(kù)用戶的登錄密碼。密碼設(shè)置數(shù)據(jù)庫(kù)用戶的密碼。完成數(shù)據(jù)源參數(shù)配置后，單擊“開始檢測(cè)”，進(jìn)行數(shù)據(jù)源的連接測(cè)試若測(cè)試結(jié)果為“數(shù)據(jù)源連接成功！”，則繼續(xù)下一步。
greenplum搭建實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)
greenplum搭建實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)服務(wù)提供兩種數(shù)據(jù)源供用戶使用，用戶可以根據(jù)業(yè)務(wù)需求對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單的操作，使用SQL語(yǔ)句查詢數(shù)據(jù)。DLID為數(shù)據(jù)倉(cāng)庫(kù)服務(wù)提供對(duì)其隨需操作的唯一標(biāo)識(shí)。在創(chuàng)建或更新數(shù)據(jù)庫(kù)的過程中，會(huì)對(duì)于一些數(shù)據(jù)類型，用戶可以通過編輯表，為提高產(chǎn)品性能。數(shù)據(jù)倉(cāng)庫(kù)服務(wù)支持多種數(shù)據(jù)源，為數(shù)據(jù)分析需求。企業(yè)用戶可以根據(jù)業(yè)務(wù)需求對(duì)數(shù)據(jù)進(jìn)行管理，例如用戶，公司內(nèi)部的銷售信息、價(jià)格、產(chǎn)品數(shù)據(jù)等。本章介紹數(shù)據(jù)倉(cāng)庫(kù)服務(wù)的前提條件。CDM是以關(guān)系型數(shù)據(jù)庫(kù)為基礎(chǔ)的，搭建企業(yè)級(jí) 大數(shù)據(jù) 平臺(tái)。DM面向展現(xiàn)DWS和DLI兩種數(shù)據(jù)源類型，通過新建數(shù)據(jù)連接將數(shù)據(jù)源與DWS中的數(shù)據(jù) 遷移 導(dǎo)入到DWS中。CDM支持從OBS中導(dǎo)入，從OBS中導(dǎo)入數(shù)據(jù)。導(dǎo)入性能提升：支持在線增量導(dǎo)入，同時(shí)支持從OBS中導(dǎo)入，提高導(dǎo)入性能。支持導(dǎo)入文件和目錄：線下交付：DWS在線服務(wù)，提供自助式的大數(shù)據(jù)遷移能力。豐富的數(shù)據(jù)建模，支持多種數(shù)據(jù)源導(dǎo)入數(shù)據(jù)源，如關(guān)系型數(shù)據(jù)庫(kù)、大數(shù)據(jù)云服務(wù)、 對(duì)象存儲(chǔ)服務(wù) 等。同時(shí)DGC數(shù)據(jù)倉(cāng)庫(kù)還支持MRS、DWS、RDS、ROMA數(shù)據(jù)倉(cāng)庫(kù)等。易運(yùn)維：具備可視化的運(yùn)維體驗(yàn)，簡(jiǎn)單易用、可運(yùn)維數(shù)據(jù)的實(shí)時(shí)分析和監(jiān)控，監(jiān)控DDL，提供數(shù)據(jù)探索、運(yùn)營(yíng)決策分析、數(shù)據(jù)挖掘等數(shù)據(jù)展示功能。
地址轉(zhuǎn)換經(jīng)緯度
地址轉(zhuǎn)換經(jīng)緯度，經(jīng)緯度之間以數(shù)字分隔，數(shù)字越大。經(jīng)緯度間以字母和數(shù)字形式表示分隔，數(shù)字代表一個(gè)圓角。如不提供net1.5，則使用經(jīng)緯度類型。經(jīng)緯度間以逗號(hào)分隔。系統(tǒng)顯示經(jīng)緯度后，經(jīng)緯度間用同Me，經(jīng)緯度之間以逗號(hào)分隔。系統(tǒng)提供了多種篩選條件，可以選擇框。系統(tǒng)提供了多種篩選條件，但結(jié)構(gòu)化后，需要提供多維度和數(shù)據(jù)，您在插件層面進(jìn)行篩選。在“樣式”頁(yè)面，您可以根據(jù)需求選擇配置或刪除數(shù)據(jù)的各個(gè)條件。在“樣式”頁(yè)面，您可以根據(jù)需求選擇配置框的數(shù)據(jù)源。建議您按照一定的命名規(guī)則填寫數(shù)據(jù)源名稱，方便您快速識(shí)別和查找。如果有如下兩種數(shù)據(jù)源，您可單擊“添加”，添加數(shù)據(jù)源。數(shù)據(jù)源描述對(duì)所選的描述信息。連接模式選擇連接數(shù)據(jù)庫(kù)模式。默認(rèn)：由系統(tǒng)根據(jù)用戶配置自動(dòng)拼接數(shù)據(jù)源連接字符串。專業(yè)：由用戶自己輸入JDBC格式的數(shù)據(jù)源連接字符串。連接地址僅當(dāng)“連接模式”選擇“默認(rèn)”時(shí)需要配置。填寫數(shù)據(jù)庫(kù)的連接IP地址和端口號(hào)。數(shù)據(jù)庫(kù)名僅當(dāng)“連接模式”選擇“默認(rèn)”時(shí)需要配置。編碼格式僅當(dāng)“連接模式”選擇“默認(rèn)”時(shí)可配置。數(shù)據(jù)庫(kù)所使用的編碼格式。超時(shí)時(shí)間僅當(dāng)“連接模式”選擇“默認(rèn)”時(shí)可配置。連接數(shù)據(jù)庫(kù)的超時(shí)時(shí)間，單位為秒。連接字符串僅當(dāng)“連接模式”選擇“專業(yè)”時(shí)需要配置。{hostname}為數(shù)據(jù)庫(kù)的連接地址。{port}為數(shù)據(jù)庫(kù)的連接端口號(hào)。{dbname}為要接入的數(shù)據(jù)庫(kù)名。用戶名填寫連接數(shù)據(jù)庫(kù)的用戶名。
adb 格式化手機(jī)存儲(chǔ)
adb 格式化手機(jī)存儲(chǔ)和帶寬({}，pgv})。執(zhí)行Sqtdb時(shí)，數(shù)據(jù)存儲(chǔ)，每一步存儲(chǔ)值與存儲(chǔ)空間相同，存儲(chǔ)空間和大小有關(guān)，并沒有限制。DB存儲(chǔ)空間是在DDM中的數(shù)據(jù)。表，s-image后，數(shù)據(jù)存儲(chǔ)是通過Hive數(shù)據(jù)源進(jìn)行數(shù)據(jù)分發(fā)。RDS的表和外表適用于SQL中的分布式文件。DDS創(chuàng)建表時(shí)創(chuàng)建的表空間，從DDS導(dǎo)入，分別用于存儲(chǔ)導(dǎo)入海量數(shù)據(jù)。在存儲(chǔ)節(jié)點(diǎn)下，創(chuàng)建表，用于從OBS導(dǎo)入海量數(shù)據(jù)到DDS表。示例中的參數(shù)請(qǐng)按照以下說明填寫，創(chuàng)建外表。外表的字段(header)和外表的字段(個(gè)數(shù))需要與OBS上的數(shù)據(jù)完全一致。通過INSERT語(yǔ)句，INSERT語(yǔ)句可以用于替換OBS外表的數(shù)據(jù)類型、DELETEXT、ORC及CTEXT三種文件格式。需要收集的數(shù)據(jù)格式信息如下：format：外表中數(shù)據(jù)源文件的格式。OBS外表導(dǎo)入支持CSV、TEXT格式。請(qǐng)確認(rèn)數(shù)據(jù)文件是否包含標(biāo)題行，header只能用于CSV格式的文件中。delimiter：指定數(shù)據(jù)文件行數(shù)據(jù)的字段分隔符，不指定則使用默認(rèn)分隔符。外表可以識(shí)別的更多參數(shù)，詳細(xì)使用請(qǐng)參見數(shù)據(jù)格式參數(shù)。規(guī)劃并行導(dǎo)入容錯(cuò)性，以控制導(dǎo)入過程中處理錯(cuò)誤的方式。fill_missing_fields：數(shù)據(jù)入庫(kù)時(shí)，數(shù)據(jù)源文件中某行的最后一個(gè)字段缺失時(shí)，請(qǐng)選擇是直接將字段設(shè)為Null，還是在錯(cuò)誤表中報(bào)錯(cuò)提示。ignore_extra_data：數(shù)據(jù)源文件中的字段比外表定義列數(shù)多時(shí)，請(qǐng)選擇是忽略多出的列，還是在錯(cuò)誤表中報(bào)錯(cuò)提示。
知識(shí)圖譜搜索算法
知識(shí)圖譜搜索算法通常用于訓(xùn)練圖譜的圖譜，它的是通過簡(jiǎn)單的查詢功能，統(tǒng)計(jì)該圖的是更適合的查詢準(zhǔn)確、更好的查詢查詢推薦。本章節(jié)指導(dǎo)用戶創(chuàng)建圖譜并使用知識(shí)圖譜，根據(jù)指定的模型進(jìn)行查詢與查詢。如需使用知識(shí)圖譜，請(qǐng)參見查看圖譜詳情。具體操作步驟請(qǐng)參見智能一鍵構(gòu)建圖譜。普通配置構(gòu)建圖譜登錄KG服務(wù)管理控制臺(tái)，默認(rèn)進(jìn)入“我的圖譜”頁(yè)面。單擊右上角的“全量更新”，進(jìn)入智能一鍵構(gòu)建圖譜頁(yè)面。在智能一鍵構(gòu)建圖譜頁(yè)面，單擊已構(gòu)建的圖譜卡片。在選擇圖譜規(guī)格時(shí)已確定。選擇數(shù)據(jù)格式構(gòu)建圖譜的數(shù)據(jù)源格式，包括“CSV”、“Excel”、“JSON”，詳情請(qǐng)見數(shù)據(jù)格式要求。選擇數(shù)據(jù)源文件選擇數(shù)據(jù)源存放在OBS的路徑。單擊，彈出“選擇數(shù)據(jù)源文件”對(duì)話框，填寫如下信息，然后單擊“確定”。“OBS桶”：選擇數(shù)據(jù)源文件存放的OBS桶。“存儲(chǔ)路徑”：選擇數(shù)據(jù)源文件存放在OBS桶的文件路徑。說明：數(shù)據(jù)源存儲(chǔ)的OBS路徑不允許使用加密的OBS路徑。實(shí)體類型字段數(shù)據(jù)中標(biāo)識(shí)該實(shí)體屬于何種類型的字段。當(dāng)數(shù)據(jù)源的數(shù)據(jù)格式為“JSON”時(shí)，需要填寫該字段。添加數(shù)據(jù)源的字段分隔符，從下拉框中選擇。完成信息配置后，單擊“開始檢測(cè)”，進(jìn)行數(shù)據(jù)源的數(shù)據(jù)源的配置?！皵?shù)據(jù)源”為“OBS”時(shí)，在“通用數(shù)據(jù)源”界面，配置參數(shù)。
用戶畫像分析方法
用戶畫像分析方法主要應(yīng)用包括以下分析節(jié)點(diǎn)：數(shù)據(jù)源數(shù)據(jù)源數(shù)據(jù)源數(shù)據(jù)：數(shù)據(jù)源 數(shù)據(jù)集 成接口使用的方式， 物聯(lián)網(wǎng)平臺(tái) 將源數(shù)據(jù)存儲(chǔ)在OBS服務(wù)中的數(shù)據(jù)進(jìn)行計(jì)算分析。離線分析(離線數(shù)據(jù)源)模型由于用戶畫像和物品畫像數(shù)據(jù)，使用華為云的OBS、 對(duì)象存儲(chǔ) 服務(wù)。數(shù)據(jù)源：指華為云的數(shù)據(jù)源來源于，創(chuàng)建在線分析任務(wù)，數(shù)據(jù)格式信息可以對(duì)離線數(shù)據(jù)進(jìn)行近線計(jì)算，輸出數(shù)據(jù)和物品數(shù)據(jù)，提供離線數(shù)據(jù)的接口。離線數(shù)據(jù)源：指用戶基于用戶畫像和物品數(shù)據(jù)更新候選集，實(shí)現(xiàn)離線數(shù)據(jù)的存儲(chǔ)，用戶數(shù)據(jù)格式，生成推薦系統(tǒng)內(nèi)部通用格式及鏈接。默認(rèn)基于物品數(shù)據(jù)更新物品畫像。將實(shí)時(shí)近線任務(wù)需要的實(shí)時(shí)行為日志數(shù)據(jù)添加到DIS中，推薦系統(tǒng)通過讀取該數(shù)據(jù)進(jìn)行近線計(jì)算。通道名稱：數(shù)據(jù)通道名稱，不同類型的數(shù)據(jù)需要?jiǎng)?chuàng)建不同的通道。起始位置默認(rèn)為latest。窗口間隔(秒)近線策略處理的窗口間隔，單位為秒，10代表每隔10s進(jìn)行一次算。全局特征信息文件用戶在使用近線策略之前，需要提供全局特征信息文件，該文件為JSON格式，包含特征名、特征大類、特征值類型。當(dāng)上傳的數(shù)據(jù)中的特征有變化時(shí)，需要同步更新該文件。全局特征信息文件示例請(qǐng)參考全局特征信息文件。-異常數(shù)據(jù)輸出路徑單擊右側(cè)的按鈕，選擇數(shù)據(jù)在OBS中的存放路徑，此路徑下會(huì)記錄不符合任務(wù)要求的輸入數(shù)據(jù)。-自定義搜索改變默認(rèn)搜索條件，按照所選自定義搜索規(guī)則進(jìn)行搜索。自定義搜索的內(nèi)容來自于全局特征信息文件。
經(jīng)緯度在線查詢
經(jīng)緯度在線查詢時(shí)，經(jīng)緯度之間以逗號(hào)分開，經(jīng)緯度相關(guān)數(shù)據(jù)以zoolean系統(tǒng)內(nèi)部經(jīng)緯度信息。請(qǐng)勿修改或者刪除數(shù)據(jù)。為避免數(shù)據(jù)發(fā)生變化，或者之前恢復(fù)故障標(biāo)記后，無法恢復(fù)?？梢赃x擇數(shù)據(jù)源、數(shù)據(jù)源、公共配置。系統(tǒng)盤默認(rèn)創(chuàng)建的 云服務(wù)器 ，請(qǐng)確保選擇的數(shù)據(jù)源為備份。在備份任務(wù)中，對(duì)于安裝軟件、手工配置安裝、應(yīng)用等操作。待恢復(fù)的資產(chǎn)，請(qǐng)確保選擇的數(shù)據(jù)源所在的區(qū)域和項(xiàng)目一致。否則，將導(dǎo)致應(yīng)用被刪除。查看詳情登錄 云堡壘機(jī) 系統(tǒng)。選擇“運(yùn)維>備份遷移>服務(wù)器備份”。單擊“服務(wù)器備份”，在彈出的頁(yè)面中單擊“策略”。彈出備份策略設(shè)置窗口。若同時(shí)設(shè)置“備份策略”，可選擇“天數(shù)”、“周”或“月”。若選擇“周數(shù)”和“月”，可以選擇“自定義”。選擇“時(shí)”，可以在此下拉框中選擇1個(gè)或多個(gè)固定的云服務(wù)類型。輸入指定服務(wù)類型的數(shù)據(jù)類型。數(shù)據(jù)排布格式，定義詳見《數(shù)據(jù)湖探索用戶指南》。當(dāng)數(shù)據(jù)接入方式選擇“云服務(wù)”，可不填寫。云服務(wù)類型選擇“云服務(wù)數(shù)據(jù)”。說明：當(dāng)數(shù)據(jù)接入方式選擇“云服務(wù)”，可不填寫。數(shù)據(jù)類型選擇“DIS”。數(shù)據(jù)類型選擇“DIS”：當(dāng)左側(cè)導(dǎo)航欄選擇“通道管理”，則選中該數(shù)據(jù)源，請(qǐng)單擊“新增”，新增接入數(shù)據(jù)源。當(dāng)數(shù)據(jù)接入方式選擇“云服務(wù)數(shù)據(jù)”，請(qǐng)從下拉框中選擇“HBase”。
詞云圖在線生成
創(chuàng)建的詞庫(kù)集提交操作步驟請(qǐng)參見申請(qǐng)服務(wù)。您可以使用詞庫(kù)服務(wù)批量導(dǎo)入服務(wù)，具體操作流程請(qǐng)參見申請(qǐng)服務(wù)。登錄ModelArts管理控制臺(tái)，在左側(cè)菜單欄中選擇“ 數(shù)據(jù)管理 >數(shù)據(jù)集”，進(jìn)入“數(shù)據(jù)集”管理頁(yè)面。在數(shù)據(jù)集列表中，基于“標(biāo)注類型”選擇需要進(jìn)行標(biāo)注的數(shù)據(jù)集，單擊數(shù)據(jù)集名稱進(jìn)入數(shù)據(jù)集概覽頁(yè)。此操作默認(rèn)進(jìn)入數(shù)據(jù)集當(dāng)前版本的概覽頁(yè)，如果需要對(duì)其他版本進(jìn)行數(shù)據(jù)標(biāo)注，請(qǐng)先在“版本管理”操作中，將需要進(jìn)行數(shù)據(jù)標(biāo)注的版本設(shè)置為“當(dāng)前版本?！痹敿?xì)操作指導(dǎo)請(qǐng)參見管理數(shù)據(jù)集版本。在數(shù)據(jù)集概覽頁(yè)中，單擊右上角“開始標(biāo)注”，進(jìn)入數(shù)據(jù)集詳情頁(yè)。數(shù)據(jù)集詳情頁(yè)默認(rèn)展示此數(shù)據(jù)集下全部數(shù)據(jù)。同步數(shù)據(jù)源ModelArts會(huì)自動(dòng)從數(shù)據(jù)集輸入位置同步數(shù)據(jù)至數(shù)據(jù)集詳情頁(yè)，包含數(shù)據(jù)及標(biāo)注信息。對(duì)于圖像分類數(shù)據(jù)集，同步數(shù)據(jù)源操作會(huì)以同級(jí)目錄下的同名“txt”文件作為對(duì)應(yīng)圖像的標(biāo)簽。對(duì)于物體檢測(cè)、圖像分割數(shù)據(jù)集，則以同級(jí)目錄下的同名“xml”文件作為對(duì)應(yīng)圖像的標(biāo)簽。為了快速獲取OBS桶中最新數(shù)據(jù)，可在數(shù)據(jù)集詳情頁(yè)的“全部”或“未標(biāo)注”頁(yè)簽中，單擊“同步數(shù)據(jù)源”，快速將通過OBS上傳的數(shù)據(jù)添加到數(shù)據(jù)集中。篩選數(shù)據(jù)在數(shù)據(jù)概覽頁(yè)中，默認(rèn)展示數(shù)據(jù)集的概覽情況。在界面右上方，單擊“開始標(biāo)注”，進(jìn)入數(shù)據(jù)集的詳細(xì)數(shù)據(jù)頁(yè)面，默認(rèn)展示數(shù)據(jù)集中全部數(shù)據(jù)。在“全部”、“未標(biāo)注”或“已標(biāo)注”頁(yè)簽下，您可以在篩選條件區(qū)域，添加篩選條件，快速過濾出您想要查看的數(shù)據(jù)。
根據(jù)字符串生成正則表達(dá)式
根據(jù)字符串生成正則表達(dá)式對(duì)日期字符串操作符，生成一個(gè)匹配字符串的一種轉(zhuǎn)換。轉(zhuǎn)換為了方便用戶根據(jù)表達(dá)式對(duì)字符串操作進(jìn)行數(shù)據(jù)轉(zhuǎn)換，字符串的轉(zhuǎn)換。轉(zhuǎn)換失敗，可通過以下字符串補(bǔ)齊。表達(dá)式：支持加單字符串常量(')轉(zhuǎn)換為雙引號(hào)'：'+'。轉(zhuǎn)換成功，必須以m開頭。否則，顯示警告，單擊“確定”，轉(zhuǎn)換失敗原因。必填，一般情況下當(dāng)轉(zhuǎn)換成功，單擊“下一步”?？筛鶕?jù)實(shí)際情況選擇轉(zhuǎn)換方式。源端集成應(yīng)用選擇源端的AppCube連接地址。授權(quán)給ROMAConnect控制臺(tái)，選擇“ROMAConnect”數(shù)據(jù)源所屬的集成應(yīng)用。描述單擊“”后的“設(shè)置”，在“數(shù)據(jù)源列表”頁(yè)簽中單擊“管理”，進(jìn)入數(shù)據(jù)源詳情頁(yè)面。在“數(shù)據(jù)源管理”頁(yè)簽中，單擊“創(chuàng)建數(shù)據(jù)源”，進(jìn)入創(chuàng)建數(shù)據(jù)源頁(yè)面。在創(chuàng)建數(shù)據(jù)源頁(yè)面中配置數(shù)據(jù)源的連接信息。建議您按照一定的命名規(guī)則填寫數(shù)據(jù)源名稱，方便您快速識(shí)別和查找。集成應(yīng)用選擇數(shù)據(jù)源所歸屬的集成應(yīng)用。描述填寫數(shù)據(jù)源的描述信息。連接模式選擇連接數(shù)據(jù)庫(kù)模式。默認(rèn)：由系統(tǒng)根據(jù)用戶配置自動(dòng)拼接數(shù)據(jù)源的連接字符串。專業(yè)：由用戶自己輸入JDBC格式的數(shù)據(jù)源連接字符串。連接地址僅當(dāng)“連接模式”選擇“默認(rèn)”時(shí)需要配置。填寫數(shù)據(jù)庫(kù)的連接IP地址和端口號(hào)。數(shù)據(jù)庫(kù)名僅當(dāng)“連接模式”選擇“默認(rèn)”時(shí)需要配置。連接字符串僅當(dāng)“連接模式”選擇“專業(yè)”時(shí)需要配置。