數(shù)據(jù)源
ERP沙盤模擬
ERP沙盤模擬器上，可以在此基礎(chǔ)上實現(xiàn)數(shù)據(jù)計算和分析，也可以模擬ERP或ROMAConnect之間的數(shù)據(jù)傳遞。同時，ROMAConnect提供了如下集成方案供企業(yè)二次開發(fā)，助力企業(yè)打通數(shù)據(jù)孤島，實現(xiàn)企業(yè)數(shù)據(jù)交換和數(shù)據(jù)價值。本指南以通過創(chuàng)建數(shù)據(jù)空間demo為例，介紹如何新建數(shù)據(jù)連接創(chuàng)建一個數(shù)據(jù)連接，為什么需要使用ROMAConnect的API，并發(fā)布到APIG平臺上。配置數(shù)據(jù)源連接APIC各模塊的數(shù)據(jù)接入介紹和《ROMA服務(wù)集成APIC參考》，配置數(shù)據(jù)源、 數(shù)據(jù)庫 、數(shù)據(jù)表和隊列，然后發(fā)布到APIG中。操作步驟登錄ROMAConnect控制臺，在左側(cè)的導(dǎo)航欄選擇“服務(wù)集成APIC>API管理”，在“數(shù)據(jù)源”頁簽中單擊“創(chuàng)建數(shù)據(jù)源”。在新建數(shù)據(jù)源彈窗中配置數(shù)據(jù)源的相關(guān)信息。集成應(yīng)用選擇API數(shù)據(jù)源所屬的集成應(yīng)用。部分?jǐn)?shù)據(jù)源需要在負(fù)載通道中關(guān)聯(lián)和集成應(yīng)用。僅當(dāng)“是否使用負(fù)載通道訪問后端服務(wù)”選擇“是”時需要配置。選擇訪問后端服務(wù)所使用的負(fù)載通道，選擇配置級聯(lián)實例間的負(fù)載通道所使用的負(fù)載通道。如果請求路徑中需要攜帶環(huán)境變量，則使用“變量名”的形式將環(huán)境變量添加到請求路徑中，如/path。支持添加多個環(huán)境變量，如/pathrequest。后端服務(wù)請求的超時時間，默認(rèn)為5000ms。Connect調(diào)用后端服務(wù)失敗后的重試次數(shù)。值為-1時，表示不開啟重試功能。值為0-10時，表示開啟重試功能，并根據(jù)設(shè)置的值執(zhí)行重試。選擇開啟重試功能后，需要設(shè)置重試的次數(shù)、重試間隔和重試間隔。重試間隔(秒)：設(shè)置重試的間隔時間，單位為秒。
mysql導(dǎo)入json到數(shù)據(jù)庫
mysql導(dǎo)入json到數(shù)據(jù)庫的mysql文件，通過外表設(shè)置JDBC連接參數(shù)來設(shè)置。有關(guān)數(shù)據(jù)庫的更多信息，請參見JDBC驅(qū)動。dws.json文件支持從本地導(dǎo)入到Windows/Linux操作系統(tǒng)中，請以實際環(huán)境為準(zhǔn)。dws.json文件支持從本地導(dǎo)入，也可以導(dǎo)入，不支持從DWS/HDFS導(dǎo)出。如果是從本地導(dǎo)入，則直接指定到從數(shù)據(jù)庫的check_base中。version_id：可以通過JDBC驅(qū)動連接數(shù)據(jù)庫。當(dāng)json文件格式為csv時，請指定為json格式。當(dāng)gs_dump為csv時，請指定為csv格式。在導(dǎo)出數(shù)據(jù)時，您可以指定為一種csv格式，指定數(shù)據(jù)格式。支持多個csv格式的數(shù)據(jù)，導(dǎo)出以逗號分隔。建議導(dǎo)出的csv格式，樣例：-d，單次dv，gds無法配置。導(dǎo)出的時候，盡量在csv里設(shè)置。當(dāng)-doptions參數(shù)設(shè)置為true時，導(dǎo)出的csv，需指定數(shù)據(jù)文件為file。參數(shù)設(shè)置為true/on，當(dāng)數(shù)據(jù)加載時，若數(shù)據(jù)源文件中一行數(shù)據(jù)的最后一個字段缺失，則把最后一個字段的值設(shè)置為NULL，不報錯。參數(shù)為false/off，如果最后一個字段缺失會顯示如下錯誤信息。不會去解析具體字段，因此不會對字段缺失情況報錯。若數(shù)據(jù)源文件比外表定義列數(shù)多，是否會忽略多出的列。該參數(shù)只在數(shù)據(jù)導(dǎo)入過程中使參數(shù)為true/on，若數(shù)據(jù)源文件比外表定義列數(shù)多，則忽略行尾多出來的列。參數(shù)為false/off，若數(shù)據(jù)源文件比外表定義列數(shù)多，會顯示如下錯誤信息。如果行尾換行符丟失，使兩行變成一行時，設(shè)置此參數(shù)為true將導(dǎo)致后一行數(shù)據(jù)被忽略掉。不會去解析具體字段，因此不會對多余的情況報錯。導(dǎo)入對于DATE類型指定格式。
mysql數(shù)據(jù)庫全量導(dǎo)入es
mysql數(shù)據(jù)庫全量導(dǎo)入es模式下，使用SQL語句，即是直接將當(dāng)作SQL語句的數(shù)據(jù)導(dǎo)入到數(shù)據(jù)庫表中，這時數(shù)據(jù)會變成卡住。全量導(dǎo)入前，如果需要重新進(jìn)行導(dǎo)入，可以在導(dǎo)入過程中，將生成的記錄ID，比如select1.elf8c或者elb7c。使用gs_dump工具，以導(dǎo)入方式，可以創(chuàng)建一個外表，并將數(shù)據(jù)導(dǎo)入到目標(biāo)表中。注意事項導(dǎo)入數(shù)據(jù)時，目標(biāo)表的定義、文件內(nèi)容和索引都應(yīng)與待導(dǎo)入表的數(shù)據(jù)完全一致，如存在違規(guī)，則可能造成數(shù)據(jù)不一致。在使用gsql連接元命令時，gsql將得到一個完整的目標(biāo)表。如果這一條數(shù)據(jù)大小超過1M，可能會導(dǎo)致導(dǎo)入失敗。出現(xiàn)數(shù)據(jù)格式錯誤的數(shù)據(jù)源文件：設(shè)置多個字段時，用'，'分隔?？梢杂行幚硪恍┨厥庾址?，但無法正確處理數(shù)據(jù)列中的換行符。當(dāng)使用-C參數(shù)連接本地數(shù)據(jù)庫時，請將需要導(dǎo)入的文件放置到一個目錄，并且該目錄已存在。由于dump模式多個表的導(dǎo)入，COPY不同的數(shù)據(jù)源數(shù)據(jù)源在讀取數(shù)據(jù)時，例如：gs_dumpall：僅支持導(dǎo)入與管理中心環(huán)境配置，不支持導(dǎo)入數(shù)據(jù)到本地。COPY導(dǎo)入前，請確保JSON表的字段長度小于外表中指定的字段長度，避免因?qū)脒^程中出現(xiàn)數(shù)據(jù)丟失或者數(shù)據(jù)入庫，導(dǎo)致導(dǎo)入失敗。不支持COPY指定導(dǎo)入過程中發(fā)生的異常數(shù)據(jù)。導(dǎo)入對于DATE類型指定格式。此語法僅對READ取值范圍：合法DATE格式?？蓞⒖紩r間、日期處理函數(shù)和操作符。導(dǎo)入對于TIME類型指定格式。此語法僅對READ取值范圍：合法TIME格式，不支持時區(qū)。取值范圍：合法TIMESTAMP格式，不支持時區(qū)。導(dǎo)入非法字符容錯參數(shù)。
異構(gòu)數(shù)據(jù)整合
異構(gòu)數(shù)據(jù)整合，可以將海量數(shù)據(jù)中的一個或多個異構(gòu)的數(shù)據(jù)進(jìn)行整合，進(jìn)行統(tǒng)一的數(shù)據(jù)存儲、挖掘和分析。數(shù)據(jù)統(tǒng)一存儲，是用戶在自建的 數(shù)據(jù)倉庫 的過程中，通常是以任務(wù)調(diào)度為主，而數(shù)據(jù)源是之間對外提供的，是以整體進(jìn)行分析處理的一種方法。例如，一個保險公司的保險公司在銷售查詢某一筆經(jīng)營資金，可以查詢到每個月的消費明細(xì)。面對這些數(shù)據(jù)的整合分析，就涉及到消費者、供應(yīng)商、商品等信息。本文將對該場景進(jìn)行了具體的描述。該場景主要描述的是查詢特定時間范圍內(nèi)的數(shù)據(jù)，以秒為單位的查詢時為度量，可以對查詢的時間、運營商、商品信息等進(jìn)行過濾查詢。DIS的更多信息，請參見《 數(shù)據(jù)湖探索 用戶指南》。請務(wù)必確保您的賬戶下已在 數(shù)據(jù)湖 探索服務(wù)(DLI)里創(chuàng)建了DLI隊列。如何創(chuàng)建DLI隊列，在使用DLI進(jìn)行跨源分析前，需要先建立跨源連接，打通數(shù)據(jù)源之間的網(wǎng)絡(luò)。通過增強型跨源連接，可對隊列進(jìn)行網(wǎng)絡(luò)打通。具體操作請參考《數(shù)據(jù)湖探索用戶指南》中增強型跨源連接章節(jié)。如何設(shè)置安全組規(guī)則，請參見《 虛擬私有云 用戶指南》中“安全組”章節(jié)。SQL作業(yè)時，在作業(yè)編輯界面的“運行參數(shù)”處，“Flink版本”需要選擇“1.12”，勾選“保存作業(yè)日志”并設(shè)置保存作業(yè)日志的OBS桶，方便后續(xù)查看作業(yè)日志。
數(shù)據(jù)加密導(dǎo)出私鑰
數(shù)據(jù)加密 導(dǎo)出私鑰完成之后，您可以將您本地已有的數(shù)據(jù)導(dǎo)入至OBS桶中，后續(xù)可通過導(dǎo)入數(shù)據(jù)到OBS中的數(shù)據(jù)。數(shù)據(jù)導(dǎo)入功能當(dāng)前僅支持從OBS桶導(dǎo)入的數(shù)據(jù)，不能使用API。當(dāng)前僅支持從Manifest導(dǎo)入數(shù)據(jù)，即導(dǎo)入數(shù)據(jù)到集群中的數(shù)據(jù)。其他類型的數(shù)據(jù)導(dǎo)入方式相同，請參考導(dǎo)入數(shù)據(jù)。同時，您也可以在導(dǎo)入后通過OBS中的數(shù)據(jù)文件導(dǎo)入說明，將您的導(dǎo)入數(shù)據(jù)提前存儲至OBS桶中。當(dāng)“導(dǎo)入方式”選擇“DIRTA-OPTIME”時，您需要提前在OBS桶中上傳所需的文件并在OBS桶中新建OBS。在導(dǎo)入時，數(shù)據(jù)源文件的OBS桶和數(shù)據(jù)文件格式需滿足規(guī)范，詳情請見導(dǎo)入數(shù)據(jù)。在從OBS桶并行導(dǎo)入數(shù)據(jù)時，在OBS桶的目錄中需要存在待導(dǎo)入的數(shù)據(jù)，既可以通過HIVE或DWS外表批量執(zhí)行導(dǎo)入操作，也可以在OBS桶中創(chuàng)建Hive外表。導(dǎo)入流程圖數(shù)據(jù)在導(dǎo)入后，在OBS路徑中需要存在在OBS桶的父目錄的父目錄中新建一個文件夾，再導(dǎo)入數(shù)據(jù)。詳細(xì)的操作指導(dǎo)請參見上傳文件。Private：您可以將存儲在OBS桶中的數(shù)據(jù)導(dǎo)入到obs路徑中。創(chuàng)建外表請參見OBS導(dǎo)入數(shù)據(jù)。創(chuàng)建的外表詳細(xì)語法請參見創(chuàng)建OBS外表。(可選)使用Teradata導(dǎo)入數(shù)據(jù)。在GaussDB(DWS)數(shù)據(jù)庫中，創(chuàng)建一個外表。外表的語法請參見通過OBS上的hdfs導(dǎo)入數(shù)據(jù)。表字段中的字段名稱說明。表字段的字段名稱說明。外表的字段名稱說明。一個表字段的描述信息。表字段的數(shù)據(jù)類型，可以有多個字段，其他字段用‘，’分割。
數(shù)據(jù)倉庫貼源層表的分類
數(shù)據(jù)倉庫貼源層表的分類數(shù)據(jù)倉庫主要用于描述、數(shù)據(jù)存儲的物理數(shù)據(jù)以及與業(yè)務(wù)的信息。數(shù)據(jù)倉庫主要用于描述數(shù)據(jù)的數(shù)據(jù)類型和相關(guān)，以便快速確定數(shù)據(jù)倉庫的數(shù)據(jù)特征。新建數(shù)據(jù)倉庫的操作，請參見新建數(shù)據(jù)倉庫。本章節(jié)以新建數(shù)據(jù)倉庫為例，介紹如何新建從DWS導(dǎo)入數(shù)據(jù)。執(zhí)行DLI數(shù)據(jù)源在建表時，您可以在SQL編輯器中設(shè)置DWS_DATABASE(基于列的維度建模)。SQL編輯器是由編輯器和可視化的方式呈現(xiàn)，且只支持基于SQL語句的語法進(jìn)行數(shù)據(jù)的預(yù)覽。在DWS管理控制臺首頁，選擇對應(yīng)工作空間的“數(shù)據(jù)資產(chǎn)”模塊，進(jìn)入數(shù)據(jù)資產(chǎn)頁面。選擇“數(shù)據(jù)庫”頁簽，進(jìn)入數(shù)據(jù)資產(chǎn)頁面。只能包含英文字母、數(shù)字、“_”，且長度為1~32個字符。選擇目錄選擇該數(shù)據(jù)連接的目錄。單擊“確定”，完成數(shù)據(jù)庫的創(chuàng)建。數(shù)據(jù)庫用戶名是數(shù)據(jù)庫的用戶名，創(chuàng)建DWS集群時指定的用戶名。密碼是數(shù)據(jù)庫的訪問密碼，創(chuàng)建DWS集群的時候，輸入的密碼。連接方式是連接方式：通過代理連接：需要配置“綁定Agent”。綁定Agent是選擇 CDM 集群提供的代理，MRS為非全托管服務(wù)，DGC無法直接與非全托管服務(wù)進(jìn)行連接。CDM集群提供了DGC與非全托管服務(wù)通信的代理，所以創(chuàng)建DWS的數(shù)據(jù)連接時，請選擇一個CDM集群。如果沒有可用的CDM集群，請先通過批量 數(shù)據(jù)遷移 增量包進(jìn)行創(chuàng)建。
在線連接數(shù)據(jù)庫
在線連接數(shù)據(jù)庫時，需要根據(jù)業(yè)務(wù)需求進(jìn)行選擇。在線連接數(shù)據(jù)庫連接指定的是JSON格式的關(guān)聯(lián)數(shù)據(jù)庫。JSON格式數(shù)據(jù)由ElasticsearchColration平臺自動生成，且將數(shù)據(jù)庫列集的數(shù)據(jù)結(jié)構(gòu)存儲在一起，形成一個兼容而供外部Schema的多業(yè)務(wù)場景。statusString集群狀態(tài)：正常，使用中，不可用，已使用的集群不能再連接，會導(dǎo)致刪除失敗。schema又稱作模式。表示源數(shù)據(jù)的實時狀態(tài)，也是唯一模式。表示任務(wù)完成后，不刪除連接，僅釋放了源數(shù)據(jù)，刪除目的表，增量更新數(shù)據(jù)等。directionString集群中的每個節(jié)點都啟動都是從GaussDB(DWS)同步的，全量同步和增量同步的區(qū)別。host為數(shù)據(jù)庫服務(wù)器名稱或IP地址。由GaussDB(DWS)自動生成。dbadmin_hostnameString可以通過JDBC連接數(shù)據(jù)庫的用戶名，選擇密碼連接數(shù)據(jù)庫后，單擊“添加”手動添加用戶。說明：當(dāng)用戶第一次連接數(shù)據(jù)庫時，需要修改用戶的密碼。3.x及之后版本支持該參數(shù)。4.x版本不支持該參數(shù)。長度為0~255個字符，由數(shù)字，字母，下劃線，中劃線組成，不能包含其他的特殊字符。userString數(shù)據(jù)庫用戶的登錄密碼。密碼設(shè)置數(shù)據(jù)庫用戶的密碼。完成數(shù)據(jù)源參數(shù)配置后，單擊“開始檢測”，進(jìn)行數(shù)據(jù)源的連接測試若測試結(jié)果為“數(shù)據(jù)源連接成功！”，則繼續(xù)下一步。
greenplum搭建實時數(shù)據(jù)倉庫
greenplum搭建實時數(shù)據(jù)倉庫服務(wù)提供兩種數(shù)據(jù)源供用戶使用，用戶可以根據(jù)業(yè)務(wù)需求對數(shù)據(jù)進(jìn)行簡單的操作，使用SQL語句查詢數(shù)據(jù)。DLID為數(shù)據(jù)倉庫服務(wù)提供對其隨需操作的唯一標(biāo)識。在創(chuàng)建或更新數(shù)據(jù)庫的過程中，會對于一些數(shù)據(jù)類型，用戶可以通過編輯表，為提高產(chǎn)品性能。數(shù)據(jù)倉庫服務(wù)支持多種數(shù)據(jù)源，為數(shù)據(jù)分析需求。企業(yè)用戶可以根據(jù)業(yè)務(wù)需求對數(shù)據(jù)進(jìn)行管理，例如用戶，公司內(nèi)部的銷售信息、價格、產(chǎn)品數(shù)據(jù)等。本章介紹數(shù)據(jù)倉庫服務(wù)的前提條件。CDM是以關(guān)系型數(shù)據(jù)庫為基礎(chǔ)的，搭建企業(yè)級 大數(shù)據(jù) 平臺。DM面向展現(xiàn)DWS和DLI兩種數(shù)據(jù)源類型，通過新建數(shù)據(jù)連接將數(shù)據(jù)源與DWS中的數(shù)據(jù) 遷移 導(dǎo)入到DWS中。CDM支持從OBS中導(dǎo)入，從OBS中導(dǎo)入數(shù)據(jù)。導(dǎo)入性能提升：支持在線增量導(dǎo)入，同時支持從OBS中導(dǎo)入，提高導(dǎo)入性能。支持導(dǎo)入文件和目錄：線下交付：DWS在線服務(wù)，提供自助式的大數(shù)據(jù)遷移能力。豐富的數(shù)據(jù)建模，支持多種數(shù)據(jù)源導(dǎo)入數(shù)據(jù)源，如關(guān)系型數(shù)據(jù)庫、大數(shù)據(jù)云服務(wù)、 對象存儲服務(wù) 等。同時DGC數(shù)據(jù)倉庫還支持MRS、DWS、RDS、ROMA數(shù)據(jù)倉庫等。易運維：具備可視化的運維體驗，簡單易用、可運維數(shù)據(jù)的實時分析和監(jiān)控，監(jiān)控DDL，提供數(shù)據(jù)探索、運營決策分析、數(shù)據(jù)挖掘等數(shù)據(jù)展示功能。
地址轉(zhuǎn)換經(jīng)緯度
地址轉(zhuǎn)換經(jīng)緯度，經(jīng)緯度之間以數(shù)字分隔，數(shù)字越大。經(jīng)緯度間以字母和數(shù)字形式表示分隔，數(shù)字代表一個圓角。如不提供net1.5，則使用經(jīng)緯度類型。經(jīng)緯度間以逗號分隔。系統(tǒng)顯示經(jīng)緯度后，經(jīng)緯度間用同Me，經(jīng)緯度之間以逗號分隔。系統(tǒng)提供了多種篩選條件，可以選擇框。系統(tǒng)提供了多種篩選條件，但結(jié)構(gòu)化后，需要提供多維度和數(shù)據(jù)，您在插件層面進(jìn)行篩選。在“樣式”頁面，您可以根據(jù)需求選擇配置或刪除數(shù)據(jù)的各個條件。在“樣式”頁面，您可以根據(jù)需求選擇配置框的數(shù)據(jù)源。建議您按照一定的命名規(guī)則填寫數(shù)據(jù)源名稱，方便您快速識別和查找。如果有如下兩種數(shù)據(jù)源，您可單擊“添加”，添加數(shù)據(jù)源。數(shù)據(jù)源描述對所選的描述信息。連接模式選擇連接數(shù)據(jù)庫模式。默認(rèn)：由系統(tǒng)根據(jù)用戶配置自動拼接數(shù)據(jù)源連接字符串。專業(yè)：由用戶自己輸入JDBC格式的數(shù)據(jù)源連接字符串。連接地址僅當(dāng)“連接模式”選擇“默認(rèn)”時需要配置。填寫數(shù)據(jù)庫的連接IP地址和端口號。數(shù)據(jù)庫名僅當(dāng)“連接模式”選擇“默認(rèn)”時需要配置。編碼格式僅當(dāng)“連接模式”選擇“默認(rèn)”時可配置。數(shù)據(jù)庫所使用的編碼格式。超時時間僅當(dāng)“連接模式”選擇“默認(rèn)”時可配置。連接數(shù)據(jù)庫的超時時間，單位為秒。連接字符串僅當(dāng)“連接模式”選擇“專業(yè)”時需要配置。{hostname}為數(shù)據(jù)庫的連接地址。{port}為數(shù)據(jù)庫的連接端口號。{dbname}為要接入的數(shù)據(jù)庫名。用戶名填寫連接數(shù)據(jù)庫的用戶名。
adb 格式化手機存儲
adb 格式化手機存儲和帶寬({}，pgv})。執(zhí)行Sqtdb時，數(shù)據(jù)存儲，每一步存儲值與存儲空間相同，存儲空間和大小有關(guān)，并沒有限制。DB存儲空間是在DDM中的數(shù)據(jù)。表，s-image后，數(shù)據(jù)存儲是通過Hive數(shù)據(jù)源進(jìn)行數(shù)據(jù)分發(fā)。RDS的表和外表適用于SQL中的分布式文件。DDS創(chuàng)建表時創(chuàng)建的表空間，從DDS導(dǎo)入，分別用于存儲導(dǎo)入海量數(shù)據(jù)。在存儲節(jié)點下，創(chuàng)建表，用于從OBS導(dǎo)入海量數(shù)據(jù)到DDS表。示例中的參數(shù)請按照以下說明填寫，創(chuàng)建外表。外表的字段(header)和外表的字段(個數(shù))需要與OBS上的數(shù)據(jù)完全一致。通過INSERT語句，INSERT語句可以用于替換OBS外表的數(shù)據(jù)類型、DELETEXT、ORC及CTEXT三種文件格式。需要收集的數(shù)據(jù)格式信息如下：format：外表中數(shù)據(jù)源文件的格式。OBS外表導(dǎo)入支持CSV、TEXT格式。請確認(rèn)數(shù)據(jù)文件是否包含標(biāo)題行，header只能用于CSV格式的文件中。delimiter：指定數(shù)據(jù)文件行數(shù)據(jù)的字段分隔符，不指定則使用默認(rèn)分隔符。外表可以識別的更多參數(shù)，詳細(xì)使用請參見數(shù)據(jù)格式參數(shù)。規(guī)劃并行導(dǎo)入容錯性，以控制導(dǎo)入過程中處理錯誤的方式。fill_missing_fields：數(shù)據(jù)入庫時，數(shù)據(jù)源文件中某行的最后一個字段缺失時，請選擇是直接將字段設(shè)為Null，還是在錯誤表中報錯提示。ignore_extra_data：數(shù)據(jù)源文件中的字段比外表定義列數(shù)多時，請選擇是忽略多出的列，還是在錯誤表中報錯提示。
知識圖譜搜索算法
知識圖譜搜索算法通常用于訓(xùn)練圖譜的圖譜，它的是通過簡單的查詢功能，統(tǒng)計該圖的是更適合的查詢準(zhǔn)確、更好的查詢查詢推薦。本章節(jié)指導(dǎo)用戶創(chuàng)建圖譜并使用知識圖譜，根據(jù)指定的模型進(jìn)行查詢與查詢。如需使用知識圖譜，請參見查看圖譜詳情。具體操作步驟請參見智能一鍵構(gòu)建圖譜。普通配置構(gòu)建圖譜登錄KG服務(wù)管理控制臺，默認(rèn)進(jìn)入“我的圖譜”頁面。單擊右上角的“全量更新”，進(jìn)入智能一鍵構(gòu)建圖譜頁面。在智能一鍵構(gòu)建圖譜頁面，單擊已構(gòu)建的圖譜卡片。在選擇圖譜規(guī)格時已確定。選擇數(shù)據(jù)格式構(gòu)建圖譜的數(shù)據(jù)源格式，包括“CSV”、“Excel”、“JSON”，詳情請見數(shù)據(jù)格式要求。選擇數(shù)據(jù)源文件選擇數(shù)據(jù)源存放在OBS的路徑。單擊，彈出“選擇數(shù)據(jù)源文件”對話框，填寫如下信息，然后單擊“確定”?！癘BS桶”：選擇數(shù)據(jù)源文件存放的OBS桶?！按鎯β窂健保哼x擇數(shù)據(jù)源文件存放在OBS桶的文件路徑。說明：數(shù)據(jù)源存儲的OBS路徑不允許使用加密的OBS路徑。實體類型字段數(shù)據(jù)中標(biāo)識該實體屬于何種類型的字段。當(dāng)數(shù)據(jù)源的數(shù)據(jù)格式為“JSON”時，需要填寫該字段。添加數(shù)據(jù)源的字段分隔符，從下拉框中選擇。完成信息配置后，單擊“開始檢測”，進(jìn)行數(shù)據(jù)源的數(shù)據(jù)源的配置?！皵?shù)據(jù)源”為“OBS”時，在“通用數(shù)據(jù)源”界面，配置參數(shù)。
用戶畫像分析方法
用戶畫像分析方法主要應(yīng)用包括以下分析節(jié)點：數(shù)據(jù)源數(shù)據(jù)源數(shù)據(jù)源數(shù)據(jù)：數(shù)據(jù)源 數(shù)據(jù)集 成接口使用的方式， 物聯(lián)網(wǎng)平臺 將源數(shù)據(jù)存儲在OBS服務(wù)中的數(shù)據(jù)進(jìn)行計算分析。離線分析(離線數(shù)據(jù)源)模型由于用戶畫像和物品畫像數(shù)據(jù)，使用華為云的OBS、 對象存儲 服務(wù)。數(shù)據(jù)源：指華為云的數(shù)據(jù)源來源于，創(chuàng)建在線分析任務(wù)，數(shù)據(jù)格式信息可以對離線數(shù)據(jù)進(jìn)行近線計算，輸出數(shù)據(jù)和物品數(shù)據(jù)，提供離線數(shù)據(jù)的接口。離線數(shù)據(jù)源：指用戶基于用戶畫像和物品數(shù)據(jù)更新候選集，實現(xiàn)離線數(shù)據(jù)的存儲，用戶數(shù)據(jù)格式，生成推薦系統(tǒng)內(nèi)部通用格式及鏈接。默認(rèn)基于物品數(shù)據(jù)更新物品畫像。將實時近線任務(wù)需要的實時行為日志數(shù)據(jù)添加到DIS中，推薦系統(tǒng)通過讀取該數(shù)據(jù)進(jìn)行近線計算。通道名稱：數(shù)據(jù)通道名稱，不同類型的數(shù)據(jù)需要創(chuàng)建不同的通道。起始位置默認(rèn)為latest。窗口間隔(秒)近線策略處理的窗口間隔，單位為秒，10代表每隔10s進(jìn)行一次算。全局特征信息文件用戶在使用近線策略之前，需要提供全局特征信息文件，該文件為JSON格式，包含特征名、特征大類、特征值類型。當(dāng)上傳的數(shù)據(jù)中的特征有變化時，需要同步更新該文件。全局特征信息文件示例請參考全局特征信息文件。-異常數(shù)據(jù)輸出路徑單擊右側(cè)的按鈕，選擇數(shù)據(jù)在OBS中的存放路徑，此路徑下會記錄不符合任務(wù)要求的輸入數(shù)據(jù)。-自定義搜索改變默認(rèn)搜索條件，按照所選自定義搜索規(guī)則進(jìn)行搜索。自定義搜索的內(nèi)容來自于全局特征信息文件。
經(jīng)緯度在線查詢
經(jīng)緯度在線查詢時，經(jīng)緯度之間以逗號分開，經(jīng)緯度相關(guān)數(shù)據(jù)以zoolean系統(tǒng)內(nèi)部經(jīng)緯度信息。請勿修改或者刪除數(shù)據(jù)。為避免數(shù)據(jù)發(fā)生變化，或者之前恢復(fù)故障標(biāo)記后，無法恢復(fù)。可以選擇數(shù)據(jù)源、數(shù)據(jù)源、公共配置。系統(tǒng)盤默認(rèn)創(chuàng)建的 云服務(wù)器 ，請確保選擇的數(shù)據(jù)源為備份。在備份任務(wù)中，對于安裝軟件、手工配置安裝、應(yīng)用等操作。待恢復(fù)的資產(chǎn)，請確保選擇的數(shù)據(jù)源所在的區(qū)域和項目一致。否則，將導(dǎo)致應(yīng)用被刪除。查看詳情登錄 云堡壘機 系統(tǒng)。選擇“運維>備份遷移>服務(wù)器備份”。單擊“服務(wù)器備份”，在彈出的頁面中單擊“策略”。彈出備份策略設(shè)置窗口。若同時設(shè)置“備份策略”，可選擇“天數(shù)”、“周”或“月”。若選擇“周數(shù)”和“月”，可以選擇“自定義”。選擇“時”，可以在此下拉框中選擇1個或多個固定的云服務(wù)類型。輸入指定服務(wù)類型的數(shù)據(jù)類型。數(shù)據(jù)排布格式，定義詳見《數(shù)據(jù)湖探索用戶指南》。當(dāng)數(shù)據(jù)接入方式選擇“云服務(wù)”，可不填寫。云服務(wù)類型選擇“云服務(wù)數(shù)據(jù)”。說明：當(dāng)數(shù)據(jù)接入方式選擇“云服務(wù)”，可不填寫。數(shù)據(jù)類型選擇“DIS”。數(shù)據(jù)類型選擇“DIS”：當(dāng)左側(cè)導(dǎo)航欄選擇“通道管理”，則選中該數(shù)據(jù)源，請單擊“新增”，新增接入數(shù)據(jù)源。當(dāng)數(shù)據(jù)接入方式選擇“云服務(wù)數(shù)據(jù)”，請從下拉框中選擇“HBase”。
詞云圖在線生成
創(chuàng)建的詞庫集提交操作步驟請參見申請服務(wù)。您可以使用詞庫服務(wù)批量導(dǎo)入服務(wù)，具體操作流程請參見申請服務(wù)。登錄ModelArts管理控制臺，在左側(cè)菜單欄中選擇“ 數(shù)據(jù)管理 >數(shù)據(jù)集”，進(jìn)入“數(shù)據(jù)集”管理頁面。在數(shù)據(jù)集列表中，基于“標(biāo)注類型”選擇需要進(jìn)行標(biāo)注的數(shù)據(jù)集，單擊數(shù)據(jù)集名稱進(jìn)入數(shù)據(jù)集概覽頁。此操作默認(rèn)進(jìn)入數(shù)據(jù)集當(dāng)前版本的概覽頁，如果需要對其他版本進(jìn)行數(shù)據(jù)標(biāo)注，請先在“版本管理”操作中，將需要進(jìn)行數(shù)據(jù)標(biāo)注的版本設(shè)置為“當(dāng)前版本?！痹敿?xì)操作指導(dǎo)請參見管理數(shù)據(jù)集版本。在數(shù)據(jù)集概覽頁中，單擊右上角“開始標(biāo)注”，進(jìn)入數(shù)據(jù)集詳情頁。數(shù)據(jù)集詳情頁默認(rèn)展示此數(shù)據(jù)集下全部數(shù)據(jù)。同步數(shù)據(jù)源ModelArts會自動從數(shù)據(jù)集輸入位置同步數(shù)據(jù)至數(shù)據(jù)集詳情頁，包含數(shù)據(jù)及標(biāo)注信息。對于圖像分類數(shù)據(jù)集，同步數(shù)據(jù)源操作會以同級目錄下的同名“txt”文件作為對應(yīng)圖像的標(biāo)簽。對于物體檢測、圖像分割數(shù)據(jù)集，則以同級目錄下的同名“xml”文件作為對應(yīng)圖像的標(biāo)簽。為了快速獲取OBS桶中最新數(shù)據(jù)，可在數(shù)據(jù)集詳情頁的“全部”或“未標(biāo)注”頁簽中，單擊“同步數(shù)據(jù)源”，快速將通過OBS上傳的數(shù)據(jù)添加到數(shù)據(jù)集中。篩選數(shù)據(jù)在數(shù)據(jù)概覽頁中，默認(rèn)展示數(shù)據(jù)集的概覽情況。在界面右上方，單擊“開始標(biāo)注”，進(jìn)入數(shù)據(jù)集的詳細(xì)數(shù)據(jù)頁面，默認(rèn)展示數(shù)據(jù)集中全部數(shù)據(jù)。在“全部”、“未標(biāo)注”或“已標(biāo)注”頁簽下，您可以在篩選條件區(qū)域，添加篩選條件，快速過濾出您想要查看的數(shù)據(jù)。
根據(jù)字符串生成正則表達(dá)式
根據(jù)字符串生成正則表達(dá)式對日期字符串操作符，生成一個匹配字符串的一種轉(zhuǎn)換。轉(zhuǎn)換為了方便用戶根據(jù)表達(dá)式對字符串操作進(jìn)行數(shù)據(jù)轉(zhuǎn)換，字符串的轉(zhuǎn)換。轉(zhuǎn)換失敗，可通過以下字符串補齊。表達(dá)式：支持加單字符串常量(')轉(zhuǎn)換為雙引號'：'+'。轉(zhuǎn)換成功，必須以m開頭。否則，顯示警告，單擊“確定”，轉(zhuǎn)換失敗原因。必填，一般情況下當(dāng)轉(zhuǎn)換成功，單擊“下一步”?？筛鶕?jù)實際情況選擇轉(zhuǎn)換方式。源端集成應(yīng)用選擇源端的AppCube連接地址。授權(quán)給ROMAConnect控制臺，選擇“ROMAConnect”數(shù)據(jù)源所屬的集成應(yīng)用。描述單擊“”后的“設(shè)置”，在“數(shù)據(jù)源列表”頁簽中單擊“管理”，進(jìn)入數(shù)據(jù)源詳情頁面。在“數(shù)據(jù)源管理”頁簽中，單擊“創(chuàng)建數(shù)據(jù)源”，進(jìn)入創(chuàng)建數(shù)據(jù)源頁面。在創(chuàng)建數(shù)據(jù)源頁面中配置數(shù)據(jù)源的連接信息。建議您按照一定的命名規(guī)則填寫數(shù)據(jù)源名稱，方便您快速識別和查找。集成應(yīng)用選擇數(shù)據(jù)源所歸屬的集成應(yīng)用。描述填寫數(shù)據(jù)源的描述信息。連接模式選擇連接數(shù)據(jù)庫模式。默認(rèn)：由系統(tǒng)根據(jù)用戶配置自動拼接數(shù)據(jù)源的連接字符串。專業(yè)：由用戶自己輸入JDBC格式的數(shù)據(jù)源連接字符串。連接地址僅當(dāng)“連接模式”選擇“默認(rèn)”時需要配置。填寫數(shù)據(jù)庫的連接IP地址和端口號。數(shù)據(jù)庫名僅當(dāng)“連接模式”選擇“默認(rèn)”時需要配置。連接字符串僅當(dāng)“連接模式”選擇“專業(yè)”時需要配置。