檢測到您已登錄華為云國際站賬號，為了您更好的體驗(yàn)，建議您訪問國際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
檢測到您已登錄華為云國際站賬號，為了您更好的體驗(yàn)，建議您訪問國際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
數(shù)據(jù)集成概述 DataArts Studio數(shù)據(jù)集成是一種高效、易用的數(shù)據(jù)集成服務(wù)，圍繞大數(shù)據(jù)遷移上云和智能數(shù)據(jù)湖解決方案，提供了簡單易用的遷移能力和多種數(shù)據(jù)源到數(shù)據(jù)湖的集成能力，降低了客戶數(shù)據(jù)源遷移和集成的復(fù)雜性，有效地提高您數(shù)據(jù)遷移和集成的效率。 數(shù)據(jù)集成即云數(shù)據(jù)遷移（Cloud
應(yīng)用與數(shù)據(jù)集成平臺 ROMA Connect 應(yīng)用與數(shù)據(jù)集成平臺 ROMA Connect 新一代組裝式融合集成平臺iPaaS，提供一體化的集成解決方案，無縫連接應(yīng)用、消息、事件、數(shù)據(jù)、API、設(shè)備，驅(qū)動數(shù)字化轉(zhuǎn)型 新一代組裝式融合集成平臺iPaaS 重磅發(fā)布MCP一站式集成，賦能AI應(yīng)用高效落地
最新動態(tài)（html） 本文介紹了Huawei Cloud EulerOS產(chǎn)品新特性和對應(yīng)的文檔動態(tài)，新特性將在各個區(qū)域（Region）陸續(xù)發(fā)布，歡迎體驗(yàn)。
數(shù)據(jù)集成指導(dǎo) 業(yè)務(wù)使用介紹 接入數(shù)據(jù)源 創(chuàng)建數(shù)據(jù)集成任務(wù)（普通任務(wù)） 創(chuàng)建數(shù)據(jù)集成任務(wù)（組合任務(wù)） 創(chuàng)建數(shù)據(jù)集成任務(wù)（編排任務(wù)） 啟停數(shù)據(jù)集成任務(wù) 數(shù)據(jù)集成任務(wù)管理 連接器
的情況下，同步任務(wù)將執(zhí)行對源端數(shù)據(jù)向目標(biāo)端數(shù)據(jù)的全量同步。在組件上可以看到同步的數(shù)據(jù)量及運(yùn)行時長等信息。 圖5 全量同步 數(shù)據(jù)補(bǔ)錄 當(dāng)發(fā)生源端歷史數(shù)據(jù)變更等情況時，通過在讀取組件自定義 SQL，可以添加針對日期字段進(jìn)行過濾的 WHERE 條件，可以實(shí)現(xiàn)針對特定時間段的數(shù)據(jù)補(bǔ)錄需要。 圖6 數(shù)據(jù)補(bǔ)錄 增量同步
數(shù)據(jù)集成 數(shù)據(jù)集成主要包含三塊：離線集成，實(shí)時集成，集成任務(wù)。 圖1 數(shù)據(jù)集成 離線集成 主要為結(jié)構(gòu)化集成和非結(jié)構(gòu)化集成兩種，結(jié)構(gòu)化集成主要是離線集成部署方式，非結(jié)構(gòu)化集成為API部署方式。 結(jié)構(gòu)化集成 圖2 結(jié)構(gòu)化集成 集成作業(yè) 圖3 集成作業(yè) 任務(wù)名稱：自定義數(shù)據(jù) 需求類型：目前只支持新增
數(shù)據(jù)集成 數(shù)據(jù)集成普通任務(wù) 數(shù)據(jù)集成組合任務(wù)
表1 FDI功能 功能 簡介 數(shù)據(jù)集成任務(wù)的生命周期管理 FDI支持修改數(shù)據(jù)集成任務(wù)的信息、查看數(shù)據(jù)集成任務(wù)的運(yùn)行報(bào)告、查看數(shù)據(jù)集成任務(wù)的運(yùn)行日志、查看數(shù)據(jù)集成任務(wù)狀態(tài)，完成數(shù)據(jù)集成任務(wù)的生命周期管理功能。
數(shù)據(jù)集成平臺操作手冊 平臺界面 數(shù)據(jù)集成 數(shù)據(jù)調(diào)度 功能列表 父主題： 實(shí)施步驟
項(xiàng)目ID。 源端數(shù)據(jù)源ID 源端數(shù)據(jù)源ID。 目標(biāo)端數(shù)據(jù)源ID 目標(biāo)端數(shù)據(jù)源ID。 源端數(shù)據(jù)源的名稱 源端數(shù)據(jù)源的名稱。 目標(biāo)端數(shù)據(jù)源的名稱 目標(biāo)端數(shù)據(jù)源的名稱。 源端數(shù)據(jù)源所屬集成應(yīng)用ID 源端數(shù)據(jù)源所屬集成應(yīng)用ID。 目標(biāo)端數(shù)據(jù)源所屬集成應(yīng)用ID 目標(biāo)端數(shù)據(jù)源所屬集成應(yīng)用ID。 源端數(shù)據(jù)源所屬集成應(yīng)用名稱
圖解應(yīng)用與數(shù)據(jù)集成平臺
應(yīng)用與數(shù)據(jù)集成平臺 ROMAConnect—資源與學(xué)習(xí) 應(yīng)用與數(shù)據(jù)集成平臺 ROMAConnect—資源與學(xué)習(xí) 源自華為10年+數(shù)字化轉(zhuǎn)型實(shí)踐，新一代云原生低代碼iPaaS。
工作內(nèi)容包括數(shù)據(jù)應(yīng)用集成實(shí)施和數(shù)據(jù)應(yīng)用內(nèi)容開發(fā)，將多個數(shù)據(jù)應(yīng)用進(jìn)行打通組合，或針對特定業(yè)務(wù)場景進(jìn)行報(bào)表設(shè)計(jì)與開發(fā)。這部分工作偏向于IT側(cè)和業(yè)務(wù)應(yīng)用側(cè)，不屬于數(shù)據(jù)平臺上線的必要條件。
消費(fèi)偏移設(shè)置 選擇集成最早獲取的消息數(shù)據(jù)還是最新獲取的消息數(shù)據(jù)。 元數(shù)據(jù) 指從源端獲取到的JSON或XML格式數(shù)據(jù)中，要集成到目標(biāo)端的每一個底層key-value型數(shù)據(jù)元素。 別名：對元數(shù)據(jù)的自定義名稱。 類型：元數(shù)據(jù)的數(shù)據(jù)類型，需要與源端數(shù)據(jù)中對應(yīng)字段的數(shù)據(jù)類型一致。 解析路徑：由于數(shù)
了解在財(cái)政行業(yè)解決方案中，如何通過ROMA Connect銜接內(nèi)外部和行業(yè)生態(tài)數(shù)據(jù)，打通各省、市、縣等數(shù)百個財(cái)政區(qū)數(shù)據(jù)？查看詳情。（點(diǎn)擊瀏覽、下載高清圖片）
個業(yè)務(wù)系統(tǒng)的某些數(shù)據(jù)時，就會出現(xiàn)獲取的數(shù)據(jù)內(nèi)容不符合要求，無法直接與自己數(shù)據(jù)結(jié)合使用等問題，不同業(yè)務(wù)系統(tǒng)間的數(shù)據(jù)共用難度大，效率低，影響業(yè)務(wù)發(fā)展。 解決方案 數(shù)據(jù)集成FDI是ROMA Connect的數(shù)據(jù)集成組件，支持多種數(shù)據(jù)類型之間靈活、快速、無侵入式的數(shù)據(jù)集成和轉(zhuǎn)換，為業(yè)務(wù)系統(tǒng)之間建立有效的數(shù)據(jù)連接。
數(shù)據(jù)集成平臺應(yīng)用部署 將部署文件上傳到服務(wù)器/usr/local/下，解壓target4.0.tar tar -zxvf target4.0.tar 說明：需要java環(huán)境 檢查環(huán)境：java -vrsion 圖1 解壓 進(jìn)入/usr/local/target4.0/bin下啟動服務(wù)；啟動命令：
數(shù)據(jù)集成權(quán)限 表1 數(shù)據(jù)集成權(quán)限 權(quán)限 對應(yīng)API接口 授權(quán)項(xiàng)（Action） 依賴的授權(quán)項(xiàng) IAM項(xiàng)目 (Project) 企業(yè)項(xiàng)目 (Enterprise Project) 創(chuàng)建任務(wù) POST /v2/{project_id}/fdi/instances/{instance_id}/tasks
查看數(shù)據(jù)集成任務(wù) 概述 數(shù)據(jù)集成任務(wù)創(chuàng)建后，您可以查看任務(wù)的相關(guān)信息，包括任務(wù)的配置信息、運(yùn)行日志、操作日志和調(diào)度日志等。 您也可以修改任務(wù)的配置，修改任務(wù)的操作跟創(chuàng)建任務(wù)類似，具體配置說明可參見創(chuàng)建數(shù)據(jù)集成任務(wù)。 請謹(jǐn)慎修改您的任務(wù)配置信息，避免目標(biāo)端出現(xiàn)臟數(shù)據(jù)或者數(shù)據(jù)集成不完
ROMA Connect作為機(jī)場智能共享服務(wù)交換平臺，打通機(jī)場內(nèi)部業(yè)務(wù)應(yīng)用以及外部單位數(shù)據(jù)，同時通過數(shù)據(jù)集成、服務(wù)集成、消息集成等能力，幫助機(jī)場業(yè)務(wù)實(shí)現(xiàn)數(shù)字化全聯(lián)接協(xié)同。
字段注釋、數(shù)據(jù)類型、數(shù)據(jù)長度、數(shù)據(jù)量、數(shù)據(jù)主鍵、時間戳字段以及數(shù)據(jù)空值及分布情況等內(nèi)容。在獲取數(shù)據(jù)接入授權(quán)與數(shù)據(jù)源端連接信息后，確定數(shù)據(jù)探查方法并實(shí)施探查，參照數(shù)據(jù)標(biāo)準(zhǔn)與數(shù)據(jù)集成需求對探查結(jié)果進(jìn)行分析，最終輸出數(shù)據(jù)探查分析結(jié)果，形成問題清單，指導(dǎo)數(shù)據(jù)集成方案設(shè)計(jì)。 數(shù)據(jù)探查實(shí)施
在智慧水務(wù)項(xiàng)目中，華為云ROMA Connect提供的數(shù)據(jù)集成、秒級API流控等能力，幫助客戶提升開發(fā)、集成、上線效率，加速業(yè)務(wù)創(chuàng)新等。
在當(dāng)今社會，大數(shù)據(jù)已經(jīng)由過去的概念階段過渡到現(xiàn)在的應(yīng)用階段，那么各種大數(shù)據(jù)應(yīng)用與服務(wù)也越來越多，而所有的這些大數(shù)據(jù)。所應(yīng)用服務(wù)都離不開大數(shù)據(jù)的分析平臺。 華為的大數(shù)據(jù)平臺叫Fusionlnsight，就是一個集大數(shù)據(jù)存儲、處理與分析于一體的企業(yè)級統(tǒng)一化平臺。Fusionln
取各種數(shù)據(jù)庫的數(shù)據(jù)。 ROMA Connect的服務(wù)集成直接讀取數(shù)據(jù)庫中的數(shù)據(jù)，把讀取到的數(shù)據(jù)封裝為一個RESTful API，并開放給企業(yè)內(nèi)或企業(yè)外的其他業(yè)務(wù)系統(tǒng)。其他業(yè)務(wù)系統(tǒng)通過調(diào)用該API，即可獲取該業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫中的數(shù)據(jù)。 ROMA Connect的服務(wù)集成把數(shù)據(jù)庫數(shù)據(jù)封裝為RESTful
開發(fā)時，如何集成ROMA Connect的業(yè)務(wù)功能。 調(diào)用業(yè)務(wù)API實(shí)現(xiàn)業(yè)務(wù)系統(tǒng)數(shù)據(jù)開放的流程如下： 獲取集成應(yīng)用ID。 如果有可用的集成應(yīng)用，則調(diào)用“查詢應(yīng)用列表”接口，獲取集成應(yīng)用ID。 如果沒有可用的集成應(yīng)用，則調(diào)用“創(chuàng)建應(yīng)用”接口，創(chuàng)建一個集成應(yīng)用并獲取集成應(yīng)用ID。 接入數(shù)據(jù)源。
acle數(shù)據(jù)庫中，實(shí)現(xiàn)兩個數(shù)據(jù)庫之間的高效、準(zhǔn)確的數(shù)據(jù)更新與同步。 該方案不僅能夠減少人工操作帶來的錯誤和遺漏，Oracle數(shù)據(jù)庫中的數(shù)據(jù)都能反映出MySQL數(shù)據(jù)庫的最新狀態(tài)，滿足業(yè)務(wù)系統(tǒng)的數(shù)據(jù)需求和數(shù)據(jù)分析的一致性要求。 父主題： 定時同步MySQL中的數(shù)據(jù)到Oracle
