數(shù)據(jù)復(fù)制服務(wù) （Data Replication Service，簡(jiǎn)稱DRS）支持將本地PostgreSQL 數(shù)據(jù)庫 的數(shù)據(jù)同步至本云 云數(shù)據(jù)庫 PostgreSQ L實(shí)例 。通過DRS提供的實(shí)時(shí) 遷移 任務(wù)，實(shí)現(xiàn)在數(shù)據(jù)庫同步過程中業(yè)務(wù)和數(shù)據(jù)庫不停機(jī)，業(yè)務(wù)中斷時(shí)間最小化。
本章節(jié)主要介紹了通過DRS將本地PostgreSQL數(shù)據(jù)庫實(shí)時(shí)遷移至本云云數(shù)據(jù)庫PostgreSQL的任務(wù)配置流程。支持以下網(wǎng)絡(luò)類型：
· VPN（ Virtual Private Network ， 虛擬專用網(wǎng)絡(luò) ）網(wǎng)絡(luò)
· 公網(wǎng)網(wǎng)絡(luò)
網(wǎng)絡(luò)示意圖
同步流程
同步建議（重要）
· 數(shù)據(jù)庫同步與環(huán)境多樣性和人為操作均有密切關(guān)系，為了確保同步的平順，建議您在進(jìn)行正式的數(shù)據(jù)庫同步之前進(jìn)行一次演練，可以幫助您提前發(fā)現(xiàn)問題并解決問題，如何最小化對(duì)數(shù)據(jù)庫的影響請(qǐng)參考如下建議。
· 強(qiáng)烈建議您在啟動(dòng)任務(wù)時(shí)選擇“稍后啟動(dòng)”功能，將啟動(dòng)時(shí)間設(shè)置在業(yè)務(wù)低峰期，相對(duì)靜止的數(shù)據(jù)可以有效提升一次性同步成功率，避免同步對(duì)業(yè)務(wù)造成性能影響。
同步須知（重要）
須知：在創(chuàng)建實(shí)時(shí)同步任務(wù)之前，請(qǐng)您務(wù)必仔細(xì)閱讀同步使用須知。參考《 數(shù)據(jù)復(fù)制 服務(wù)快速入門》中的“使用須知”章節(jié)。
同步準(zhǔn)備
1、權(quán)限準(zhǔn)備：
當(dāng)使用 DRS 將本地PostgreSQL數(shù)據(jù)庫的數(shù)據(jù)同步到本云云數(shù)據(jù)庫PostgreSQL實(shí)例時(shí)，在不同同步類型情況下，對(duì)源數(shù)據(jù)庫和目標(biāo)數(shù)據(jù)庫的帳號(hào)權(quán)限要求如表1所示：
|
同步類型 |
全量同步 |
全量+增量同步 |
|---|---|---|
|
· 源數(shù)據(jù)庫 |
· 數(shù)據(jù)庫：CONNENT · 模式：USAGE · 有主鍵表：SELECT · 無主鍵表：SELECT、UPDATE、DELETE、TRUNCATE · 序列：SELECT |
· 賬戶：REPLICATION · 數(shù)據(jù)庫：CONNENT · 模式：USAGE · 有主鍵表：SELECT · 無主鍵表：SELECT、UPDATE、DELETE、TRUNCATE · 序列：SELECT |
|
目標(biāo)數(shù)據(jù)庫 |
CREATEDB |
CREATEDB、CREATEROLE |
· 源數(shù)據(jù)庫的權(quán)限設(shè)置：
需要確保源數(shù)據(jù)庫PostgreSQL的帳號(hào)具備表1的權(quán)限，若權(quán)限不足，需要在源數(shù)據(jù)庫端開通高權(quán)限的帳號(hào)。
· 目標(biāo)數(shù)據(jù)庫的權(quán)限設(shè)置：
本云云數(shù)據(jù)庫PostgreSQL使用初始帳號(hào)即可。
1、網(wǎng)絡(luò)準(zhǔn)備：
· 源數(shù)據(jù)庫的網(wǎng)絡(luò)設(shè)置：
本地PostgreSQL數(shù)據(jù)庫實(shí)時(shí)同步至本云云數(shù)據(jù)庫PostgreSQL的場(chǎng)景，一般可以使用VPN、專線網(wǎng)絡(luò)和公網(wǎng)網(wǎng)絡(luò)兩種方式進(jìn)行同步，您可以根據(jù)實(shí)際情況為本地PostgreSQL數(shù)據(jù)庫開放公網(wǎng)訪問或建立VPN訪問。一般推薦使用公網(wǎng)網(wǎng)絡(luò)進(jìn)行同步，該方式下的數(shù)據(jù)同步過程較為方便和經(jīng)濟(jì)。
· 目標(biāo)數(shù)據(jù)庫的網(wǎng)絡(luò)設(shè)置：
a）若通過VPN訪問，請(qǐng)先開通華為VPN服務(wù)，確保源數(shù)據(jù)庫PostgreSQL和目標(biāo)端本云云數(shù)據(jù)庫PostgreSQL的網(wǎng)絡(luò)互通。
b）若通過公網(wǎng)網(wǎng)絡(luò)訪問，目標(biāo)端不需要進(jìn)行任何設(shè)置。
2、安全規(guī)則準(zhǔn)備：
a）源數(shù)據(jù)庫的安全規(guī)則設(shè)置：
· 若通過公網(wǎng)網(wǎng)絡(luò)進(jìn)行同步，源數(shù)據(jù)庫PostgreSQL需要將DRS同步實(shí)例的 彈性公網(wǎng)IP 添加到其網(wǎng)絡(luò)白名單內(nèi)，使源數(shù)據(jù)庫與本云的網(wǎng)絡(luò)互通。在設(shè)置網(wǎng)絡(luò)白名單之前，需要獲取DRS同行實(shí)例的彈性 公網(wǎng)IP ，具體方法如下：
· 若通過VPN網(wǎng)絡(luò)進(jìn)行同步，源庫需要將DRS的私有IP添加到其網(wǎng)絡(luò)白名單內(nèi)，使源端與目標(biāo)端的網(wǎng)絡(luò)互通。
DRS同步實(shí)例創(chuàng)建成功后，可在“源庫及目標(biāo)庫”頁面獲取DRS同步實(shí)例的私有IP。
以上白名單是為了進(jìn)行同步針對(duì)性設(shè)置的，同步結(jié)束后可以刪除。
b）目標(biāo) 數(shù)據(jù)庫安全 規(guī)則設(shè)置：
目標(biāo)數(shù)據(jù)庫默認(rèn)與DRS同步實(shí)例處在同一個(gè)VPC，網(wǎng)絡(luò)是互通的，DRS可以直接寫入數(shù)據(jù)到目標(biāo)數(shù)據(jù)庫，不需要進(jìn)行任何設(shè)置。
3、其他事項(xiàng)準(zhǔn)備：
DRS僅支持同步PostgreSQL部分類型的DDL語句，具體支持范圍請(qǐng)參考相關(guān)指導(dǎo)。請(qǐng)合理規(guī)劃源數(shù)據(jù)庫業(yè)務(wù)，不要在同步期間產(chǎn)生支持范圍外的DDL操作。
同步步驟
1、創(chuàng)建同步任務(wù)。
a）登錄管理控制臺(tái)，在服務(wù)列表中選擇，進(jìn)入數(shù)據(jù)復(fù)制服務(wù)信息頁面。
b）在“實(shí)時(shí)同步管理”頁面，單擊右上角“創(chuàng)建同步任務(wù)”，進(jìn)入同步任務(wù)信息頁面。
c）在“同步實(shí)例”頁面，填選任務(wù)名稱、任務(wù)異常通知信息、描述和同步實(shí)例信息。
|
參數(shù) |
描述 |
|---|---|
|
區(qū)域 |
當(dāng)前所在區(qū)域，可進(jìn)行切換。 |
|
任務(wù)名稱 |
任務(wù)名稱在4-50位之間，必須以字母開頭，不區(qū)分大小寫，可以包含字母、數(shù)字、中劃線或下劃線，不能包含其他的特殊字符。 |
|
描述 |
描述不能超過256位，且不能包含! = < > & ' " \ 特殊字符。 |
|
任務(wù)異常通知設(shè)置 |
該項(xiàng)為可選參數(shù)，開啟之后，選擇對(duì)應(yīng)的 SMN 主題，。當(dāng)同步任務(wù)狀態(tài)異常時(shí)，系統(tǒng)將發(fā)送通知。 |
|
SMN主題 |
“任務(wù)異常通知設(shè)置”項(xiàng)開啟后可見，需提前在SMN上申請(qǐng)主題并添加訂閱。 |
|
時(shí)延閾值 |
在增量同步階段，源數(shù)據(jù)庫和目標(biāo)數(shù)據(jù)庫之間的同步有時(shí)會(huì)存在一個(gè)時(shí)間差，稱為時(shí)延，單位為秒。 時(shí)延閾值設(shè)置是指時(shí)延超過一定的值后（時(shí)延閾值范圍為1—3600s），DRS可以發(fā)送告警通知給指定收件人。告警通知將在時(shí)延穩(wěn)定超過設(shè)定的閾值6min后發(fā)送，避免出現(xiàn)由于時(shí)延波動(dòng)反復(fù)發(fā)送告警通知的情況。 說明：
· 首次進(jìn)入增量同步階段，會(huì)有較多數(shù)據(jù)等待同步，存在較大的時(shí)延，屬于正常情況，不在此功能的監(jiān)控范圍之內(nèi)。 · 設(shè)置時(shí)延閾值之前，需要設(shè)置任務(wù)異常通知。 |
|
任務(wù)異常自動(dòng)結(jié)束時(shí)間（天） |
設(shè)置任務(wù)異常自動(dòng)結(jié)束天數(shù)，輸入值必須在14-100之間。 說明：
異常狀態(tài)下的任務(wù)仍然會(huì)計(jì)費(fèi)，而長(zhǎng)時(shí)間異常的任務(wù)無法續(xù)傳和恢復(fù)。設(shè)置任務(wù)異常自動(dòng)結(jié)束天數(shù)后，異常且超時(shí)的任務(wù)將會(huì)自動(dòng)結(jié)束，以免產(chǎn)生不必要的費(fèi)用。 |
|
參數(shù) |
描述 |
|---|---|
|
數(shù)據(jù)流動(dòng)方向 |
選擇“入云”。 |
|
源數(shù)據(jù)庫引擎 |
選擇“PostgreSQL”。 |
|
目標(biāo)數(shù)據(jù)庫引擎 |
選擇“PostgreSQL” 。 |
|
網(wǎng)絡(luò)類型 |
選擇“公網(wǎng)網(wǎng)絡(luò)”。建議您開啟SSL安全連接，SSL約降低20-30%的同步性能，但保證了數(shù)據(jù)的安全性。 |
|
目標(biāo)數(shù)據(jù)庫實(shí)例 |
選擇您所創(chuàng)建的目標(biāo)PostgreSQL實(shí)例 |
|
同步類型 |
全量+增量： 該模式為數(shù)據(jù)持續(xù)性實(shí)時(shí)同步，通過全量過程完成目標(biāo)端數(shù)據(jù)庫的初始化后，增量同步階段通過解析日志等技術(shù)，將源端和目標(biāo)端數(shù)據(jù)保持?jǐn)?shù)據(jù)持續(xù)一致。 說明：
選擇“全量+增量”同步模式，增量同步可以在全量同步完成的基礎(chǔ)上實(shí)現(xiàn)數(shù)據(jù)的持續(xù)同步，無需中斷業(yè)務(wù)，實(shí)現(xiàn)同步過程中源業(yè)務(wù)和數(shù)據(jù)庫繼續(xù)對(duì)外提供訪問。 |
d）在“源庫及目標(biāo)庫”信息頁面，同步實(shí)例創(chuàng)建成功后，填選源庫信息和目標(biāo)庫信息，建議您單擊“源庫和目標(biāo)庫”處的“測(cè)試連接”，分別測(cè)試并確定與源庫和目標(biāo)庫連通后，勾選協(xié)議，單擊“下一步”。
|
參數(shù) |
描述 |
|---|---|
|
IP地址或域名 |
配置源數(shù)據(jù)庫PostgreSQL實(shí)例的訪問地址或域名。 |
|
端口 |
配置源數(shù)據(jù)庫PostgreSQL實(shí)例的服務(wù)端口，可輸入范圍為1~65535間的整數(shù)。 |
|
數(shù)據(jù)庫用戶名 |
訪問源數(shù)據(jù)庫PostgreSQL的用戶名。 |
|
數(shù)據(jù)庫密碼 |
訪問源數(shù)據(jù)庫PostgreSQL的用戶名所對(duì)應(yīng)的密碼。 |
|
SSL安全連接 |
在選擇公網(wǎng)網(wǎng)絡(luò)進(jìn)行同步任務(wù)時(shí)，為了提升數(shù)據(jù)在網(wǎng)絡(luò)傳輸過程中的安全性，建議您開啟SSL安全連接，對(duì)同步鏈路進(jìn)行加密，如果開啟，需要您上傳CA證書。 |
|
參數(shù) |
描述 |
|---|---|
|
數(shù)據(jù)庫實(shí)例名稱 |
默認(rèn)為創(chuàng)建同步任務(wù)時(shí)選擇的已創(chuàng)建的PostgreSQL實(shí)例，不可進(jìn)行修改。 |
|
數(shù)據(jù)庫用戶名 |
訪問目標(biāo)端PostgreSQL實(shí)例的用戶名。 |
|
數(shù)據(jù)庫密碼 |
訪問目標(biāo)端PostgreSQL實(shí)例的用戶名所對(duì)應(yīng)的密碼。 |
e）在“同步設(shè)置”頁面，選擇同步對(duì)象和同步用戶。
f）在“預(yù)檢查”頁面，進(jìn)行同步任務(wù)預(yù)校驗(yàn)，校驗(yàn)是否可進(jìn)行實(shí)時(shí)同步。
· 查看檢查結(jié)果，如有不通過的檢查項(xiàng)，需要修復(fù)不通過項(xiàng)后，單擊“重新校驗(yàn)”按鈕重新進(jìn)行任務(wù)預(yù)校驗(yàn)。
預(yù)檢查不通過項(xiàng)處理建議請(qǐng)參見《數(shù)據(jù)復(fù)制服務(wù)用戶指南》中的“預(yù)檢查不通過項(xiàng)修復(fù)方法”。
· 預(yù)檢查完成后，且所有檢查項(xiàng)結(jié)果均通過時(shí)，單擊“下一步”。
說明：所有檢查項(xiàng)結(jié)果均通過時(shí)，若存在請(qǐng)確認(rèn)項(xiàng)，需要閱讀并確認(rèn)詳情后才可以繼續(xù)執(zhí)行下一步操作。
g）在“任務(wù)確認(rèn)”頁面，選擇同步任務(wù)的啟動(dòng)時(shí)間，勾選協(xié)議，單擊“啟動(dòng)任務(wù)”，提交同步任務(wù)。
· 同步任務(wù)的啟動(dòng)時(shí)間可以根據(jù)業(yè)務(wù)需求，設(shè)置為“立即啟動(dòng)”或“稍后啟動(dòng)”。
· 預(yù)計(jì)同步任務(wù)啟動(dòng)后，會(huì)對(duì)源數(shù)據(jù)庫和目標(biāo)數(shù)據(jù)庫的性能產(chǎn)生影響，建議選擇業(yè)務(wù)低峰期，合理設(shè)置同步任務(wù)的啟動(dòng)時(shí)間。
h）同步任務(wù)提交后，開始啟動(dòng)同步任務(wù)，您可以返回“實(shí)時(shí)同步管理”頁面，查看同步任務(wù)狀態(tài)。
2、任務(wù)管理。
同步任務(wù)啟動(dòng)后，會(huì)經(jīng)歷全量同步和增量同步兩個(gè)階段，對(duì)于不同階段的同步任務(wù)，您可以進(jìn)行任務(wù)管理。
· 全量同步
查看同步進(jìn)度：全量同步中的任務(wù)，您可單擊任務(wù)名稱，在“同步進(jìn)度”頁簽下，查看全量同步進(jìn)度，您可以查看結(jié)構(gòu)、數(shù)據(jù)、索引同步的進(jìn)度，也查看具體同步對(duì)象的同步進(jìn)度。當(dāng)全量同步進(jìn)度顯示為100%，表示全量同步已經(jīng)完成。
· 增量同步
【查看時(shí)延監(jiān)控】全量同步完成后，開始進(jìn)行增量同步。對(duì)于增量同步中的任務(wù)，您可單擊任務(wù)名稱，在“同步進(jìn)度”頁簽下，查看增量同步同步時(shí)延，當(dāng)時(shí)延為0s時(shí)，說明源數(shù)據(jù)庫和目標(biāo)數(shù)據(jù)庫的數(shù)據(jù)是實(shí)時(shí)同步的。您也可以使用“同步對(duì)比”頁簽進(jìn)行一致性對(duì)比。
圖9 查看時(shí)延監(jiān)控
【查看同步對(duì)比】為了盡可能減少業(yè)務(wù)的影響和業(yè)務(wù)中斷時(shí)間，增量同步中的任務(wù)，您可單擊任務(wù)名稱，在“同步對(duì)比”頁簽下創(chuàng)建對(duì)比任務(wù)。
具體的同步對(duì)比操作及注意事項(xiàng)請(qǐng)參考《數(shù)據(jù)復(fù)制服務(wù)用戶指南》中“對(duì)比同步項(xiàng)”章節(jié)。
3、割接建議。
建議您選擇一個(gè)業(yè)務(wù)低峰期，開始正式系統(tǒng)割接流程。割接前，請(qǐng)您確認(rèn)至少在業(yè)務(wù)低峰期有過一次完整的數(shù)據(jù)對(duì)比?？梢越Y(jié)合數(shù)據(jù)對(duì)比的“稍后啟動(dòng)”功能，選擇業(yè)務(wù)低峰期進(jìn)行數(shù)據(jù)對(duì)比，以便得到更為具有參考性的對(duì)比結(jié)果。由于同步具有輕微的時(shí)差，在數(shù)據(jù)持續(xù)操作過程中進(jìn)行對(duì)比任務(wù)，可能會(huì)出現(xiàn)少量數(shù)據(jù)不一致對(duì)比結(jié)果，從而失去參考意義。
a）先中斷業(yè)務(wù)（如果業(yè)務(wù)負(fù)載非常輕，也可以嘗試不中斷業(yè)務(wù)）。
b）在源數(shù)據(jù)庫端執(zhí)行如下語句，并觀察在1-5分鐘內(nèi)若無任何新會(huì)話執(zhí)行SQL ，則可認(rèn)為業(yè)務(wù)已經(jīng)完全停止。
select * from pg_stat_activity;
說明：上述語句查詢到的進(jìn)程列表中，包括DRS同步實(shí)例的連接，您需要確認(rèn)除DRS同步實(shí)例的連接外無任何新會(huì)話執(zhí)行SQL，即可認(rèn)為業(yè)務(wù)已經(jīng)完全停止。
c）通過DRS同步任務(wù)監(jiān)控頁面進(jìn)行觀察同步時(shí)延，保持實(shí)時(shí)同步時(shí)延為0，并穩(wěn)定保持一段時(shí)間；同時(shí)，您可以使用數(shù)據(jù)級(jí)對(duì)比功能，進(jìn)行割接前的最后一次數(shù)據(jù)級(jí)對(duì)比，耗時(shí)可參考之前的對(duì)比記錄。
· 如果時(shí)間允許，則選擇全部對(duì)比。
· 如果時(shí)間不允許，則推薦對(duì)比活躍表，關(guān)鍵業(yè)務(wù)表，第二步對(duì)比多次存在差異的表等。
d）確定系統(tǒng)割接時(shí)機(jī)，業(yè)務(wù)系統(tǒng)指向本云數(shù)據(jù)庫，業(yè)務(wù)對(duì)外恢復(fù)使用，同步完成。
4、同步結(jié)束。
a）結(jié)束同步任務(wù)：業(yè)務(wù)系統(tǒng)和數(shù)據(jù)庫切換至本云后，為了防止源數(shù)據(jù)庫的操作繼續(xù)同步到目標(biāo)數(shù)據(jù)庫，造成數(shù)據(jù)覆蓋問題，此時(shí)您可選擇結(jié)束同步任務(wù)，該操作僅刪除了同步實(shí)例，同步任務(wù)仍顯示在任務(wù)列表中，您可以進(jìn)行查看或刪除。結(jié)束同步任務(wù)后，DRS將不再計(jì)費(fèi)。
b）刪除同步任務(wù)：對(duì)于已結(jié)束的同步任務(wù)，您可選擇刪除任務(wù)。該操作將一并刪除同步任務(wù)，刪除同步任務(wù)后，該任務(wù)將不會(huì)出現(xiàn)在任務(wù)列表中。
