CDM 服務(wù)基于分布式計(jì)算框架，利用并行化處理技術(shù)，支持用戶穩(wěn)定高效地對(duì)海量數(shù)據(jù)進(jìn)行移動(dòng)，實(shí)現(xiàn)不停服 數(shù)據(jù)遷移 ，快速構(gòu)建所需的數(shù)據(jù)架構(gòu)。
產(chǎn)品功能
表/文件/整庫(kù) 遷移
支持批量遷移表或者文件，還支持同構(gòu)/異構(gòu) 數(shù)據(jù)庫(kù) 之間整庫(kù)遷移，一個(gè)作業(yè)即可遷移幾百?gòu)埍怼?/p>
增量數(shù)據(jù)遷移
支持文件增量遷移、關(guān)系型數(shù)據(jù)庫(kù)增量遷移、HBase/CloudTable增量遷移，以及使用Where條件配合時(shí)間變量函數(shù)實(shí)現(xiàn)增量數(shù)據(jù)遷移。
事務(wù)模式遷移
支持當(dāng)CDM作業(yè)執(zhí)行失敗時(shí)，將數(shù)據(jù)回滾到作業(yè)開(kāi)始之前的狀態(tài)，自動(dòng)清理目的表中的數(shù)據(jù)。
字段轉(zhuǎn)換
支持去隱私、字符串操作、日期操作等常用字段的數(shù)據(jù)轉(zhuǎn)換功能。
文件加密
在遷移文件到文件系統(tǒng)時(shí)，CDM支持對(duì)寫(xiě)入云端的文件進(jìn)行加密。
MD5校驗(yàn)一致性
支持使用MD5校驗(yàn)，檢查端到端文件的一致性，并輸出校驗(yàn)結(jié)果。
臟數(shù)據(jù)歸檔
支持將遷移過(guò)程中處理失敗的、被清洗過(guò)濾掉的、不符合字段轉(zhuǎn)換或者不符合清洗規(guī)則的數(shù)據(jù)單獨(dú)歸檔到臟數(shù)據(jù)日志中，便于用戶查看。并支持設(shè)置臟數(shù)據(jù)比例閾值，來(lái)決定任務(wù)是否成功。
