六個月！光大銀行數(shù)倉平臺全量遷移至華為云GaussDB(DWS)
業(yè)務挑戰(zhàn)
-
數(shù)據(jù)分散在多個業(yè)務系統(tǒng)
多廠商多平臺導致數(shù)據(jù)倉庫體系復雜，數(shù)據(jù)分析技術(shù)準入門檻高
多廠商多平臺導致數(shù)據(jù)倉庫體系復雜，數(shù)據(jù)分析技術(shù)準入門檻高
-
數(shù)據(jù)加工鏈路長
數(shù)據(jù)處理復雜度高，監(jiān)管報送時效性無法得到保障
數(shù)據(jù)處理復雜度高，監(jiān)管報送時效性無法得到保障
-
原平臺擴展性不足
原平臺無法滿足業(yè)務數(shù)據(jù)快速膨脹，應用快速發(fā)展的訴求
原平臺數(shù)據(jù)處理復雜度高，批量作業(yè)時效性無法得到保障
解決方案
光大銀行數(shù)據(jù)倉庫平臺采用集中化建設模式，降低系統(tǒng)管理成本、技術(shù)復雜度，提升資源配置效率、數(shù)據(jù)一致性，承載30000多個數(shù)據(jù)模型，每日運行30000多個代碼腳本，數(shù)百萬行代碼，數(shù)據(jù)規(guī)模2.3PB。
為了確保業(yè)務數(shù)據(jù)100%準確，提升遷移效率，采用代碼轉(zhuǎn)換工具、代碼掃描工具、數(shù)據(jù)比對工具、ETL工具等自動化工具箱，覆蓋數(shù)據(jù)量檢查、結(jié)果比對、自適應調(diào)度、批量自愈等場景，遷移效率提升3倍，6個月完成全量數(shù)據(jù)遷移。