近日，山東移動完成了PB級數據倉庫跨機房的搬遷及擴容，項目實施做到了業務應用的代碼零改動，通過修改JDBC的連接串，重啟服務就完成了系統割接，真正意義上做到了經分大數據數據主倉完全業務無感知的跨數據中心搬遷工作，目前擴容后系統已良好運行超過30天。

項目背景

2012年7月開始山東移動經分系統開始采用GBase 8a MPP數據庫對DB2進行全面替換，經過幾期建設，2020年逐步建成大數據開放運營平臺，通過MPP數據庫服務能力為大數據平臺數據對內對外服務提供助力。

隨著承載量的劇增，2021年開始云經分數據主倉的72節點集群存儲超過90%，存儲長時間高水位可能引發頻繁的硬件故障，同時數據庫整體性能也會有所下降，這就要求運維團隊隨時監控集群情況，一方面是運維投入的增加，一方面是影響新的業務開發，所以集群擴容成為亟待解決的問題。

山東移動第五數據中心是省公司最早建設的數據中心之一，目前已飽和使用，無剩余空間用于業務擴容，所以只能將大數據平臺進行跨機房搬遷和擴容。經分大數據主倉庫PB級的數據量、15萬張的表、每日庫內超過3000個作業以及日加工時間超過16個小時等客觀情況都為遷移工作帶來巨大挑戰。

解決方案  

經過周密計劃，GBASE制定了2步驟的搬遷擴容方案：

1、基于GBase 8a鏡像集群實現數據復制，進行機房搬遷

通過GBase 8a MPP 產品V95版本搭建跨數據中心的雙活集群架構，在第六數據中心創建虛擬集群VC2，要求VC2與第五數據中心VC1的集群規模、分片個數、distribution和hash map完全相同，創建VC2之后通過鏡像關系開始集群的全量數據同步，同時上層應用修改JDBC連接，開始訪問VC2的Coordinator節點，此時VC1的datanode節點仍然作為生產數據集群對外提供數據服務。

當數據同步完成后將VC2的Coordinator向下訪問數據集群修改為VC2的datanode,最終完成數據主倉的跨數據中心遷移工作。

此方案做到了業務應用的代碼零改動，通過修改JDBC的連接串，重啟服務就完成了系統割接，真正意義上做到了經分大數據數據主倉完全業務無感知的跨數據中心搬遷工作。

2、對搬遷完成后的集群進行節點擴容，提升大數據平臺的存儲容量及計算能力

最終通過7天時間的數據重分布完成了PB級數據由72節點到158節點的擴容工作，目前擴容后系統已良好運行超過30天。

價值體現

通過GBase 8a MPP V95版本的虛擬集群功能，在虛擬集群中將兩個同樣規模和數據分布策略的子集群建立鏡像關系來構建實時數據復制，可以構建大數據業務平臺實時雙活的容災方案。

通過山東移動大數據平臺主數據倉庫的成功遷移，驗證了通過虛擬集群搭建雙活或容災架構的可行性，為其他預計搭建雙活或容災集群的省公司積累了豐富經驗，也證明了GBase 8a MPP的產品力和南大通用的自主研發能力，為進一步助力中國移動數字化全面轉型添磚加瓦。