異構OLTP數據庫遷移到GBase 8s解決方案
當前,以Oracle、DB2等為代表的國際主流數據庫軟件產品,已經長期、廣泛應用于國內各行業的核心業務系統中。當用戶業務系統面臨替換改造時,需要解決異構數據庫在整個切換過程中數據遷移、應用兼容、新系統穩定性等各種問題,以降低用戶進行數據庫管理系統架構遷移的風險。
下面根據GBase 8s的遷移經驗,對整體遷移方案做一介紹:
項目遷移流程
遷移流程是整個遷移工作的指導框架,可有效組織遷移工作的有序開展,主要流程步驟如下圖:
遷移前期調研及方案設計
本階段主要進行遷移前的調研評估,以及用來指導形成遷移落地執行的方案。內容包括如下幾點:
1、遷移前期調研內容及要點
調研的重點是了解客戶需求和當前的痛點,遷移后要有針對性的給客戶提供改善的方案!遷移前期調研是遷移項目的重要工作環節,此部分為項目實施不可省略環節。調研根據項目階段的推進情況可能在簽約前進行也可以在簽約后進行。
1.1遷移前期調研的目標
了解項目遷移實施范圍
評估遷移工作量、實施工期、人員數量及能力要求
評估遷移技術難點、項目主要風險
1.2遷移前期調研的內容
遷移系統現狀:原數據庫系統架構拓撲圖、相關配置、上下游情況、原庫版本
系統運行狀況:應用場景、重要性級別評估、應用部署架構、業務類型、業務場景中增刪改查各占的大致比例、并發情況、業務系統總用戶數
系統指標要求:業務高峰時期的響應時延要求,批處理并發數,處理數據量、處理耗時、業務數據生命周期等
接口情況:應用開發語言,開發環境ORM框架版本信息、訪問數據庫接口協議、連接池配置、長連接/短連接等、第三方工具支持要求
2、遷移方案設計
遷移方案需根據遷移前期調研結果,并針對客戶對該系統使用需求和痛點制定項目替換改造實施方案,主要包括:
遷移系統的硬件配置和部署方案;
針對客戶需求和痛點提供的針對性解決方案;
遷移實施的步驟和工作內容;
實施計劃和里程碑。
3、硬件資源評估
GBase 8s集群的硬件配置評估方式采用倒推的方法,即首先需要獲取原庫的詳細配置信息,之后再根據CPU整體核數、內存容量、磁盤容量并結合業務數據量趨勢評估GBase 8s集群單臺服務器的配置以及配置服務器的臺數。原則上GBase 8s集群所有服務器的CPU整體核數、內存容量和磁盤容量及盤片數量應不得小于原庫配置。對于倒推法不適應的場景,也可以參考GBase 8s集群推薦的硬件配置。
數據及業務的遷移
GBase 8s提供平滑遷移整體解決方案,可使替換過程中GBase 8s數據庫應用上線過程風險總體可控、系統運行平滑。整個過程分為三個階段:在第一階段,需要在完成全量備份恢復的基礎上,通過數據同步工具實現當前主源數據庫向備用GBase 8s數據庫的實時數據同步;第一階段平穩運行一段時間后,數據庫側進行主、備份角色互換后進入第二階段:由GBase 8s集群數據庫支撐業務系統運行,業務數據實時向源數據庫同步;最后階段,原數據庫系統割接下線,完成平滑遷移過程。
接下來需要通過對全量、增量數據的遷移、遷移前后數據的比對方式等技術難點進行提前規劃。
全量數據遷移方案評估及要點
遷移全量數據,其遷移的時間窗口很大程度的決定全量遷移是一次性還是分批遷移。主要有以下幾個方面的因素影響,需要重點考慮:
源數據庫遷移數據量【需要實測以評估源庫內數據的壓縮比】;
業務允許的停機時間窗口【此過程中源庫需要處于只讀狀態,且負載要輕,往往是硬約束條件】;
源數據庫數據導出性能【需要實測已確定能力】;
遷移工具服務器臺數、IO性能、與8s集群網絡帶寬【遷移環境制約因素】;
8s集群節點的加載性能【IO性能和網絡帶寬綜合考慮】。
對于遷移時間窗口的預估,需按照如下的公式進行估算:
遷移整體時間 = 源庫導出時間 + GBase 8s加載時間 + 數據校驗時間
數據遷移需要還需要注意:
源庫數據導出的性能需要實測;
評估萬兆帶寬的使用率時要給出一定的冗余度,一般計算需要乘以1/2系數;
整體時間窗口按照導出和加載串行方式評估,保證一定冗余度應對突發情況,而實際執行時可以按照多并發方式設計遷移的實際執行方式。
數據校對
數據校對采用的方法是通過比對原系統和遷移系統對相同數據的加工結果,通過結果是否一致來推斷過程是否遷移的正確。
數據校對常用方法:
總量校對:count值、sum值、avg值對比;
分量校對:對表內各維度進行group by后對這個維度的一個指標值進行count、sum、avg核對;
錯誤對比:在發現不一致的表時,將對比的表拉到一個環境上進行詳細分析,如進行minus運算,找出差數據再進一步分析;
校對報告:校對報告是校對工作輸出物,對數據一致性問題進行記錄和分析,對之前解決的問題進行追溯,形成數據校對工作常見問題的知識體系。