長江商業銀行數據平臺國產化替代項目
項目背景
江蘇長江商業銀行原使用Netteza作為數倉提供數據查詢、統計、分析、挖掘、檢索等數據處理服務的需求支撐。但由于Netteza產品供應商已無法提供后續服務,繼續使用該產品存在無法維護升級等風險;
同時為了響應國家國產化相關政策,急需替換并建設一套高效穩定數據倉庫,為后續數據查詢、統計、分析、挖掘、檢索等數據處理提供強有力的支持。
解決方案
遷移內容:數千張表數百TB數據、數千個存儲過程98%語法兼容,差異點修改簡單可腳本批量替換;MTK 遷移表結構、遷移腳本處理存儲過程、函數對應替換全表或部分數據快速導出導入,建立外表或導出方式將 Netezza 中涉及導出為文本,通過 load 命令加載入庫到 GBase 8a;
遷移順序:按數倉分層逐層遷移,遷移完成一層校驗一層 TD Data 原始數據層 -> OM Data 處理匯總層 -> DM Data 集市層 -> IM Data 報表層;
數據稽核,自頂向下稽核、自底向上排錯;
應用效果
整體集群由x86服務器所搭建;采用雙活集群搭建模式,避免極端情況導致業務異常;采用獨立加載機器進行數據抽取入庫工作,緩解部分集群壓力;
動態擴展:系統可擴展能力強,支持集群動態擴展,且性能隨著節點的增加而線性提升 ;
低投高效:GBase 8a MPP Cluster 運行于低成本 X86 PC Server,成本低廉,性能高效;
高可用性:GBase 8a MPP Cluster保證7×24小時系統穩定運行,確保無單點故障風險。