大豐銀行數(shù)據(jù)平臺國產(chǎn)替換項目
項目概況
隨著大豐銀行業(yè)務(wù)不斷發(fā)展,數(shù)據(jù)積累日益增多,海量的歷史數(shù)據(jù)得不到有效利用,金融業(yè)務(wù)和服務(wù)創(chuàng)新缺乏IT技術(shù)支撐。如何利用海量數(shù)據(jù)資源進行價值和商業(yè)變現(xiàn),成為提高核心競爭力、搶占市場先機的關(guān)鍵。隨著數(shù)據(jù)量的增長及業(yè)務(wù)場景的變化,取數(shù)和計算范圍不斷擴充,整個ETL過程的調(diào)度也日益復(fù)雜,這不僅帶來運維成本的增加,也讓數(shù)據(jù)生產(chǎn)質(zhì)量難于保障。
大豐銀行數(shù)據(jù)平臺使用DB2,存量數(shù)據(jù)達TB級以上,數(shù)據(jù)庫性能和穩(wěn)定性都遇到挑戰(zhàn),急需保證數(shù)據(jù)平臺系統(tǒng)在高并發(fā)和高負(fù)荷下進行查詢分析的快速響應(yīng)能力和系統(tǒng)穩(wěn)定性。在擴展性方面,需滿足未來業(yè)務(wù)對系統(tǒng)擴展的要求。另外在成本方面,系統(tǒng)需要具有較高的性價比,避免后期建設(shè)由于成本過高導(dǎo)致的不可持續(xù)維護和擴容。
解決方案
為了滿足大豐銀行數(shù)據(jù)查詢分析的用戶需求,采用GBase 8a MPP Cluster大規(guī)模分布式并行數(shù)據(jù)庫集群系統(tǒng)替代DB2建設(shè)新的數(shù)據(jù)平臺以滿足用戶的預(yù)期,并帶來更高的價值。
數(shù)據(jù)平臺采用數(shù)節(jié)點GBase 8a集群支撐TB級數(shù)據(jù)量。通過GBase 8a的列存儲、智能索引、高壓縮等技術(shù),有效減少磁盤I/O訪問量,在查詢統(tǒng)計分析方面較原有系統(tǒng)有很大幅度的提升;支持即席查詢和多維分析;支撐各種復(fù)雜的BI應(yīng)用分析展示。作為數(shù)據(jù)調(diào)度平臺的基礎(chǔ)平臺,實現(xiàn)模型、指標(biāo)、ETL的統(tǒng)一管理,為金融行業(yè)其他用戶提供方案級復(fù)用。
大豐銀行數(shù)據(jù)平臺架構(gòu)圖
應(yīng)用效果
大豐銀行原來的數(shù)據(jù)平臺系統(tǒng)是DB2,目前已全面遷移到GBase 8a集群中運行,對大豐銀行的數(shù)倉報表出數(shù)性能有了明顯提升。
海量存儲高速加載:實現(xiàn)集群加載TB級數(shù)據(jù),性能高達數(shù)十TB/小時。同時提供高壓縮比入庫,從而提升性能;
即席查詢:在大數(shù)據(jù)量的前提下,實現(xiàn)快速高效即席查詢和秒級響應(yīng),為調(diào)度系統(tǒng)提供穩(wěn)定支撐;
統(tǒng)計分析:針對行業(yè)大幅提升快速分析性能,比原有系統(tǒng)有2~10倍的性能提升,復(fù)雜統(tǒng)計分析秒級響應(yīng);
統(tǒng)一管理:作為數(shù)據(jù)調(diào)度平臺的基礎(chǔ)平臺,實現(xiàn)模型、指標(biāo)和ETL的統(tǒng)一管理;
數(shù)據(jù)備份:提供了用戶數(shù)倉平臺重要數(shù)據(jù)的周期導(dǎo)出備份,包括實例級備份、庫級備份和表級備份。