廣發銀行Sybase IQ數據庫遷移項目
項目概要
廣發新報表服務平臺建設構建一套全新國產化MPP 數倉平臺,滿足以下需求:
高性能、高擴展性、高穩定性
精準分析平臺數倉數據遷移
遷移現有Sybase IQ數據到新數倉平臺、14TB壓縮前容量(高頻事實表與維表)、僅遷移數據,數據模型維持不變
實施服務
負責完成新平臺構建、對接新平臺業務、數據遷移服務
五層架構描述:
數據來源層:廣發銀行的各個業務系統
數據交換層:作為源數據與數倉/數據湖的中間數據交換層,兼容各種數據抽取工具
數據處理層:該層分為數據處理和數據加工:數據處理層采用湖倉一體化架構 :數據清洗/粗加工在hadoop上完成,借助GBase 8a數據融合能力,處理后數據透明入倉(不落地)
數據加工層:數據經過清洗加工后,進入數據主倉,數據在主倉完成基礎和共性數據加工,主倉由GBase 8a承載
數據集市(模型)層:完成數據模型的建立和處理, GBase 8a支持各種數據模型(關系、維度模型)。
應用&展示層:本層為數據應用系統,包含報表系統和營銷系統以及其它新業務平臺。 GBase 8a支持各種BI平臺(PowerBI、Cognos、帆軟、永洪 、SmartBi 等 )
項目使用分布式數據庫GBase 8a建設報表服務平臺,解決報表統計耗時長、數據庫擴展困難等問題,對外提供平臺化開發能力,提供自定義報表服務、自助報表數據下載等功能。