項目背景 

中國人壽于 2018 年采購了 GBase 8a MPP Cluster 集群數(shù)據(jù)庫，部署數(shù)十節(jié)點集群，作為生產(chǎn)環(huán)境支持了分支機構(gòu)數(shù)據(jù) BI 下發(fā)系統(tǒng)、數(shù)據(jù)倉庫升級改造等項目的建設，一定程度上緩解了公司數(shù)據(jù)類項目對 Oracle 及數(shù)據(jù)一體機環(huán)境的依賴，在滿足計算效率的同時，降低公司對數(shù)據(jù)機擴容的成本。 

自 2018 年部署完成后，至今一直支持分公司 BI 數(shù)據(jù)下發(fā)系統(tǒng)使用，系統(tǒng)運行穩(wěn)定。 自 2020 年 1 月，數(shù)據(jù)倉庫升級改造項目正式啟動實施，2021 年完成系統(tǒng)建設并進入試運行階段。投入試運行的數(shù)據(jù)倉庫系統(tǒng)將主要在 GBase 數(shù)據(jù)庫上運行，主要承擔操作數(shù)據(jù)區(qū)、主題數(shù)據(jù)區(qū)、通用數(shù)據(jù)區(qū)、應用數(shù)據(jù)區(qū)的數(shù)據(jù)存儲以及各數(shù)據(jù)區(qū)之間的數(shù)據(jù)加工邏輯處理工作，同時需要承擔部分應用的數(shù)據(jù)直連查詢、接口數(shù)據(jù)查詢等工作。基于目前實施階段對于源數(shù)據(jù)及各層數(shù)據(jù)、邏輯、支持應用的情況，建議在現(xiàn)有基礎上對數(shù)據(jù)庫進行擴容，以保證數(shù)據(jù)倉庫系統(tǒng)穩(wěn)定高效運行。 

建設目標 

數(shù)據(jù)倉庫升級改造項目在現(xiàn)有節(jié)點 GBase 8a 集群基礎上擴容集群規(guī)模至近百個節(jié)點，作為數(shù)據(jù)倉庫未來支撐數(shù)據(jù)類系統(tǒng)的基礎支持和大量數(shù)據(jù)分析應用系統(tǒng)，保證數(shù)據(jù)倉庫系統(tǒng)穩(wěn)定高效運行。項目需求如下： 

• 完成 GBase 8a 集群的節(jié)點擴展，支持線性的資源擴展，性能線性提升； 

• 在不影響業(yè)務系統(tǒng)運行的基礎上，完成在線節(jié)點擴容； 

• 擴容期間對數(shù)據(jù)庫進行監(jiān)控，支持擴容期間的并行度調(diào)整，支持調(diào)整數(shù)據(jù)重分布的 

南大通用數(shù)據(jù)技術(shù)股份有限公司GBase 解決方案成功案例并行度，支持調(diào)整數(shù)據(jù)重分布的優(yōu)先級，降低擴容時數(shù)據(jù)重分布對于業(yè)務執(zhí)行的影響。 

為更好的支持人保壽險的業(yè)務發(fā)展，提升公司經(jīng)營管理數(shù)字化水平，人保壽采購分布式數(shù)據(jù)庫軟件，完成數(shù)據(jù)架構(gòu)升級相關項目。系統(tǒng)采用 GBase 8a MPP Cluster 集群搭建，GBase 8a 面向分析型應用領域，以列存為基本存儲方式和數(shù)據(jù)運算對象，結(jié)合列數(shù)據(jù)壓縮處理、并行處理、快速智能索引等新型數(shù)據(jù)處理技術(shù)，在查詢、統(tǒng)計、分析以及批量加載性能上具備突出的優(yōu)勢。 

項目一期建設采購數(shù)十個節(jié)點，數(shù)據(jù)倉庫主要承擔操作數(shù)據(jù)區(qū)、主題數(shù)據(jù)區(qū)、通用數(shù)據(jù)區(qū)、應用數(shù)據(jù)區(qū)的數(shù)據(jù)存儲以及各數(shù)據(jù)區(qū)之間的數(shù)據(jù)加工邏輯處理工作，同時需要承擔部分應用的數(shù)據(jù)直連查詢、接口數(shù)據(jù)查詢等工作。隨著業(yè)務的發(fā)展，本次擴容近百個節(jié)點，需要承擔總公司報表系統(tǒng)、管理駕駛艙系統(tǒng)和大數(shù)據(jù)平臺系統(tǒng)。 

實施情況 

集群規(guī)模：當前共近百個個data節(jié)點，數(shù)個個coordinator節(jié)點，其中 coordinator 和 data 南大通用數(shù)據(jù)技術(shù)股份有限公司GBase 解決方案成功案例節(jié)點共用； 

數(shù)據(jù)量：總數(shù)據(jù)量約百余T； 

業(yè)務相關的日增量：日增量約數(shù)百G； 

并發(fā)量：夜間跑批峰值數(shù)十并發(fā)； 白天查詢目前并發(fā)量不大，峰值數(shù)并發(fā)左右； 

性能情況：夜間跑批基本在5小時之內(nèi)完成，由于文件是分批到達，到達一批就加載一 批，因此這個時間也包含了等待文件到達的時間，暫無法和之前的跑批性能進行對比； 白天復雜的報表查詢基本能在 2 分鐘之內(nèi)完成。 

效果及價值 

GBase 8a集群擴容到近百節(jié)點，提升了數(shù)據(jù)倉庫的計算能力和應用效果： 

• 統(tǒng)一數(shù)據(jù)服務平臺，集群規(guī)模從數(shù)十節(jié)點擴容到近百節(jié)點，存儲能力提；可以實 現(xiàn)統(tǒng)一數(shù)據(jù)服務，為多場景分析提供統(tǒng)一數(shù)據(jù)服務； 

• 性能提升，擴容后，在增加了倍數(shù)數(shù)倉業(yè)務的情況下，分公司BI業(yè)務跑批性能仍 然提升了70%以上，整體的跑批任務可以在5小時之內(nèi)完成； 

• 高性價比，構(gòu)建合理的“投入產(chǎn)出比”，提供線性靈活擴展能力； 

• 國產(chǎn)數(shù)據(jù)庫產(chǎn)品，符合政府對自主可控的信息國產(chǎn)化的要求。