項目背景

廣西移動用戶與業(yè)務不斷發(fā)展，經(jīng)分系統(tǒng)的數(shù)據(jù)量與日俱增。在這種背景下，為滿足不斷擴展的數(shù)據(jù)量和業(yè)務量要求，廣西移動決定對其NGBASS系統(tǒng)進行云化改造。通過使用Hadoop與MPP等x86云化技術，實現(xiàn)經(jīng)營分析系統(tǒng)的去IOE化，以達到快速處理大規(guī)模的數(shù)據(jù)，系統(tǒng)有能力持續(xù)的擴容等目的。

需求分析

廣西移動的需求在于：使用目前比較成熟的云化技術，將原有經(jīng)分系統(tǒng)使用小型機處理的各類數(shù)據(jù)完全放到x86平臺上處理。隨著業(yè)務的不斷發(fā)展，對今后4G的統(tǒng)計分析將全部使用云化平臺處理，屆時需要對云化平臺進行在線擴容。

解決方案

廣西移動的數(shù)據(jù)量非常龐大，每天的新增數(shù)據(jù)在1TB以上。整體解決方案使用了87臺x86服務器作為計算節(jié)點搭建了一個GBase 8a MPP Cluster集群，GCluster/GCWare為11個節(jié)點集群，GNode為76個節(jié)點集群，目前總數(shù)據(jù)量為610TB。

在底層使用了Hadoop平臺作為ETL系統(tǒng)，將BOSS、客服、網(wǎng)站等接口數(shù)據(jù)先入到Hadoop平臺中，在其內(nèi)進行數(shù)據(jù)清洗轉(zhuǎn)換。數(shù)據(jù)在Hadoop平臺上也進行少量的匯總工作，將ODS層的數(shù)據(jù)放到Hadoop平臺上進行匯總，減輕數(shù)據(jù)倉庫的壓力。

由GBase 8a MPP Cluster構成的數(shù)據(jù)倉庫，不僅承擔了整個數(shù)據(jù)倉庫的所有模型建立、數(shù)據(jù)匯總等工作，也承擔了數(shù)據(jù)集市的功能。外部用戶可以訪問集群，對有權限的數(shù)據(jù)進行自助訪問和分析。

價值體現(xiàn)

l  高性能：入庫、匯總、查詢速度比傳統(tǒng)數(shù)據(jù)庫提升10-20倍；

l  與Hadoop整合：易與Hadoop平臺進行接口，快速的進行數(shù)據(jù)交換；

l  低投高效：GBase 8a MPP Cluster平臺的建立，成本僅僅是相同計算能力小型機成本的1/10。