北京聯(lián)通寬帶業(yè)務(wù)中心在IPV6流媒體系統(tǒng)升級改造完成的基礎(chǔ)上，需要進(jìn)一步實(shí)現(xiàn)對用戶訪問信息的統(tǒng)計(jì)，達(dá)到深度分析用戶訪問行為，快速定位故障、快速響應(yīng)聯(lián)通客戶投訴，提升客戶滿意度的目的，并為經(jīng)營分析、營銷及運(yùn)維提供高價(jià)值的數(shù)據(jù)支持。寬帶業(yè)務(wù)中心各類系統(tǒng)每天產(chǎn)生大量的非結(jié)構(gòu)化、半結(jié)構(gòu)化日志信息，包含故障信息、用戶訪問情況等內(nèi)容，需要對各類日志文件進(jìn)行統(tǒng)一轉(zhuǎn)化和存儲，進(jìn)而實(shí)現(xiàn)信息價(jià)值的挖掘。

需要圍繞寬帶業(yè)務(wù)中心流媒體各類系統(tǒng)建立統(tǒng)一的日志管理平臺，實(shí)現(xiàn)對復(fù)雜日志文件的結(jié)構(gòu)化轉(zhuǎn)化和存儲，有效應(yīng)對日志數(shù)據(jù)量大、結(jié)構(gòu)復(fù)雜、響應(yīng)要求高等挑戰(zhàn)。系統(tǒng)須具備海量日志壓縮存儲能力和高效的統(tǒng)計(jì)分析能力，處理能力達(dá)到百TB級別，復(fù)雜分析查詢響應(yīng)達(dá)到秒級，有效監(jiān)控業(yè)務(wù)系統(tǒng)的運(yùn)營狀態(tài)。

本方案采用GBase 8a MPP Cluster構(gòu)建IPV6流媒體日志管理平臺。日志文件加載工具將各類系統(tǒng)中生成的日志文件進(jìn)行分析、清洗和轉(zhuǎn)換，以結(jié)構(gòu)化數(shù)據(jù)類型加載至GBase 8a MPP Cluster進(jìn)行存儲。基于MPP+Shared Nothing架構(gòu)的新型列存GBase 8a MPP Cluster數(shù)據(jù)庫集群作為日志管理平臺的核心，實(shí)現(xiàn)對日志信息的完整、一致和持久化存儲。通過GBase 8a MPP Cluster標(biāo)準(zhǔn)化接口實(shí)現(xiàn)與上層BI應(yīng)用的連接，為用戶提供即席查詢、多維分析、交互式報(bào)表等豐富的業(yè)務(wù)專題應(yīng)用的支撐。

管理升級：定制的轉(zhuǎn)換工具將原有的非結(jié)構(gòu)化、半結(jié)構(gòu)化日志文件轉(zhuǎn)換為結(jié)構(gòu)化信息，實(shí)現(xiàn)信息的自動(dòng)化處理和存儲，減少了日志手工維護(hù)的難度和成本。系統(tǒng)標(biāo)準(zhǔn)化SQL和第三方應(yīng)用接口，為日志信息的深度分析、價(jià)值挖潛和可視化管理提供了基礎(chǔ)支撐；

性能提升：流媒體日志管理平臺提供高性能的查詢響應(yīng)能力，以及數(shù)據(jù)庫高效的關(guān)聯(lián)查詢和統(tǒng)計(jì)分析能力，保障了問題發(fā)現(xiàn)、用戶行為分析等應(yīng)用的處理效率；

節(jié)省成本：基于PC Server+Linux+本地磁盤的低成本架構(gòu)，節(jié)省了前期設(shè)備投資。日志數(shù)據(jù)以10~20倍以上高壓縮方式進(jìn)行存儲，節(jié)省磁盤空間和持續(xù)的電力消耗。