中國石油石化行業央企智能油氣田項目——多類型數據存儲與計算平臺
價值體現
海量數據管理:為用戶提供了并行海量復雜數據處理平臺,幫助客戶形成PB級以上的業務數據單一視圖,為客戶提供及時高效的數據分析結果;
數據安全防護:通過采用國產系列數據庫軟件,替代國外及開源數據存儲與計算平臺,提升能源安全防護能力;
多類型統一管理:實現對企業三大類6種業務數據統一管理與訪問,通過數據治理平臺實現對數據溯源、血緣關系管理、對外統一服務等;
解決方案
智能油氣田架構如下圖所示,由數據源層,數據匯集層,數據存儲層,數據計算層及數據服務層組成。
數據源層:
最下層為數據源層,數據源層包括油田日常生產運行中產生的數據,成果圖片、報告、施工文檔、施工報告等成果圖形文檔,監控類音視頻數據,物聯等實時數據,測井類大塊提數據,GIS影像等六大類數據結構化、半結構化及非結構化數據。
數據匯集層:
數據匯集層采用GBaseMTK元數據同步工具、GBaseRTSync實時同步工具、kafka消息隊列、Sqoop、Flume、對象存儲等數據傳輸及處理工具進行匯集。
數據存儲層:
數據存儲層采用GBase8s高并發事務數據庫、GBase8a分布式海量數據olap分析數據庫、及GBaseHD提供的HDFS、hive、HBase等存儲與管理引擎平臺、Neo4j圖庫、對象存儲等作為三大類數據存儲平臺。
數據計算層:
包括GBase8s數據計算、GBase8a分布式系統數據計算、MR/Spark/Flink/ES/圖計算等計算引擎及數據庫,對三大類6種業務數據類型進行數據計算及檢索。
數據服務層:
系統通過結構化數據API、實時數據API、音視頻API、Gis數據API、文檔圖片API、體數據API、數據推送、BI服務、AI服務等對應用及外部應用提供數據服務。
需求分析
項目采購符合成熟、穩定要求、并基于Hadoop架構的大數據平臺軟件,支撐結構化與非結構化數據的存儲、訪問、計算和分析處理。通過數據虛擬化、數據聯邦技術以及引擎間高效的數據實時交換通道,融合復雜關聯分析、流計算、圖計算、圖計算、批量處理等計算模型,構建大數據云平臺,支撐智能油氣田云平臺中OLAP、OLTP和NOSQL三種計算模型的業務場景。
具體需求包括:
(1)滿足石油石化行業央企智能油氣田云平臺部署;
(2)開展大數據分析,實現對實時數據、體數據、成果數據等非結構化數據和外部數據的數據存儲,開展數據治理和數據標準化相關工作。數據來自于采氣廠、電力調度、分析化驗、凈化廠、以及地震數據、測錄井曲線、分析化驗曲線、地質模型網格化數據、視頻監控平臺等及部分外部數據;
(3)建立統一的數學算法庫和模型庫,開展數據檢索、互動分析、關聯分析等數據挖掘分析,支撐智能油氣田業務發展;
(4)實現對流數據的實時采集、存儲和分析應用;
(5)支持海量數據的快速查詢分析,查詢響應速度在秒級以內;
(6)具備統一的圖形化監控和圖形化管理操作等交互能力;
(7)支持數據加密、數據備份恢復、數據一致性校驗、操作審計功能;支持統一的系統身份認證和安全訪問檢查、驗證,實現對各數據庫引擎及數據的訪問;支持按用戶、角色授權。
項目背景
根據石油石化行業央企“十三五”信息化發展規劃和智能油氣田項目總體規劃的部署安排,結合油田企業提高生產效率、優化生產運營的業務目標和集中集成、協同共享的信息化需求,開展智能油氣田項目試點建設。
智能油氣田建設總體目標為以ICT最新技術為手段,圍繞核心資產全生命周期管理,打造全面感知、集成協同、預警預測及分析優化四項能力,助力“高效勘探,效益開發”,實現企業資產價值最大化。本期試點項目目標是建設智能油氣田云平臺,補充和完善智能油氣田標準化體系和技術支持體系,圍繞油氣藏、單井、管網、設備等油氣田企業核心資產,實現油氣藏動態管理與優化,單井、管網、設備的智能診斷與優化,建成智能油氣田示范區,打造國家級智能制造示范工程。
鑒于中國在貿易摩擦中受到的巨大影響,關鍵核心技術自主化顯得愈發重要,長期使用國外數據庫管理石油勘探開發數據,不利于保障國家能源安全,因此使用數據庫軟件支撐智能油氣田云平臺勢在必行。通過在智能油氣田云平臺中多種大規模結構化、半結構化與非結構化數據處理技術,通過數據虛擬化、數據聯邦技術以及引擎間高效的數據實時交換通道,融合復雜關聯分析、流計算、圖計算、圖計算、批量處理等計算模型,構建大數據云平臺,支撐智能油氣田云平臺中OLAP、OLTP和NOSQL三種計算模型的業務場景。
由于現有傳統的數據倉庫不能完全滿足以上業務需求,為實現上述目標,更好地服務于智能油氣田業務發展,加強決策支持系統深化應用,深入挖掘數據價值,提升決策支持數據分析能力,需要對現有數據應用集成決策支持系統進行功能拓展和延伸,補充數據分析功能,實現對海量多元異構數據的存儲管理、數據建模及挖掘分析。