人口發展中心大數據平臺項目——列存數據庫支持大規模并發查詢 項目背景
我國有著近14億人口,每個人又有眾多的相關屬性信息,總體規模非常龐大。由于各級政府、公安等部門的業務需求特點,需要經常對人口信息進行精確
價值體現
l 高并發:每個節點提供300個并發訪問,并發查詢性能高;
l 快速加載:數據加載速度可達2TB/小時;
l 快速定位查詢:使用智能索引技術迅速響應用戶查詢需求,快速定位,快速查詢,秒級響應。
解決方案
使用GBase 8a列式分析型數據庫,解決人口大數據平臺對于快速入庫、并發查詢的需求。
將人口數據通過GBase 8a提供的加載工具,快速的加載到數據庫中。數據加載速度可達2TB/小時,優于傳統的行存數據庫。
GBase 8a是列存數據庫,并且在每一列上建立了智能索引。在進行精確定位查詢時,首先通過智能索引將查詢的記錄進行快速定位,然后按列的方式從磁盤上讀出即可。這樣大大的節省了查詢時間,提高了精確定位查詢的效率。
在大規模數據并發訪問時,GBase 8a每個節點可以提供300個并發訪問,且并發訪問的時間較單線程查詢的時間有明顯的提升,有效的提升了用戶在多并發時的查詢效率。
需求分析
利用快速分析型數據庫,對人口數據進行快速加載,對人口數據庫的信息進行精確查詢、分段查詢、模糊查詢等操作。
項目背景
我國有著近14億人口,每個人又有眾多的相關屬性信息,總體規模非常龐大。由于各級政府、公安等部門的業務需求特點,需要經常對人口信息進行精確查詢、分段模糊查詢、人口統計等各類業務查詢。考慮到大數據時代下人口信息對政府社會管理和公共服務創新的深遠影響,相關管理部門高度重視人口信息化工作,并積極籌建全國人口發展中心大數據平臺,做好人口數據交換和共享,為公共服務、社會管理、宏觀決策提供人口基礎信息服務支撐。