国产精品日日摸夜夜添夜夜添,国产精品天干天干在线观看,日日摸夜夜添夜夜添无码

南京錄信軟件技術有限公司

下載試用

解決方案及案例

Solutions and cases

某省公安廳大數據項目

2019-03-22 1369

單表數據量超過10萬億,單集群規模超過1000節點,日增數據量上千億條,數據實時接入2-3分鐘可查全文檢索,多維統計分析,響應時間小于5秒。

1.案例背景

某省廳公安需要建設一個綜合性平臺,對散布在各業務部門信息資源進行整合,實現公安信息資源的最大化共享和利用。

平臺底層通過接入公安、網吧、酒店、交通等行業數據,以及互聯網記錄和通訊記錄,實時將數據匯總到數據平臺,對業務層提供接口,滿足業務的查詢、統計、分析的需求。

大致架構如下圖所示:



公安案例原構架.png


  • 數據特點

數據規模大:單日數據在500億條以上,歷史數據已經超過萬億規模;

數據類型復雜:不同渠道獲取的數據格式差別極大,既有結構化數據,又有非結構化數據;

數據使用場景豐富:不同業務對數據的使用需求不同,需要存儲多份數據。

 

  • 痛點

1.萬億數據,響應時間太慢,無法滿足業務需求;

2.不同業務需要存儲不同格式的數據,數據膨脹率大;

3.多種集群需要不同團隊進行維護,學習使用成本高。

 

2.解決方案:

針對于客戶數據規模龐大、數據類型復雜、響應延遲的問題,需要對數據庫結構進行簡化。為此,我們采用自研的LSQL檢索分析型數據庫替代客戶原先的數據庫架構,借助LSQL的分布式構架,實現了對超萬億數據的秒級檢索,同時涵蓋了多維即席分析的功能,可以快速高效的進行統計分析和計算。同時LSQL的提供較為簡單的JDBC/HTTP接口,上手容易,客戶只需底層存儲一份數據,就可以滿足上層不同業務的檢索、統計和分析的需求。

在導入LSQL軟件后,對客戶的平臺構架進行了簡化,大大提升了數據的響應速度。

公安案例新構架.png

除此之外,LSQL還可以滿足以下幾個方面的場景需求:


  • 全文檢索業務

LSQL底層基于lucene框架,利用倒排索引,天生適合全文檢索類的業務。加上錄信自研的切詞法和壓縮算法,大提高了檢索響應速度??梢詫崿F萬億數據,秒級響應。

  • 綜合查詢業務

LSQL上層提供了統一的SQL接口,可以實現類似傳統數據庫的查詢功能。對于結構化數據的查詢業務,支持各種條件組合過濾查詢。標準SQL的語法,也讓業務層可以快速上手,降低了學習成本。

  • 時空軌跡碰撞

基于LSQL的地理位置檢索功能,可以實現軌跡快速匹配。

 

3.項目效果:

(1)使用和運維成本大幅降低

-    集群數量從原先的多個,降為一個LSQL集群,釋放了數百臺機器;

-    LSQL支持異構存儲,不需要全SSD存儲,極大地降低了存儲成本;

-    LSQL提供了類SQL的接口,降低學習和維護成本。


(2)項目穩定性得到進一步提升

系統目前已經穩定運行兩年,集群規模經過擴容已經擴大到上千臺節點,仍然穩定高效運作。


(3)系統數據吞吐上限顯著提升

單表數據規模已經超過10萬億,每日數據增量1000億以上。


(4)系統響應速度大幅提高

每日請求上百萬次,90%以上的查詢響應時間<5秒。

 

上一篇:第一篇

下一篇:某交通部門大數據平臺項目

国产精品日日摸夜夜添夜夜添,国产精品天干天干在线观看,日日摸夜夜添夜夜添无码