解決方案及案例
Solutions and cases
2019-03-22 1369
某省廳公安需要建設一個綜合性平臺,對散布在各業務部門信息資源進行整合,實現公安信息資源的最大化共享和利用。
平臺底層通過接入公安、網吧、酒店、交通等行業數據,以及互聯網記錄和通訊記錄,實時將數據匯總到數據平臺,對業務層提供接口,滿足業務的查詢、統計、分析的需求。
大致架構如下圖所示:
數據特點
數據規模大:單日數據在500億條以上,歷史數據已經超過萬億規模;
數據類型復雜:不同渠道獲取的數據格式差別極大,既有結構化數據,又有非結構化數據;
數據使用場景豐富:不同業務對數據的使用需求不同,需要存儲多份數據。
痛點
1.萬億數據,響應時間太慢,無法滿足業務需求;
2.不同業務需要存儲不同格式的數據,數據膨脹率大;
3.多種集群需要不同團隊進行維護,學習使用成本高。
針對于客戶數據規模龐大、數據類型復雜、響應延遲的問題,需要對數據庫結構進行簡化。為此,我們采用自研的LSQL檢索分析型數據庫替代客戶原先的數據庫架構,借助LSQL的分布式構架,實現了對超萬億數據的秒級檢索,同時涵蓋了多維即席分析的功能,可以快速高效的進行統計分析和計算。同時LSQL的提供較為簡單的JDBC/HTTP接口,上手容易,客戶只需底層存儲一份數據,就可以滿足上層不同業務的檢索、統計和分析的需求。
在導入LSQL軟件后,對客戶的平臺構架進行了簡化,大大提升了數據的響應速度。
除此之外,LSQL還可以滿足以下幾個方面的場景需求:
全文檢索業務
LSQL底層基于lucene框架,利用倒排索引,天生適合全文檢索類的業務。加上錄信自研的切詞法和壓縮算法,大提高了檢索響應速度??梢詫崿F萬億數據,秒級響應。
綜合查詢業務
LSQL上層提供了統一的SQL接口,可以實現類似傳統數據庫的查詢功能。對于結構化數據的查詢業務,支持各種條件組合過濾查詢。標準SQL的語法,也讓業務層可以快速上手,降低了學習成本。
時空軌跡碰撞
基于LSQL的地理位置檢索功能,可以實現軌跡快速匹配。
(1)使用和運維成本大幅降低
- 集群數量從原先的多個,降為一個LSQL集群,釋放了數百臺機器;
- LSQL支持異構存儲,不需要全SSD存儲,極大地降低了存儲成本;
- LSQL提供了類SQL的接口,降低學習和維護成本。
(2)項目穩定性得到進一步提升
系統目前已經穩定運行兩年,集群規模經過擴容已經擴大到上千臺節點,仍然穩定高效運作。
(3)系統數據吞吐上限顯著提升
單表數據規模已經超過10萬億,每日數據增量1000億以上。
(4)系統響應速度大幅提高
每日請求上百萬次,90%以上的查詢響應時間<5秒。
上一篇:第一篇
下一篇:某交通部門大數據平臺項目