解決方案及案例
Solutions and cases
2020-12-14 747
國資委下屬某汽車科研中心為實時監測汽車狀態,監測汽車是否符合國五國六標準。在汽車上安裝了采集數據的車載終端,實時將數據發送回數據中心。上報的數據量超千億條,需要實現千億規模的實時查詢、統計和分析功能。
由于數據規模過大,導致數據查詢統計響應過慢,因此需使用能服務于超大數據體量的數據庫實現數據的快速檢索和分析?;诖?,客戶最終采用了錄信LSQL檢索分析型數據庫。
在對于系統的部署構架方面,除了終端采集設備與用戶端的展示層,整體方案部署在華為云上,包含數據采集服務,LSQL存儲檢索服務,以及應用和WEB服務。
ETL數據接入服務
車載終端上報的數據,經過ETL模塊采集、清洗,傳給消息中間件kakfa;
LSQL存儲檢索服務
部署LSQL軟件,用于存儲接收到的數據,并提供實時查詢、統計功能;數據存儲采用了HDFS分布式文件系統;
應用服務
基于LSQL提供的接口,實現相應的上層應用;
WEB服務
對用戶提供WEB服務。
整體架構如下:
項目部署簡單快捷,在現有的華為云上,實施以下步驟:
1.部署hadoop集群用于存儲數據;
2.部署kakfa集群用于實時數據接入,并定制開發ETL模塊;
3.部署LSQL軟件,即可實現海量數據實時查詢統計等功能。
(1)項目部署周期短
一周完成整體項目的部署上線。
(2)系統穩定性得到顯著提升
項目已經穩定運行一年以上,每日增量數據超過1億條以上,存量數據已經過百億。
(3)系統遷移過程更加平穩順滑
LSQL提供了類SQL的接口,大大降低了使用難度,用戶可以快速開發上層應用。
上一篇:某交通部門大數據平臺項目
下一篇:最后一篇