国产精品日日摸夜夜添夜夜添,国产精品天干天干在线观看,日日摸夜夜添夜夜添无码

南京錄信軟件技術有限公司

下載試用

解決方案及案例

Solutions and cases

某交通部門大數據平臺項目

2020-12-14 803

某地市交通部門大數據平臺,支持軌跡分析,伴隨車輛流量控制,套牌車輛等多種業務模型

1. 案例背景:


在某地市在前期已經建立了相對完善的交通指揮控制中心,采集了大量的交通、道路、車輛數據。為此欲打造一套完善的交通大數據平臺以滿足其對于進一步提升部門管理效率,進一步合理規劃道路交通,識別違法車輛的需求。


由于交通數據本身涵蓋了大量實時監測數據和高并發的數據源接入處理任務,并且會隨著城市車輛的保有量,道路復雜程度的不斷升高而隨之提升。這對于系統底層,尤其是數據存儲層的可擴展性提出了較高的要求,隨著增量數據的進入,系統不僅需要進行縱向擴展,升級機器性能,還需進行橫向擴展,提升存儲上限。同時龐大的數據體量也需要系統能夠具備高度容錯性,單個節點的失效不能影響整個作業?;诖?,客戶對于底層數據庫的主要痛點和需求如下:

 

(1)高并發數據源的實時接入,超大數據體量數據的實時更新

(2)高性能、低延遲的檢索分析,快速響應復雜查詢

(3)高度容錯性,單個節點失效不會影響整體作業的運行

(4)高度可擴展性,大規模并行處理的能力

(5)支持異構環境,對硬件平臺一致性要求不高,適應能力強

(6)系統具備高度可靠性,性價比高

 

 

 

2. 解決方案:

客戶業務場景中產生的數據主要以高并發的實時交通監測數據為主,在數據存儲層需要能夠滿足其對于高并發實時數據的快速導入、分析,并且在進行車輛軌跡分析、車輛流量控制、套牌車識別等多種業務類型方面要能做到快速的檢索和分析能力。


針對于這類高并發、實時數據的處理,錄信數軟采用了支持高并發實時數據分析處理的全棧數據庫——LXDB作為存儲系統。同時LXDB還實現了以下性能:


(1)基于分布式文件系統的索引,磁盤容錯性高,數據遷移擴容更方便

分布式文件系統本身容錯性更強,單個節點磁盤的速度不會影響整體作業進度。同時利用分布式文件系統不受物理存儲空間限制的特性,使得后期設備的擴容和數據的遷移更加便捷。


(2)獨有列簇異構技術,冷熱數據分離,大幅節省固態硬盤使用空間

由于交通數據的數據體量大,數據類別多,在進行數據存儲時需要消耗巨大的物理空間,并且不同類別數據的使用頻率和需求都大相徑庭。因此系統采用列簇存儲方式,根據數據類型和調用頻率將數據分為“冷數據”和“熱數據”,實現冷熱數據的異構存儲,大幅減少固態硬盤的使用空間,降低了系統的總體硬件成本。


(3)同時兼顧快速查詢及復雜計算的Spark索引系統

傳統數據庫的Spark系統雖然具備處理復雜查詢計算的能力,但是底層對于數據的讀取效率慢。通過在Spark底層加入索引,提升Spark在數據讀取時的速度,同時兼顧數據的快速查詢和復雜計算,在數據查詢的響應速度得到顯著提升的同時保留Spark處理復雜計算的能力。

 

 

3.項目效果:

(1)海量實時數據更新導入,秒級查詢反饋,大幅提升辦案效率

在系統測試中,對于實時數據的導入效率平均可達10億/天/節點,精確查詢控制在1秒內響應,系統的實時性和檢索效率得到大幅提升,在進行車輛套牌檢測、車輛非法改裝等場景的辦案效率得到大幅提升。

 

(2)項目硬件預算大幅縮減

采用分布式文件系統和列簇存儲技術,降低了系統對于物理存儲的依賴,大幅減少了系統對于價格較高的固態硬盤的需求量,整體項目硬件預算降幅超過30%。

 

(3)滿足了多業務場景需求,兼顧快速查詢及復雜計算

針對快速查詢和復雜計算的雙重需求所設計的底層系統,滿足了客戶不同業務場景、不同職能部門的業務需求,不論是對于車輛信息的快速查詢,還是對于同一道路,不同時間段,不同車型流量這類的復雜分析都可以兼顧。

国产精品日日摸夜夜添夜夜添,国产精品天干天干在线观看,日日摸夜夜添夜夜添无码