中文字幕亚洲无线码在线一区,中文字幕在线无线码中文字幕,亚洲中文字幕久久精品无码202.

南京錄信軟件技術有限公司

下載試用

新聞動態

News

公益直播:超萬億規模的大數據實時搜索與統計

2021-02-19 262

為深入實施大數據發展行動計劃,推動數字經濟和實體經濟深度融合,以“強化云數網鏈支撐,助力企業復工復產”為宗旨,在江蘇省工業與信息化廳大數據產業處指導下,江蘇省大數據聯盟理事長單位南京大學數據科學研究中心/南京南數數據運籌科學研究院牽頭組織省
為深入實施大數據發展行動計劃,推動數字經濟和實體經濟深度融合,以“強化云數網鏈支撐,助力企業復工復產”為宗旨,在江蘇省工業與信息化廳大數據產業處指導下,江蘇省大數據聯盟理事長單位南京大學數據科學研究中心/南京南數數據運籌科學研究院牽頭組織省內專業研究機構舉辦數字經濟公益直播課堂。


522日晚730,南京錄信軟件技術有限公司創始人兼CTO母延年作為“數字經濟公益直播課堂”的第六期嘉賓亮相直播間,為在線的各個行業的人員分享了支撐超萬億數據規模下大數據的實時搜索與統計服務的技術亮點。直播間開課后,上線人數不斷攀升過千,課程中在線人員近2000人。


母總在講課時提出問題:“隨著近年來數據規模的爆炸式提升,傳統關系型數據庫已無法支撐海量數據檢索。而業界對于大數據檢索分析的各種場景,需多套大數據系統組合使用,數據膨脹率高,運營維護難度極大。如此巨大的數據帶來了諸多問題,數據量、性能、靈活性三者不可兼得。此時我們迫切需要一款新型數據庫滿足全棧需求:一套系統、一份數據、一種接口。為實時搜索與統計需求做強有力的支撐。

0522_超萬億規模的大數據實時搜索與統計_06.png
母總認為要實現以上系統,核心思路在于搜索系統、計算框架、存儲引擎、KV系統的選型。搜索系統選型Lucene,成熟穩定;計算框架選型Spark,過千節點案例較多;存儲引擎選型HDFS;KV系統選型HBase。并針對上述選型,實現了一系列重構及優化。

0522_超萬億規模的大數據實時搜索與統計_08.png


母總介紹了上述新型數據庫在萬億大數據上面的幾個典型應用。舉例全文檢索,對Lucene的倒排表進行重構,使無序變為有序。針對金融交易系統查的快,查的準,萬億數據可以做到秒級響應;舉例統計分析業務,預先干預數據排序分布,針對多列建立聯合索引,實現秒級的即席多維統計;舉例地理位置檢索業務,拋棄原生Lucene Docvalues方式的二次驗證與剪切,針對臨近數據采取臨近存儲的方式存儲數據,在此基礎上進行二次驗證,減低磁盤負載的同時大幅提升查詢響應的速度。

0522_超萬億規模的大數據實時搜索與統計_31.png



除此之外,母總還對上述系統和業內同類產品的性能做了實測比較,對比結果可以發現:新型數據庫性能相較于其他產品,在單列檢索、多列檢索、模糊匹配、范圍查詢、單列統計、多列統計、時序檢索等方面都有很大優勢。這也佐證了新型數據庫能夠更好的支撐未來超萬億大數據實時搜索與統計業務。

中文字幕亚洲无线码在线一区,中文字幕在线无线码中文字幕,亚洲中文字幕久久精品无码202.