国产精品日日摸夜夜添夜夜添,国产精品天干天干在线观看,日日摸夜夜添夜夜添无码

南京錄信軟件技術有限公司

下載試用

新聞動態

News

母延年:萬億數據庫核心存儲引擎實現與應用

2021-01-20 498

 2020年12月21日~12月23日,由 IT168 旗下 ITPUB 企業社區平臺主辦的第十一屆中國數據庫技術大會(DTCC2020)在北京隆重召開。作為本屆大會的演講嘉賓,錄信數軟 CTO母延年 以《萬億數據庫核心存儲引擎實現與應用》

 2020年12月21日~12月23日,由 IT168 旗下 ITPUB 企業社區平臺主辦的第十一屆中國數據庫技術大會(DTCC2020)在北京隆重召開。作為本屆大會的演講嘉賓,錄信數軟 CTO母延年 以《萬億數據庫核心存儲引擎實現與應用》為主題進行了精彩的議題分享,并在議題分享后接受了IT168小編的采訪。

  

  從新浪、酷六到阿里、騰訊再到自主創業創辦錄信數軟,作為一名在數據領域摸爬滾打了十數年的“老兵”,母延年對于大數據相關技術有著癡迷般的熱愛,其中Lucene不僅僅是其最為喜愛的搜索引擎之一,更是其公司“錄信”的名稱由來。

  致力打造日破萬億級別數據庫產品

  “錄信整體定位是想做一個行業通用的數據庫產品,該數據庫主要的特點是能承擔特別巨大的數據量,預期每天可以破萬億級別,目前生產系統中已達到每天遷移增量?!蹦秆幽暝诮邮懿稍L時如是說。

  此外母延年表示,更希望錄信的數據庫是一個全棧的數據庫,根據母延年介紹,目前大家在使用一個數據庫系統時,往往需要搭建七八種大數據系統,每種產品擅長一個方向,由此造成整體維護成本、數據存儲成本相應增多。錄信作為一家靠索引創立的公司,希望通過大數據中各式各樣的索引來滿足不同的業務場景。

  淺析海量數據檢索分析

  對于成立僅僅兩年多的錄信來講,想要做到日破萬億級別的數據庫產品又談何容易。當談及海量數據的檢索分析時,母延年認為當前主要面臨有幾個痛點問題:

  首先是并發能力層面,目前很多OLAP場景的數據庫,其閉環能力不夠(比如Spark閉環能力很低,只能達到幾十上百個),而很多業務場景更傾向于更高的并發,這類系統只能做一些線下業務,錄信希望將來的系統除了做線下以外能更適合線上的業務,線上業務意味需要高并發的支持檢索、統計等功能的查詢,譬如可以支持每秒上千萬甚至上億的并發查詢;

  此外,其節點一定要具備很好的彈性。面對海量的數據,目前的數據庫一般采用分庫分表的方式,比如在起初設計時分為10個分片來承擔每天10億的數據規模,但當數據量達到100億時,這些分片無法自動分裂向下擴展,而是需要將原來的數據重新導一遍。母延年表示,一開始數據量很少時可能只有一個分片,當數據量增多時可以分成10個,特別多時可以變為100個,當數據完成一個生命周期需要清理,數據量極具減少時,又會回歸到最初的一個分片,他認為這種彈性的能力對于數據庫來說比較重要。

  隨后,母延年也對錄信數據庫架構進行了簡單介紹。根據他的介紹,錄信數據庫結構主要具備兩大核心特點:

  ●第一,錄信數據庫帶有各種各樣的索引,譬如檢索型索引、分析型索引等,錄信數據庫能夠通過這些索引來對整體性能進行提升;

  ●第二,錄信數據庫所有的數據存儲在分布式文件系統之上。錄信認為因為只有將數據存儲在分布式文件系統之上,才可能支撐規模特別巨大的數據量。如果將數據存儲在本地,會面臨很多問題。譬如數據在每個存儲盤的負載不均衡導致有的盤負載極高,但有的盤可能非??臻e幾乎沒有用到,但使用分布式文件系統,這種問題就迎刃而解。而鑒于分布式文件系統比較慢的弊端問題,錄信也基于分布式文件系統做了優化,通過這些優化可以讓速度做得很快。

  數據庫,要做就做規模最大的!

  作為國內數據庫領域的新秀,錄信數軟并不滿足于當前的成績。在2020年4月份疫情期間錄信數軟獲得了首輪投資,錄信在拿到該筆投資后全部投入在產品的研發中,母延年表示目前錄信的新品基本研發框架已經完成,并進入測試階段,預計在2021年3-5月之間獲將以免費的模式正式對外提供。

  談到未來,母延年認為未來行業將更加傾向于更全面的全棧數據庫,此外隨著5G技術的發展,基礎設施建設的不斷完善,數據庫行業可能會有較大轉變,未來兩三年后可能會出現數據爆炸式的增長。他表示這次增長對于錄信來講是一個機遇,錄信做數據庫,要做就做一個規模最大的!

国产精品日日摸夜夜添夜夜添,国产精品天干天干在线观看,日日摸夜夜添夜夜添无码