云數(shù)據(jù)庫(kù)GeminiDB Influx接口，更好用的時(shí)序數(shù)據(jù)庫(kù)
GeminiDB Influx接口是一款基于計(jì)算存儲(chǔ)分離架構(gòu)。在云計(jì)算平臺(tái)高性能、高可用、高可靠、高安全、可彈性伸縮的基礎(chǔ)上，提供了一鍵部署、快速備份恢復(fù)、計(jì)算存儲(chǔ)獨(dú)立擴(kuò)容、監(jiān)控告警等服務(wù)能力。廣泛應(yīng)用于資源監(jiān)控，業(yè)務(wù)監(jiān)控分析，物聯(lián)網(wǎng)設(shè)備實(shí)時(shí)監(jiān)控，工業(yè)生產(chǎn)監(jiān)控，生產(chǎn)質(zhì)量評(píng)估和故障回溯等。提供大并發(fā)的時(shí)序數(shù)據(jù)讀寫(xiě)，壓縮存儲(chǔ)和類(lèi)SQL查詢(xún)，并且支持多維聚合計(jì)算和數(shù)據(jù)可視化分析能力。
GeminiDB Influx接口，彈性擴(kuò)展、超高性能，全時(shí)序場(chǎng)景支持的時(shí)序數(shù)據(jù)庫(kù)
云數(shù)據(jù)庫(kù)GeminiDB Influx接口5大特性
采用云原生存儲(chǔ)與計(jì)算分離架構(gòu)，具有支持億級(jí)時(shí)間線(xiàn)、極致寫(xiě)入性能、低存儲(chǔ)成本、高性能多維聚合查詢(xún)和極致彈性擴(kuò)縮容等5大特性。
在時(shí)序數(shù)據(jù)庫(kù)系統(tǒng)中，存在大量并發(fā)查詢(xún)和寫(xiě)入操作，合理控制內(nèi)存的使用量顯得十分重要。
開(kāi)源時(shí)序數(shù)據(jù)庫(kù)在寫(xiě)入數(shù)據(jù)的時(shí)間線(xiàn)增加到千萬(wàn)級(jí)別時(shí)，進(jìn)程會(huì)因內(nèi)存耗盡而OOM退出。為了避免寫(xiě)入海量時(shí)間線(xiàn)數(shù)據(jù)導(dǎo)致內(nèi)存資源被耗盡，GeminiDB Influx接口做了如下優(yōu)化：
1、在內(nèi)存分配上，大量使用內(nèi)存池復(fù)用技術(shù)，減少臨時(shí)對(duì)象內(nèi)存申請(qǐng)，降低內(nèi)存碎片。
2、在內(nèi)存回收上，實(shí)現(xiàn)算法根據(jù)內(nèi)存負(fù)載，動(dòng)態(tài)調(diào)整GC頻率，加快內(nèi)存空間回收。
3、在單查詢(xún)上，實(shí)行Quota控制，避免單查詢(xún)耗盡內(nèi)存。
4、在緩存使用上，針對(duì)不同節(jié)點(diǎn)規(guī)格提供不同的最優(yōu)配置。
經(jīng)過(guò)改進(jìn)，在海量時(shí)間線(xiàn)下，系統(tǒng)寫(xiě)入性能保持穩(wěn)定，大幅超出開(kāi)源實(shí)現(xiàn)。對(duì)于涉及海量時(shí)間線(xiàn)的聚合查詢(xún)，如高散列聚合查詢(xún)，查詢(xún)性能提升更為顯著。
相比單機(jī)模式，集群模式可以將寫(xiě)入負(fù)載分散到集群中各個(gè)計(jì)算節(jié)點(diǎn)上，從而支持更大規(guī)模的數(shù)據(jù)寫(xiě)入。GeminiDB Influx接口支持每天萬(wàn)億條數(shù)據(jù)寫(xiě)入，在工程實(shí)現(xiàn)上進(jìn)行了以下優(yōu)化：
1、時(shí)序數(shù)據(jù)按照時(shí)間線(xiàn)做Hash Partition，利用所有節(jié)點(diǎn)并行寫(xiě)入，充分發(fā)揮集群優(yōu)勢(shì)。
2、Shard節(jié)點(diǎn)采用針對(duì)寫(xiě)場(chǎng)景優(yōu)化的LSM-Tree布局，寫(xiě)WAL后確保日志持久化，再寫(xiě)入內(nèi)存Buffer即可返回。
3、數(shù)據(jù)庫(kù)多副本復(fù)制卸載到分布式存儲(chǔ)，降低計(jì)算節(jié)點(diǎn)到存儲(chǔ)節(jié)點(diǎn)的網(wǎng)絡(luò)流量。
4、在大規(guī)模寫(xiě)入場(chǎng)景下，GeminiDB Influx接口的寫(xiě)入性能線(xiàn)性擴(kuò)展度大于80%。
GeminiDB Influx接口對(duì)數(shù)據(jù)采用列式存儲(chǔ)，相同類(lèi)型的數(shù)據(jù)被集中存儲(chǔ)，更有利于數(shù)據(jù)壓縮。采用自研的時(shí)序數(shù)據(jù)自適應(yīng)壓縮算法，在壓縮前對(duì)數(shù)據(jù)進(jìn)行抽樣分析，根據(jù)數(shù)據(jù)量、數(shù)據(jù)分布以及數(shù)據(jù)類(lèi)型選擇最合適的數(shù)據(jù)壓縮算法。在壓縮算法上，相比原生的InfluxDB，重點(diǎn)針對(duì)Float、String、Timestamp這三種數(shù)據(jù)類(lèi)型進(jìn)行了優(yōu)化和改進(jìn)。
Float數(shù)據(jù)類(lèi)型： 對(duì)Gorilla壓縮算法進(jìn)行了優(yōu)化，將可以無(wú)損轉(zhuǎn)換的數(shù)值轉(zhuǎn)為整數(shù)，再根據(jù)數(shù)據(jù)特點(diǎn)，選擇最合適的數(shù)據(jù)壓縮算法。
String數(shù)據(jù)類(lèi)型：采用了壓縮效率更好的ZSTD壓縮算法，并根據(jù)待壓縮數(shù)據(jù)的Length使用不同Level的編碼方法。
Timestamp數(shù)據(jù)類(lèi)型：采用差量壓縮方法，最后還針對(duì)數(shù)據(jù)文件內(nèi)的Timestamp進(jìn)行相似性壓縮，進(jìn)一步降低時(shí)序數(shù)據(jù)存儲(chǔ)成本。
在提升聚合查詢(xún)整體性能方面，GeminiDB Influx接口 做了如下優(yōu)化：
采用MPP架構(gòu)：一條查詢(xún)語(yǔ)句可以在多節(jié)點(diǎn)及多核并發(fā)執(zhí)行。
向量化查詢(xún)引擎：在查詢(xún)結(jié)果數(shù)據(jù)量很大時(shí)，傳統(tǒng)的火山模型每次迭代返回一條數(shù)據(jù)，存在過(guò)多的開(kāi)銷(xiāo)導(dǎo)致性能瓶頸。GaussDB（for Influx）內(nèi)部實(shí)現(xiàn)了向量化查詢(xún)引擎，每次迭代批量返回?cái)?shù)據(jù)，大大減少了額外開(kāi)銷(xiāo)。
增量聚合引擎：基于滑動(dòng)窗口的聚合查詢(xún)，大部分從聚合結(jié)果緩存中直接命中，僅需要聚合增量數(shù)據(jù)部分即可。
多維倒排索引：支持多維多條件組合查詢(xún)，避免大量Scan數(shù)據(jù)。
存儲(chǔ)摘要索引：加快數(shù)據(jù)查詢(xún)中過(guò)濾無(wú)關(guān)數(shù)據(jù)。
在時(shí)序數(shù)據(jù)庫(kù)的運(yùn)行過(guò)程中，隨著業(yè)務(wù)量的增加，常常需要對(duì)數(shù)據(jù)庫(kù)進(jìn)行在線(xiàn)擴(kuò)容，以滿(mǎn)足業(yè)務(wù)的要求。傳統(tǒng)數(shù)據(jù)庫(kù)中的數(shù)據(jù)存儲(chǔ)在本地，擴(kuò)容后往往需要遷移數(shù)據(jù)。當(dāng)數(shù)據(jù)量達(dá)到一定規(guī)模時(shí)，數(shù)據(jù)遷移所耗費(fèi)的時(shí)間往往按天計(jì)算，給運(yùn)維帶來(lái)了很大的困難。
如圖所示，每個(gè)Database邏輯上由多個(gè)Partition組成，每個(gè)Partition獨(dú)立存儲(chǔ)，且都可自描述。所有Partition數(shù)據(jù)都存儲(chǔ)在分布式共享存儲(chǔ)上，數(shù)據(jù)庫(kù)Shard節(jié)點(diǎn)和數(shù)據(jù)沒(méi)有物理綁定關(guān)系。擴(kuò)容時(shí)首先offload源節(jié)點(diǎn)Partition，再在目標(biāo)節(jié)點(diǎn)assign即可。