Druid是一個分布式的支持實時分析的數(shù)據(jù)存儲系統(tǒng)。通俗一點:高性能實時分析 數(shù)據(jù)庫 。它由美國廣告技術公司MetaMarkets于2011年創(chuàng)建,并且于2012年開源。MetaMarkets是一家專門為在線媒體公司提供數(shù)據(jù)服務的公司,主營是DSP廣告運營推送平臺,由于對實時性要求非常高,公司不得不放棄原始的 大數(shù)據(jù) 方案,Druid也就應運而生。
Druid的官方網(wǎng)站地址是:http://druid.io/
目前Druid已基于Apache License 2.0協(xié)議開源,正在由Apache孵化,代碼托管于Github。
最新官網(wǎng)地址為:
https://druid.apache.org/
Druid主要解決的問題就是傳統(tǒng)數(shù)據(jù)庫無法解決的大數(shù)據(jù)量查詢性能的問題。
所以她的本質(zhì)就是一個分布式支持實時數(shù)據(jù)分析的數(shù)據(jù)存儲系統(tǒng)。
能夠快速的實現(xiàn)查詢與數(shù)據(jù)分析,高可用,高擴展能力。
特性
1.快速查詢:druid提供了快速的聚合能力以及快速OLAP查詢能力,多租戶的設計,是面向用戶分析應用的理想方式。druid的數(shù)據(jù)聚合粒度可以是1分鐘,5分鐘,1小時或者1天等。數(shù)據(jù)的內(nèi)存化提高了druid的查詢速度。
OLAP:與之相對的是OLTP,這里通過一個在線商城舉例,比如在一個在線商城中兩者都是做什么呢?
OLTP就是商品瀏覽,交易,用戶數(shù)據(jù)。必須支持事務,頻繁查詢修改。OLTP(聯(lián)機事務處理),傳統(tǒng)數(shù)據(jù)庫的主要應用,面向最基本的CRUD操作,特點是實時性高,數(shù)據(jù)量小,可以修改刪除數(shù)據(jù),要求有嚴格的事務。
OLAP就是對商城數(shù)據(jù)進行分析,數(shù)據(jù)量大。OLAP(聯(lián)機分析處理),支持復雜的分析操作,對決策的支持,特點是數(shù)據(jù)量大,吞吐量大,只支持查詢。
2.實時數(shù)據(jù)注入:druid支持流數(shù)據(jù)的注入,并提供了數(shù)據(jù)的事件驅(qū)動,保證在實時和離線環(huán)境下事件的實效性和統(tǒng)一性。歷史數(shù)據(jù)不改變,實時數(shù)據(jù)實時接入。
3.可擴展的PB級存儲:druid集群可以很方便的擴容到PB的數(shù)據(jù)量,每秒百萬級別的數(shù)據(jù)注入。即便在加大數(shù)據(jù)規(guī)模的情況下,也能保證時其效性。druid可以按照時間范圍把聚合數(shù)據(jù)進行分區(qū)處理。
4.多環(huán)境部署:druid既可以運行在商業(yè)的硬件上,也可以運行在云上。它可以從多種數(shù)據(jù)系統(tǒng)中注入數(shù)據(jù),包括hadoop,spark,kafka,storm和samza等。
5.豐富的社區(qū):druid擁有豐富的社區(qū),供大家學習。
Metamarkets之前幾個druid開發(fā)者成立了一家叫做imply.io的新公司:https://imply.io/