什么是DLI
數(shù)據(jù)湖探索 （Data Lake Insight，簡稱DLI）是完全兼容Apache Spark和Apache Flink生態(tài)，實(shí)現(xiàn)批流一體的Serverless 大數(shù)據(jù) 計算分析服務(wù)。DLI支持多模引擎，企業(yè)僅需使用SQL或程序就可輕松完成異構(gòu)數(shù)據(jù)源的批處理、流處理、內(nèi)存計算、機(jī)器學(xué)習(xí)等，挖掘和探索數(shù)據(jù)價值。
功能優(yōu)勢
純SQL操作
DLI提供標(biāo)準(zhǔn)SQL接口，用戶僅需使用SQL便可實(shí)現(xiàn)海量數(shù)據(jù)查詢分析。
存算分離
DLI的存儲和計算解耦，分開申請和計費(fèi)，降低成本的同時，提高了資源利用率。
企業(yè)級多租戶
支持計算資源按租戶隔離，數(shù)據(jù)權(quán)限控制到隊列、作業(yè)，幫助企業(yè)實(shí)現(xiàn)部門間的數(shù)據(jù)共享和權(quán)限管理。
DLI核心引擎：Spark+Flink
Spark是用于大規(guī)模數(shù)據(jù)處理的統(tǒng)一分析引擎，聚焦于查詢計算分析。DLI在開源Spark基礎(chǔ)上進(jìn)行了大量的性能優(yōu)化與服務(wù)化改造，不僅兼容Apache Spark生態(tài)和接口，性能較開源提升了2.5倍，在小時級即可實(shí)現(xiàn)EB級數(shù)據(jù)查詢分析。
Flink是一款分布式的計算引擎，可以用來做批處理，即處理靜態(tài)的 數(shù)據(jù)集 、歷史的數(shù)據(jù)集；也可以用來做流處理，即實(shí)時地處理一些實(shí)時數(shù)據(jù)流，實(shí)時地產(chǎn)生數(shù)據(jù)的結(jié)果。DLI在開源Flink基礎(chǔ)上進(jìn)行了特性增強(qiáng)和安全增強(qiáng)，提供了數(shù)據(jù)處理所必須的Stream SQL特性。
DLI服務(wù)架構(gòu)：Serverless
DLI是無服務(wù)器化的大數(shù)據(jù)查詢分析服務(wù)，其優(yōu)勢在于：
按量計費(fèi)：真正的按使用量（掃描量/CU時）計費(fèi)，不運(yùn)行作業(yè)時0費(fèi)用。
自動擴(kuò)縮容：根據(jù)業(yè)務(wù)負(fù)載，對計算資源進(jìn)行預(yù)估和自動擴(kuò)縮容。
