實時流計算服務(wù) 主要具有以下功能:
豐富的StreamSQL在線分析能力
支持Window、Join等聚合函數(shù)、地理函數(shù)、CEP函數(shù)等,用SQL表達業(yè)務(wù)邏輯,簡便快捷實現(xiàn)業(yè)務(wù)。詳細內(nèi)容請參見《實時流計算服務(wù)SQL語法參考》。
StreamingML
提供多種流式機器學習方法對數(shù)據(jù)進行實時分析與預測,用戶僅需編寫SQL調(diào)用相關(guān)函數(shù)便可實現(xiàn)數(shù)據(jù)統(tǒng)計,異常檢測,實時聚類,時間序列分析等場景。詳細內(nèi)容請參見StreamingML。
地理位置分析
提供地理位置分析函數(shù)對地理空間數(shù)據(jù)進行實時分析,用戶僅需編寫SQL便可實現(xiàn)例如偏航檢測,電子圍欄等地理分析場景。詳細內(nèi)容請參見地理函數(shù)。
CEP SQL
提供基于Match Recognize的模式匹配檢測,幫助業(yè)務(wù)人員使用SQL實現(xiàn)基于復雜事件規(guī)則的異常檢測業(yè)務(wù)。典型應(yīng)用場景如欺詐檢測、車輛異常行為檢測、工業(yè)設(shè)備異常運行狀態(tài)檢測等。詳細內(nèi)容請參見CEP模式匹配。
提供多種圖表類型實時展示作業(yè)數(shù)據(jù)輸出,用戶還可以通過API網(wǎng)關(guān)服務(wù)自由訪問作業(yè)數(shù)據(jù),接入自定義工作流中。詳細內(nèi)容請參見數(shù)據(jù)可視化。
可視化SQL編輯器
實時流計算服務(wù)針對不太熟悉SQL的用戶,提供了可視化編輯器功能,它將實時流計算服務(wù)需要對接的上下游服務(wù)(如DIS、CloudTable等)和內(nèi)部邏輯算子(如filter、window等)封裝成可拖拽的組件,用戶只需要將其拖入畫布中并用連線將各個元素連接,就能輕松的創(chuàng)建出一個作業(yè)的拓撲,再通過點擊畫布中的各個元素設(shè)置對應(yīng)參數(shù),就能輕松完成一個作業(yè)的編輯。詳細內(nèi)容請參見可視化編輯器。
支持獨享集群及其作業(yè)的資源配額
允許租戶創(chuàng)建獨享集群,獨享集群與其他租戶和共享集群是完全物理隔離的,不會受其他作業(yè)影響。租戶可配置獨享集群最大可使用SPU配額,并為其子用戶分配可用的集群以及可使用的SPU配額。詳細內(nèi)容請參見集群管理。
支持在線測試SQL作業(yè)
作業(yè)調(diào)試功能可以幫助用戶校驗SQL語句邏輯是否正確,通過用戶的樣例數(shù)據(jù)輸入(支持手動輸入和OBS輸入兩種方式)結(jié)合SQL邏輯快速輸出樣例結(jié)果,確保在作業(yè)正式運行時,邏輯處理正確。詳細內(nèi)容請參見調(diào)試作業(yè)。
支持Flink和Spark自定義作業(yè)
允許用戶在獨享集群上提交Flink和Spark自定義作業(yè)。
支持Spark streaming和Structured streaming
允許用戶在獨享集群上提交Spark streaming自定義作業(yè)。
支持與多種云服務(wù)連通,形成豐富的流生態(tài)圈。
實時流計算服務(wù)的生態(tài)分為云服務(wù)生態(tài)和開源生態(tài):
云服務(wù)生態(tài):實時流計算服務(wù)在Stream SQL中支持與其他服務(wù)的連通。用戶可以直接使用SQL從這些服務(wù)中讀寫數(shù)據(jù),如DIS、OBS、CloudTable、MRS、RDS、 SMN 、DCS等。
開源生態(tài):通過對等連接建立與其他VPC的網(wǎng)絡(luò)連接后,用戶可以在實時流計算服務(wù)的租戶獨享集群中訪問所有Flink和Spark支持的數(shù)據(jù)源與輸出源,如Kafka、Hbase、ElasticSearch等。
支持 智能邊緣平臺 (Intelligent EdgeFabric)
智能 邊緣平臺 (IEF)與實時流計算服務(wù)的結(jié)合,支持流處理云端管理,邊緣側(cè)運行,提供實時流處理能力。