Kafka

Kafka是一個(gè)分布式的、分區(qū)的、多副本的消息發(fā)布-訂閱系統(tǒng),它提供了類似于JMS的特性,但在設(shè)計(jì)上完全不同,它具有消息持久化、高吞吐、分布式、多客戶端支持、實(shí)時(shí)等特性,適用于離線和在線的消息消費(fèi),如常規(guī)的消息收集、網(wǎng)站活性跟蹤、聚合統(tǒng)計(jì)系統(tǒng)運(yùn)營數(shù)據(jù)(監(jiān)控?cái)?shù)據(jù))、日志收集等大量數(shù)據(jù)的互聯(lián)網(wǎng)服務(wù)的數(shù)據(jù)收集場景。

Kafka存儲(chǔ)的消息來自任意多被稱為“生產(chǎn)者”(Producer)的進(jìn)程。數(shù)據(jù)從而可以被分配到不同的“分區(qū)”(Partition)、不同的“Topic”下。在一個(gè)分區(qū)內(nèi),這些消息被索引并連同時(shí)間戳存儲(chǔ)在一起。其它被稱為“消費(fèi)者”(Consumer)的進(jìn)程可以從分區(qū)查詢消息。Kafka運(yùn)行在一個(gè)由一臺(tái)或多臺(tái)服務(wù)器組成的集群上,并且分區(qū)可以跨集群結(jié)點(diǎn)分布。

鏈接:https://support.huaweicloud.com/productdesc-mrs/mrs_08_001301.html

華為云推薦:

MapReduce服務(wù) https://support.huaweicloud.com/mrs/index.html