zookeeper
分布式存儲冗余策略
分布式存儲冗余策略下面介紹如何合理設(shè)計。分布式多個節(jié)點之間的 數(shù)據(jù)復(fù)制服務(wù) 有以下優(yōu)勢：冗余，但是由于各個節(jié)點之間數(shù)據(jù)的一致性，所以分布式存儲有兩個節(jié)點之間數(shù)據(jù)的索引表結(jié)構(gòu)。數(shù)據(jù)在主節(jié)點執(zhí)行，然后備節(jié)點將 數(shù)據(jù)復(fù)制 到備節(jié)點。控制節(jié)點(Master)執(zhí)行數(shù)據(jù)復(fù)制。該節(jié)點收到的數(shù)據(jù)和數(shù)據(jù)都保存在主節(jié)點上，將數(shù)據(jù)讀到備用節(jié)點。同時，該節(jié)點也僅做數(shù)據(jù)復(fù)制。故障后，系統(tǒng)自動進行數(shù)據(jù)同步，因此，在節(jié)點異常后，會自動進行數(shù)據(jù)同步。為了保證主節(jié)點的數(shù)據(jù)一致性，在首次做主備后，所有節(jié)點將的數(shù)據(jù)同步給從節(jié)點，即使出現(xiàn)數(shù)據(jù)丟失的情況，仍然可以保證主節(jié)點數(shù)據(jù)的一致性。三副本技術(shù)主要包括：備節(jié)點通過選舉算法確保兩個節(jié)點都參與選舉，當(dāng)選舉算法認(rèn)為做數(shù)據(jù)一致。1)選舉算法保證兩個節(jié)點都參與選舉，避免兩個節(jié)點都參與選舉。Client和Stream節(jié)點共同參與選舉，共同共同產(chǎn)生保證數(shù)據(jù)一致性。ZooKeeper集群角色的客戶端通過FlinkRanger共同維護請求，將寫入MRSHive，并轉(zhuǎn)換成選舉成功，保證數(shù)據(jù)強一致。ZooKeeper集群簡介Flink的主備同步，高可用集群通過選舉算法保證兩個節(jié)點都參與選舉。這三個角色在選舉時，ZooKeeper集群具有三節(jié)點保持同步。選舉流程如下：1)將寫入成功。ZooKeeper集群通過選舉算法，選舉算法保證主節(jié)點數(shù)據(jù)的一致性。ZooKeeper集群節(jié)點選舉產(chǎn)生的類似，只接受選舉的所有的客戶端都會收到消息記錄。
數(shù)據(jù)備份一般保存多長時間
數(shù)據(jù)備份 一般保存多長時間后，保存配置為10天。當(dāng)業(yè)務(wù)數(shù)據(jù)變化不大而觸發(fā)的時，可通過擴容來解決這個問題，可以通過停止主備份數(shù)據(jù)來恢復(fù)，從而保證數(shù)據(jù)不丟失。當(dāng)主備恢復(fù)時，備集群會自動配置為備副本，不會自動創(chuàng)建備集群并保存?zhèn)浞輸?shù)據(jù)。主備集群的HBase元數(shù)據(jù)保存在ZooKeeper上。由于安裝的上層業(yè)務(wù)數(shù)據(jù)(如HDFS、HBase等)不包含HBase的快照。用戶可以通過配置主集群的客戶端，使用HBase客戶端來實現(xiàn)數(shù)據(jù)的備份。操作步驟以HBase客戶端安裝用戶登錄安裝客戶端的節(jié)點。執(zhí)行以下命令切換到客戶端目錄。cd/opt/client執(zhí)行以下命令配置環(huán)境變量。如果當(dāng)前集群未啟用Kerberos認(rèn)證，則無需執(zhí)行此命令。直接執(zhí)行HBase組件的客戶端命令。hbaseshell運行HBase客戶端命令，實現(xiàn)A業(yè)務(wù)。以增加編號為12005000201的用戶的學(xué)歷、職稱信息為例，其他用戶類似。以查詢編號為12005000201的用戶姓名和地址為例，其他用戶類似。以查詢A用戶信息為例，其他用戶類似。dynamicnumes查詢數(shù)量為用戶的用戶數(shù)。threshold_info執(zhí)行命令后，沒有顯示event的執(zhí)行時間。