你的簡(jiǎn)歷寫了 “熟悉” zookeeper ？那這些你會(huì)嗎？

本文主要分享一下zookeeper的一些基本概念，在正式進(jìn)入正題前，和大家聊一聊剛?cè)胄袝r(shí)我的面試經(jīng)驗(yàn)，可以說是耿直的有些可愛。

面試官：用過zookeeper 嗎？

我：用過啊，給dubbo提供服務(wù)的注冊(cè)與發(fā)現(xiàn)嘛

面試官：知道 zookeeper 是什么嗎？

我：知道啊，注冊(cè)中心嘛

面試官：那你們項(xiàng)目中都是怎么用 zookeeper 的？

我：就在 springboot 的 application.properties 配置文件里添加一個(gè) zookeeper 服務(wù)地址就行了。。。

上邊的對(duì)話好像也沒什么毛病，但似乎又感覺哪里有點(diǎn)不太對(duì)，結(jié)果就是每次我如此回答面試都被pass。

為什么會(huì)被問zookeeper？因?yàn)槲业暮?jiǎn)歷項(xiàng)目上寫著熟練使用zookeeper，可面試官理解的 “熟練” 使用可不是會(huì)配置，工程啟動(dòng)不報(bào)錯(cuò)那么簡(jiǎn)單。所以還是有必要全面了解一下zookeeper的相關(guān)知識(shí)。

一、zookeeper初識(shí)？

Zookeeper 它作為Hadoop項(xiàng)目中的一個(gè)開源子項(xiàng)目，是一個(gè)經(jīng)典的分布式數(shù)據(jù)一致性解決方案，致力于為分布式應(yīng)用提供一個(gè)高性能、高可用，且具有嚴(yán)格順序訪問控制能力的分布式協(xié)調(diào)服務(wù)。

1、zookeeper數(shù)據(jù)模型

zookeeper 維護(hù)了一個(gè)類似文件系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)，每個(gè)子目錄（/微信、/微信/公眾號(hào)）都被稱作為 znode 即節(jié)點(diǎn)。和文件系統(tǒng)一樣，我們可以很輕松的對(duì) znode 節(jié)點(diǎn)進(jìn)行增加、刪除等操作，而且還可以在一個(gè)znode下增加、刪除子znode，區(qū)別在于文件系統(tǒng)的是，znode可以存儲(chǔ)數(shù)據(jù)（嚴(yán)格說是必須存放數(shù)據(jù)，默認(rèn)是個(gè)空字符）。

由于zookeeper是目錄節(jié)點(diǎn)結(jié)構(gòu)，在獲取和創(chuàng)建節(jié)點(diǎn)時(shí)，必須要以“/” 開頭，否則在獲取節(jié)點(diǎn)時(shí)會(huì)報(bào)錯(cuò) Path must start with / character。

1[zk: localhost:2181(CONNECTED) 13] get test
2Command failed: java.lang.IllegalArgumentException: Path must start with / character

根節(jié)點(diǎn)名必須為“/XXX”，創(chuàng)建子節(jié)點(diǎn)時(shí)必須要帶上根節(jié)點(diǎn)目錄“/XXX/CCC”、“/XXX/AAA”。

例如：想要獲取下圖 程序員內(nèi)點(diǎn)事 節(jié)點(diǎn)必須拼接完整的路徑 get /微信/公眾號(hào)/程序員內(nèi)點(diǎn)事

1get /微信/公眾號(hào)/程序員內(nèi)點(diǎn)事

2、znode節(jié)點(diǎn)屬性

一個(gè)znode節(jié)點(diǎn)不僅可以存儲(chǔ)數(shù)據(jù)，還有一些其他特別的屬性。接下來我們創(chuàng)建一個(gè)/test節(jié)點(diǎn)分析一下它各個(gè)屬性的含義。

 1[zk: localhost:2181(CONNECTED) 6] get /test
 2456
 3cZxid = 0x59ac //
 4ctime = Mon Mar 30 15:20:08 CST 2020
 5mZxid = 0x59ad
 6mtime = Mon Mar 30 15:22:25 CST 2020
 7pZxid = 0x59ac
 8cversion = 0
 9dataVersion = 2
10aclVersion = 0
11ephemeralOwner = 0x0
12dataLength = 3
13numChildren = 0  

我們看到一個(gè)znode節(jié)點(diǎn)的屬性比較多，但比較主要的屬性還是zxid、version、acl 這三個(gè)。

Zxid：

znode節(jié)點(diǎn)狀態(tài)改變會(huì)導(dǎo)致該節(jié)點(diǎn)收到一個(gè)zxid格式的時(shí)間戳，這個(gè)時(shí)間戳是全局有序的，znode節(jié)點(diǎn)的建立或者更新都會(huì)產(chǎn)生一個(gè)新的。如果zxid1的值 < zxid2的值，那么說明zxid2發(fā)生的改變?cè)?/span>zxid1之后。每個(gè)znode節(jié)點(diǎn)都有3個(gè)zxid屬性，cZxid（節(jié)點(diǎn)創(chuàng)建時(shí)間）、mZxid（該節(jié)點(diǎn)修改時(shí)間，與子節(jié)點(diǎn)無關(guān)）、pZxid（該節(jié)點(diǎn)或者該節(jié)點(diǎn)的子節(jié)點(diǎn)的最后一次創(chuàng)建或者修改時(shí)間，孫子節(jié)點(diǎn)無關(guān)）。

zxid屬性主要應(yīng)用于zookeeper的集群，這個(gè)后邊介紹集群時(shí)詳細(xì)說。

Version：

znode屬性中一共有三個(gè)版本號(hào)dataversion（數(shù)據(jù)版本號(hào)）、cversion（子節(jié)點(diǎn)版本號(hào)）、aclversion（節(jié)點(diǎn)所擁有的ACL權(quán)限版本號(hào)）。

znode中的數(shù)據(jù)可以有多個(gè)版本，如果某一個(gè)節(jié)點(diǎn)下存有多個(gè)數(shù)據(jù)版本，那么查詢這個(gè)節(jié)點(diǎn)數(shù)據(jù)就需要帶上版本號(hào)。每當(dāng)我們對(duì)znode節(jié)點(diǎn)數(shù)據(jù)修改后，該節(jié)點(diǎn)的dataversion版本號(hào)會(huì)遞增。當(dāng)客戶端請(qǐng)求該znode節(jié)點(diǎn)時(shí)，會(huì)同時(shí)返回節(jié)點(diǎn)數(shù)據(jù)和版本號(hào)。另外當(dāng)dataversion為 -1的時(shí)候可以忽略版本進(jìn)行操作。對(duì)一個(gè)節(jié)點(diǎn)設(shè)置權(quán)限時(shí)aclVersion版本號(hào)會(huì)遞增，下邊會(huì)詳細(xì)說ACL權(quán)限控制。

驗(yàn)證一下，我們修改/test節(jié)點(diǎn)的數(shù)據(jù)看看dataVersion有什么變化，發(fā)現(xiàn)dataVersion屬性變成了 3，版本號(hào)遞增了。

 1[zk: localhost:2181(CONNECTED) 10] set /test 8888
 2cZxid = 0x59ac
 3ctime = Mon Mar 30 15:20:08 CST 2020
 4mZxid = 0x59b6
 5mtime = Mon Mar 30 16:58:08 CST 2020
 6pZxid = 0x59ac
 7cversion = 0
 8dataVersion = 3
 9aclVersion = 0
10ephemeralOwner = 0x0
11dataLength = 4
12numChildren = 0

3、znode的類型

zookeeper 有四種類型的znode，在用客戶端 client 創(chuàng)建節(jié)點(diǎn)的時(shí)候需要指定類型。

1zookeeper.create("/公眾號(hào)/程序員內(nèi)點(diǎn)事", "".getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL);

• PERSISTENT-持久化目錄節(jié)點(diǎn) ：client創(chuàng)建節(jié)點(diǎn)后，與zookeeper斷開連接該節(jié)點(diǎn)將被持久化，當(dāng)client再次連接后節(jié)點(diǎn)依舊存在。

• PERSISTENT_SEQUENTIAL-持久化順序節(jié)點(diǎn) ：client創(chuàng)建節(jié)點(diǎn)后，與zookeeper斷開連接該節(jié)點(diǎn)將被持久化，再次連接節(jié)點(diǎn)還存在，zookeeper會(huì)給該節(jié)點(diǎn)名稱進(jìn)行順序編號(hào)，例如：/lock/0000000001、/lock/0000000002、/lock/0000000003。

• EPHEMERAL-臨時(shí)目錄節(jié)點(diǎn) ：client與zookeeper斷開連接后，該節(jié)點(diǎn)即會(huì)被刪除

• EPHEMERAL_SEQUENTIAL-臨時(shí)順序節(jié)點(diǎn) ：client與zookeeper斷開連接后，該節(jié)點(diǎn)被刪除，會(huì)給該節(jié)點(diǎn)名稱進(jìn)行順序編號(hào)，例如：/lock/0000000001、/lock/0000000002、/lock/0000000003。

二、節(jié)點(diǎn)的ACL權(quán)限控制

ACL：即 Access Control List (節(jié)點(diǎn)的權(quán)限控制)，通過ACL機(jī)制來解決znode節(jié)點(diǎn)的訪問權(quán)限問題，要注意的是zookeeper對(duì)權(quán)限的控制是基于znode級(jí)別的，也就說節(jié)點(diǎn)之間的權(quán)限不具有繼承性，即子節(jié)點(diǎn)不繼承父節(jié)點(diǎn)的權(quán)限。

zookeeper中設(shè)置ACL權(quán)限的格式由<schema>:<id>:<acl>三段組成。

schema ：表示授權(quán)的方式

• world：表示任何人都可以訪問

• auth：只有認(rèn)證的用戶可以訪問

• digest：使用username ：password用戶密碼生成MD5哈希值作為認(rèn)證ID

• host/ip：使用客戶端主機(jī)IP地址來進(jìn)行認(rèn)證

id：權(quán)限的作用域，用來標(biāo)識(shí)身份，依賴于schema選擇哪種方式。

acl：給一個(gè)節(jié)點(diǎn)賦予哪些權(quán)限，節(jié)點(diǎn)的權(quán)限有create,、delete、write、read、admin 統(tǒng)稱 cdwra。

1、world：表示任何人都可以訪問

我們用 getAcl 命令來看一下，沒有設(shè)置過權(quán)限的znode節(jié)點(diǎn)，默認(rèn)情況下的權(quán)限情況。

1[zk: localhost:2181(CONNECTED) 12] getAcl /test
2'world,'anyone
3: cdrwa

看到?jīng)]有設(shè)置ACL屬性的節(jié)點(diǎn)，默認(rèn)schema 使用的是world，作用域是anyone，節(jié)點(diǎn)權(quán)限是cdwra，也就是說任何人都可以訪問。

那我們?nèi)绻o一個(gè)schema 為非world的節(jié)點(diǎn)設(shè)置world權(quán)限咋搞？

1setAcl /test world:anyone:crdwa

2、auth：只有認(rèn)證的用戶可以訪問

schema 用auth授權(quán)表示只有認(rèn)證后的用戶才可以訪問，那么首先就需要添加認(rèn)證用戶，添加完以后需要對(duì)認(rèn)證的用戶設(shè)置ACL權(quán)限。

1addauth digest test:password(明文)

需要注意的是設(shè)置認(rèn)證用戶時(shí)的密碼是明文的。

1[zk: localhost:2181(CONNECTED) 2] addauth digest user:user //用戶名：密碼
2[zk: localhost:2181(CONNECTED) 5] setAcl /test auth:user:crdwa
3[zk: localhost:2181(CONNECTED) 6] getAcl /test
4'digest,'user:ben+k/3JomjGj4mfd4fYsfM6p0A=
5: cdrwa

實(shí)際上我們這樣設(shè)置以后，就是將這個(gè)節(jié)點(diǎn)開放給所有認(rèn)證的用戶，setAcl /test auth:user:crdwa 相當(dāng)于setAcl /test auth::crdwa。

3、digest：用戶名:密碼的驗(yàn)證方式

用戶名:密碼方式授權(quán)是針對(duì)單個(gè)特定用戶，這種方式是不需要先添加認(rèn)證用戶的。

如果在代碼中使用zookeeper客戶端設(shè)置ACL，那么密碼是明文的，但若是zk.cli等客戶端操作就需要將密碼進(jìn)行sha1及base64處理。

1setAcl <path> digest:<user>:<password(密文)>:<acl>
2
3setAcl /test digest:user:jalRr+knv/6L2uXdenC93dEDNuE=:crdwa

那么密碼如何加密嘞？有以下幾種方式：

通過shell命令加密

1echo -n <user>:<password> | openssl dgst -binary -sha1 | openssl base64
2

使用zookeeper自帶的類庫org.apache.zookeeper.server.auth.DigestAuthenticationProvider生成

1java -cp /zookeeper-3.4.13/zookeeper-3.4.13.jar:/zookeeper-3.4.13/lib/slf4j-api-1.7.25.jar \
2  org.apache.zookeeper.server.auth.DigestAuthenticationProvider \
3  root:root
4root:root->root:qiTlqPLK7XM2ht3HMn02qRpkKIE=

4、host/ip：使用客戶端主機(jī)IP地址來進(jìn)行認(rèn)證

這種方式就比較好理解了，通過對(duì)特定的IP地址，也可以是一個(gè)IP段進(jìn)行授權(quán)。

 1[zk: localhost:2181(CONNECTED) 3] setAcl /test0000000014 ip:127.0.0.1:crdwa
 2cZxid = 0x59ac
 3ctime = Mon Mar 30 15:20:08 CST 2020
 4mZxid = 0x59b6
 5mtime = Mon Mar 30 16:58:08 CST 2020
 6pZxid = 0x59ac
 7cversion = 0
 8dataVersion = 3
 9aclVersion = 3 // 這個(gè)版本一直在增加
10ephemeralOwner = 0x0
11dataLength = 4
12numChildren = 0

三、zookeeper的靈魂 watcher

我們?cè)陂_頭就說過：zookeeper可以為dubbo提供服務(wù)的注冊(cè)與發(fā)現(xiàn)，作為注冊(cè)中心，但你有想過zookeeper為啥能夠?qū)崿F(xiàn)服務(wù)的注冊(cè)與發(fā)現(xiàn)嗎？這就不得不說一下zookeeper的靈魂 Watcher（監(jiān)聽者）。

1、watcher是個(gè)啥？

watcher 是zooKeeper中一個(gè)非常核心功能 ，客戶端watcher 可以監(jiān)控節(jié)點(diǎn)的數(shù)據(jù)變化以及它子節(jié)點(diǎn)的變化，一旦這些狀態(tài)發(fā)生變化，zooKeeper服務(wù)端就會(huì)通知所有在這個(gè)節(jié)點(diǎn)上設(shè)置過watcher的客戶端 ，從而每個(gè)客戶端都很快感知，它所監(jiān)聽的節(jié)點(diǎn)狀態(tài)發(fā)生變化，而做出對(duì)應(yīng)的邏輯處理。

簡(jiǎn)單的介紹了一下watcher ，那么我們來分析一下，zookeeper是如何實(shí)現(xiàn)服務(wù)的注冊(cè)與發(fā)現(xiàn)。
zookeeper的服務(wù)注冊(cè)與發(fā)現(xiàn)，主要應(yīng)用的是zookeeper的znode節(jié)點(diǎn)數(shù)據(jù)模型和watcher機(jī)制，大致的流程如下：

• 服務(wù)注冊(cè)： 服務(wù)提供者（Provider）啟動(dòng)時(shí)，會(huì)向zookeeper服務(wù)端注冊(cè)服務(wù)信息，也就是創(chuàng)建一個(gè)節(jié)點(diǎn)，例如：用戶注冊(cè)服務(wù)com.xxx.user.register，并在節(jié)點(diǎn)上存儲(chǔ)服務(wù)的相關(guān)數(shù)據(jù)（如服務(wù)提供者的ip地址、端口等）。

• 服務(wù)發(fā)現(xiàn)： 服務(wù)消費(fèi)者（Consumer）啟動(dòng)時(shí)，根據(jù)自身配置的依賴服務(wù)信息，向zookeeper服務(wù)端獲取注冊(cè)的服務(wù)信息并設(shè)置watch監(jiān)聽，獲取到注冊(cè)的服務(wù)信息之后，將服務(wù)提供者的信息緩存在本地，并進(jìn)行服務(wù)的調(diào)用。

• 服務(wù)通知： 一旦服務(wù)提供者因某種原因宕機(jī)不再提供服務(wù)之后，客戶端與zookeeper服務(wù)端斷開連接，zookeeper服務(wù)端上服務(wù)提供者對(duì)應(yīng)服務(wù)節(jié)點(diǎn)會(huì)被刪除（例如：用戶注冊(cè)服務(wù)com.xxx.user.register），隨后zookeeper服務(wù)端會(huì)異步向所有消費(fèi)用戶注冊(cè)服務(wù)com.xxx.user.register，且設(shè)置了watch監(jiān)聽的服務(wù)消費(fèi)者發(fā)出節(jié)點(diǎn)被刪除的通知，消費(fèi)者根據(jù)收到的通知拉取最新服務(wù)列表，更新本地緩存的服務(wù)列表。

上邊的過程就是zookeeper可以實(shí)現(xiàn)服務(wù)注冊(cè)與發(fā)現(xiàn)的大致原理。

2、watcher類型

znode節(jié)點(diǎn)可以設(shè)置兩類watch，一種是DataWatches，基于znode節(jié)點(diǎn)的數(shù)據(jù)變更從而觸發(fā) watch 事件，觸發(fā)條件getData()、exists()、setData()、 create()。

另一種是Child Watches，基于znode的孩子節(jié)點(diǎn)發(fā)生變更觸發(fā)的watch事件，觸發(fā)條件 getChildren()、 create()。

而在調(diào)用 delete() 方法刪除znode時(shí)，則會(huì)同時(shí)觸發(fā)Data Watches和Child Watches，如果被刪除的節(jié)點(diǎn)還有父節(jié)點(diǎn)，則父節(jié)點(diǎn)會(huì)觸發(fā)一個(gè)Child Watches。

3、watcher特性

watch對(duì)節(jié)點(diǎn)的監(jiān)聽事件是一次性的！客戶端在指定的節(jié)點(diǎn)設(shè)置了監(jiān)聽watch，一旦該節(jié)點(diǎn)數(shù)據(jù)發(fā)生變更通知一次客戶端后，客戶端對(duì)該節(jié)點(diǎn)的監(jiān)聽事件就失效了。

如果還要繼續(xù)監(jiān)聽這個(gè)節(jié)點(diǎn)，就需要我們?cè)诳蛻舳说谋O(jiān)聽回調(diào)中，再次對(duì)節(jié)點(diǎn)的監(jiān)聽watch事件設(shè)置為True。否則客戶端只能接收到一次該節(jié)點(diǎn)的變更通知。

四、zookeeper能實(shí)現(xiàn)哪些功能

服務(wù)的注冊(cè)與發(fā)現(xiàn)功能只是zookeeper的冰山一角，它還能實(shí)現(xiàn)諸如分布式鎖、隊(duì)列、配置中心等一系列功能，接下來我們只分析一下原理，具體的實(shí)現(xiàn)大家上網(wǎng)查一下資料還是比較全的。

1、分布式鎖

zookeeper基于watcher機(jī)制和znode的有序節(jié)點(diǎn)，天生就是一個(gè)分布式鎖的坯子。首先創(chuàng)建一個(gè)/test/lock父節(jié)點(diǎn)作為一把鎖，盡量是持久節(jié)點(diǎn)（PERSISTENT類型），每個(gè)嘗試獲取這把鎖的客戶端，在/test/lock父節(jié)點(diǎn)下創(chuàng)建臨時(shí)順序子節(jié)點(diǎn)。

由于序號(hào)的遞增性，我們規(guī)定序號(hào)最小的節(jié)點(diǎn)即獲得鎖。例如：客戶端來獲取鎖，在/test/lock節(jié)點(diǎn)下創(chuàng)建節(jié)點(diǎn)為/test/lock/seq-00000001，它是最小的所以它優(yōu)先拿到了鎖，其它節(jié)點(diǎn)等待通知再次獲取鎖。/test/lock/seq-00000001執(zhí)行完自己的邏輯后刪除節(jié)點(diǎn)釋放鎖。

那么節(jié)點(diǎn)/test/lock/seq-00000002想要獲取鎖等誰的通知呢？

這里我們讓/test/lock/seq-00000002節(jié)點(diǎn)監(jiān)聽/test/lock/seq-00000001節(jié)點(diǎn)，一旦/test/lock/seq-00000001節(jié)點(diǎn)刪除，則通知/test/lock/seq-00000002節(jié)點(diǎn)，讓它再次判斷自己是不是最小的節(jié)點(diǎn)，是則拿到鎖，不是繼續(xù)等通知。

以此類推/test/lock/seq-00000003節(jié)點(diǎn)監(jiān)聽/test/lock/seq-00000002節(jié)點(diǎn)，總是讓后一個(gè)節(jié)點(diǎn)監(jiān)聽前一個(gè)節(jié)點(diǎn)，不用讓所有節(jié)點(diǎn)都監(jiān)聽最小的節(jié)點(diǎn)，避免設(shè)置不必要的監(jiān)聽，以免造成大量無效的通知，形成“羊群效應(yīng)”。

zookeeper分布式鎖和redis分布式鎖相比，因?yàn)榇罅康膭?chuàng)建、刪除節(jié)點(diǎn)性能上比較差，并不是很推薦。

2、分布式隊(duì)列

zookeeper實(shí)現(xiàn)分布式隊(duì)列也很簡(jiǎn)單，應(yīng)用znode的有序節(jié)點(diǎn)天然的“先進(jìn)先出”，后創(chuàng)建的節(jié)點(diǎn)總是最大的，出隊(duì)總是拿序號(hào)最小的節(jié)點(diǎn)即可。

3、配置管理

現(xiàn)在有很多開源項(xiàng)目都在使用Zookeeper來維護(hù)配置，像消息隊(duì)列Kafka中，就使用Zookeeper來維護(hù)broker的信息；dubbo中管理服務(wù)的配置信息。原理也是基于watcher機(jī)制，例如：創(chuàng)建一個(gè)/config節(jié)點(diǎn)存放一些配置，客戶端監(jiān)聽這個(gè)節(jié)點(diǎn)，一點(diǎn)修改/config節(jié)點(diǎn)的配置信息，通知各個(gè)客戶端數(shù)據(jù)變更重新拉取配置信息。

4、命名服務(wù)

zookeeper的命名服務(wù)：也就是我們常說的服務(wù)注冊(cè)與發(fā)現(xiàn)，主要是根據(jù)指定名字來獲取資源或服務(wù)的地址，服務(wù)提供者等信息，利用其znode節(jié)點(diǎn)的特點(diǎn)和watcher機(jī)制，將其作為動(dòng)態(tài)注冊(cè)和獲取服務(wù)信息的配置中心，統(tǒng)一管理服務(wù)名稱和其對(duì)應(yīng)的服務(wù)器列表信息，我們能夠近乎實(shí)時(shí)地感知到后端服務(wù)器的狀態(tài)(上線、下線、宕機(jī))。

本文旨在給大家介紹一下zookeeper的基礎(chǔ)知識(shí)，像面試中被問頻率較高的zookeeper集群選主等概念，并沒有放在這期來寫，因?yàn)榧旱膬?nèi)容也是比較多的，我怕篇幅太長(zhǎng)大家沒有耐心看完（其實(shí)就是有點(diǎn)犯懶了，哈哈哈?。?/span>

感興趣的小伙伴可以關(guān)注一波。

特別推薦一個(gè)分享架構(gòu)+算法的優(yōu)質(zhì)內(nèi)容，還沒關(guān)注的小伙伴，可以長(zhǎng)按關(guān)注一下：
長(zhǎng)按訂閱更多精彩▼
如有收獲，點(diǎn)個(gè)在看，誠(chéng)摯感謝