談?wù)?ZooKeeper 的定位：能解決什么問題？不能解決什么問題？

ZooKeeper 很流行，有個基本的疑問：

• ZooKeeper 是用來做什么的？
• 之前沒有ZK，為什么會誕生 ZK？

OK，解答一下上面的疑問：（下面是憑直覺說的）

• ZooKeeper 是用于簡化分布式應(yīng)用開發(fā)的，對開發(fā)者屏蔽一些分布式應(yīng)用開發(fā)過程中的底層細節(jié)
• ZooKeeper 對外暴露簡單的 API，用于支持分布式應(yīng)用開發(fā)
• ZooKeeper 在提供上述功能的同時，其還是一個 高性能、高可用、高可靠的分布式集群

上面說這么多，總結(jié)一下，ZK 能解決分布式應(yīng)用開發(fā)的問題，ZK 能很好的解決問題。到這一步，疑問就更多了：

• 分布式應(yīng)用開發(fā)，有哪些常見問題？ZK 是如何屏蔽這些底層細節(jié)的？
• ZooKeeper 對外暴露了那些 API？這些 API 如何支持分布式應(yīng)用開發(fā)的？這些 API 還能簡化嗎？API 的語義性怎么樣？
• ZooKeeper 自身是一個高性能、高可用、高可靠的分布式集群，那有個簡單的問題：
• 高性能是指什么？ZooKeeper 為了達到高性能，做了哪些工作？
• 高可用同上
• 高可靠同上

Note：本篇 wiki 就是為了解決上述第一個疑問的。（其他疑問會在其他 blog 中逐步解答）

為什么有 ZooKeeper

一個應(yīng)用程序，涉及多個進程協(xié)作時，業(yè)務(wù)邏輯代碼中混雜有大量復(fù)雜的進程協(xié)作邏輯。

上述多進程協(xié)作邏輯，有 2 個特點：

• 處理復(fù)雜
• 處理邏輯可重用

因此，考慮將多進程協(xié)作的共性問題拎出，作為基礎(chǔ)設(shè)施，讓 RD 更加專注業(yè)務(wù)邏輯開發(fā)，即：

ZooKeeper 就是上述多進程協(xié)作基礎(chǔ)服務(wù)的一種。

ZooKeeper 的特點

ZooKeeper 有幾個簡單特點：

• ZooKeeper 的 API：從 文件系統(tǒng) API 得到的啟發(fā)，提供簡單的 API
• ZooKeeper 運行在專用服務(wù)器上，跟業(yè)務(wù)邏輯分離，保證了高容錯性和可擴展性

ZooKeeper 是存儲設(shè)施，但特別注意

• ZK上存儲的數(shù)據(jù)聚焦為：協(xié)作數(shù)據(jù)（元數(shù)據(jù)），而不是應(yīng)用數(shù)據(jù)，應(yīng)用數(shù)據(jù)有自己的存儲方案，例如 HDFS 等
• ZK 本質(zhì)上，可以看作一種特殊的 FS

特別說明：

應(yīng)用數(shù)據(jù)和元數(shù)據(jù)，由于使用場景不同，對一致性和持久性的要求有差異， 因此，架構(gòu)設(shè)計、數(shù)據(jù)治理過程中，應(yīng)將 2 類數(shù)據(jù)獨立看待、獨立存儲。

ZooKeeper 的使命

ZK 要解決的核心問題：

ZK 目標：簡化分布式應(yīng)用開發(fā)中，多進程協(xié)作問題。為分布式應(yīng)用，提供高效、可靠的分布式協(xié)調(diào)服務(wù)（基礎(chǔ)服務(wù)），例如：

• 統(tǒng)一的命名服務(wù)
• 分布式鎖
• 進程崩潰檢測
• Leader 選舉
• 配置管理：配置變更時，及時下發(fā)到各個 Client。

一個簡單的問題：多進程的協(xié)作是什么？尼瑪呀，有完沒完，啥問題你都有，面對這個掉咋天的腦殼，還是回答一下。

多進程協(xié)作，整體分為 2 類：

• 協(xié)作：多進程需要一同處理某些事情，一些進程采取行動是的其他進程能夠正常工作，例如：主從結(jié)構(gòu)，M 向 S 分配任務(wù)，S 才會執(zhí)行，否則 S 就保持空閑狀態(tài)
• 競爭：兩個進程不能同時工作，一個進程必須等待另個進程執(zhí)行完畢，例如：主從結(jié)構(gòu)，M 節(jié)點失效后，很多 S 都想成為 M，這時，就需要互斥鎖，只有第一個獲得鎖的 S 成為 M

特別說明：

• 不跨網(wǎng)絡(luò)協(xié)作：多進程，可以在同一臺物理主機上，同步原語很方便(比如？管道、共享內(nèi)存、消息隊列、信號量)
• 跨網(wǎng)絡(luò)協(xié)作：多進程，分布在不同的物理主機上，ZK 關(guān)注這一類

跨網(wǎng)絡(luò)多進程協(xié)作，進程通信，基本思路有 2 個：

• 消息機制：通過網(wǎng)絡(luò)，直接信息交換，多消息傳遞算法，實現(xiàn)同步原語
• 共享存儲：利用外部共享存儲，實現(xiàn)多進程協(xié)作，要求共享存儲提供有序訪問，ZK 采用這種方式

真實系統(tǒng)中，跨網(wǎng)絡(luò)通信，有幾個共性問題：

• 消息延遲：由于網(wǎng)絡(luò)原因，后發(fā)送先到達
• 處理器性能：由于系統(tǒng)調(diào)度原因，消息到達后，延遲處理
• 時鐘偏移：不同物理主機，時鐘發(fā)生偏移

ZK 精心設(shè)計用于屏蔽上述 3 個共性問題，使得這些問題在應(yīng)用服務(wù)層面完全透明化。

ZooKeeper 特性

ZooKeeper 解決的本質(zhì)問題

分布式系統(tǒng)的一致性問題：

• 消息傳遞：延遲性，先發(fā)送的消息，不一定先到達；
• 消息傳遞：丟失性，發(fā)送的消息，可能丟失；
• 節(jié)點崩潰：分布式系統(tǒng)內(nèi)，任何一個節(jié)點都可能崩潰；

在這種情況下，如何保證數(shù)據(jù)的一致性？

• 提案投票：基于投票策略，2PC
• 選舉投票：基于投票策略，投出優(yōu)先級最高的節(jié)點（包含最新數(shù)據(jù)的節(jié)點）

Paxos 目標：解決分布式一致性問題，提高分布式系統(tǒng)容錯性的一致性算法。

Paxos 本質(zhì)：基于消息傳遞的高度容錯的一致性算法

ZooKeeper 定位

ZooKeeper 是：

• 分布式協(xié)調(diào)服務(wù)
• 高效、可靠
• 方便應(yīng)用程序，聚焦業(yè)務(wù)邏輯開發(fā)，而不需要過多關(guān)注分布式進程間協(xié)作細節(jié)

ZooKeeper 不直接暴露原語，而是，暴露一部分調(diào)用方法組成的 API，類似文件系統(tǒng)的 API，支持應(yīng)用程序?qū)崿F(xiàn)自己的原語。

ZooKeeper 特性

ZooKeeper 可以保證如下分布式一致性特性：

• 順序一致性：同一個 Client 發(fā)起的事務(wù)請求，嚴格按照發(fā)起順序執(zhí)行
• 原子性：事務(wù)請求，要么應(yīng)用到所有節(jié)點，要么一個節(jié)點都沒有應(yīng)用
• 單一視圖：Client 無論連接到哪個節(jié)點，看到的服務(wù)端數(shù)據(jù)都是一致的（Note：不準確，其實是最終一致性）
• 可靠性：事務(wù)一旦執(zhí)行成功，狀態(tài)永久保留
• 實時性：事務(wù)一旦執(zhí)行成功，Client 并不能立即看到最新數(shù)據(jù)，但 ZooKeeper 保證最終一致性

ZooKeeper 設(shè)計目標

ZooKeeper 致力于提供高性能、高可用、順序一致性的分布式協(xié)調(diào)服務(wù)，保證數(shù)據(jù)最終一致性。

目標一：高性能（簡單的數(shù)據(jù)模型）

• 采用樹形結(jié)構(gòu)組織數(shù)據(jù)節(jié)點；
• 全量數(shù)據(jù)節(jié)點，都存儲在內(nèi)存中；
• Follower 和 Observer 直接處理非事務(wù)請求；

目標二：高可用（構(gòu)建集群）

• 半數(shù)以上機器存活，服務(wù)就能正常運行
• 自動進行 Leader 選舉

目標三：順序一致性（事務(wù)操作的順序）

• 每個事務(wù)請求，都會轉(zhuǎn)發(fā)給 Leader 處理
• 每個事務(wù)，會分配全局唯一的遞增id（zxid，64位：epoch + 自增 id）

目標四：最終一致性

• 通過提議投票方式，保證事務(wù)提交的可靠性
• 提議投票方式，只能保證 Client 收到事務(wù)提交成功后，半數(shù)以上節(jié)點能夠看到最新數(shù)據(jù)

ZooKeeper 出現(xiàn)之前

ZK 出現(xiàn)之前，分布式系統(tǒng)常用兩種方式，實現(xiàn)多進程協(xié)作：

• 分布式鎖管理器
• 分布式數(shù)據(jù)庫

ZK 更專注于進程協(xié)作，而不提供任何鎖接口和通用的存儲數(shù)據(jù)接口。（疑問：ZK 也可以提供啊，我們不使用就行了）

應(yīng)用服務(wù)器，常見的需求：

• Master-Slave Leader 選舉：要求提供Master節(jié)點選舉功能
• 進程響應(yīng)跟蹤 崩潰檢測：要求提供進程存活狀態(tài)的跟蹤
• 分布式鎖：互斥排它鎖

ZK 為上述 2 種策略提供了基礎(chǔ) API。

ZooKeeper 不適用的場景：

• 海量數(shù)據(jù)存儲：

  ZK 本質(zhì)是特殊的 FS，但 ZK 用于存儲元數(shù)據(jù)，需要單獨存儲應(yīng)用數(shù)據(jù)

  
  

術(shù)語介紹

參考來源

• ZooKeeper-Distributed Process Coordination Chapter 1 簡介
• 從Paxos到Zookeeper分布式一致性原理與實踐 Chapter 4 初識 ZooKeeper