數(shù)據(jù)中心硬件架構拆解分析
Facebook 于 2014 年提出一種新興的網(wǎng)絡架構，即葉脊架構（Spine-Leaf）。葉脊架構較傳統(tǒng)網(wǎng)絡架構相比，數(shù)據(jù)交換和吞吐能力更強，網(wǎng)絡也更加扁平化和密集。目前已經(jīng)成為全球的云計算/互聯(lián)網(wǎng)公司，包括國內(nèi)的阿里騰訊等，數(shù)據(jù)中心的主流部署方式。
為了更加清晰的拆分云計算企業(yè)的CAPEX 結構，首先我們需要了解葉脊架構的構成。以 Facebook 數(shù)據(jù)中心為例，自下而上可以劃分為：機柜層、Leaf 層、Spine 層。
機柜層：機柜層是整個網(wǎng)絡拓撲架構中最底層的結構，用于放置服務器，通常來說單機柜可以放置 20-24 臺標準服務器。機柜內(nèi)部的服務器互聯(lián)通過機柜頂層的交換機，該交換機也被稱為 ToR（Top of Rack）交換機。實際上 TOR 交換機既可以部署在機柜頂部，也可以部署在機柜的中部 （Middle of Rack）或底部 （Bottom of Rack）。通常而言，將交換機部署在機柜頂部是最有利于走線的，因此這種架構應用最多。
Leaf層：Leaf 層是網(wǎng)絡架構中承上啟下的一層，主要由葉交換機組成。葉交換機向下與 ToR交換機相連，向上與脊交換機相連。每臺葉交換機則向下連接 48 臺 ToR 交換機，這樣通過葉交換機便實現(xiàn)了機柜之間的互聯(lián)。48 臺 ToR 交換機與 4 臺葉交換機對應劃分出的結構也被稱為 Server Pods。數(shù)據(jù)中心在部署時根據(jù)需求，劃分為 N 個 Server Pods， N 的數(shù)量可以從幾十到幾百。邊緣的 Pod 又被稱為 Edge 平面，負責出口流量，實現(xiàn)數(shù)據(jù)中心之間的互聯(lián)。
Spine層：Spine 層是整個數(shù)據(jù)中心拓撲網(wǎng)絡的頂層。為了實現(xiàn)全網(wǎng)的連通性，F(xiàn)acebook 設計了四個獨立的骨干交換機平面(Spine plane)，每個平面可以根據(jù)需求擴展脊交換機，而每個 Pod 的每一臺葉交換機都會與所在平面的每一臺脊交換機互聯(lián)。
按照 Facebook 最初提出的葉脊架構進行估算，整個數(shù)據(jù)中心共可以容納的服務器總數(shù)量為24*48*N 臺服務器網(wǎng)絡的彼此互聯(lián)。通過設計更多的 Server Pods，則單個數(shù)據(jù)中心可以實現(xiàn)高達幾十萬臺的服務器的容量。
葉脊架構拉動高端光模塊需求。隨著全球數(shù)據(jù)流量爆發(fā)式增長，建設大型的數(shù)據(jù)中心較傳統(tǒng)的小數(shù)據(jù)中心具有顯著的成本優(yōu)勢，為適應數(shù)據(jù)中心規(guī)模的擴大以及提升流量傳輸效率，原有的三層網(wǎng)絡架構與數(shù)據(jù)中心的發(fā)展格格不入，性能出現(xiàn)瓶頸，在此背景下葉脊架構誕生了。
葉脊架構下，每層網(wǎng)絡結構所用 IT 設備如下圖所示：
機柜層：服務器、ToR 交換機、光模塊；
Leaf 層：Leaf 交換機、光模塊；
Spine 層：Spine 交換機、光模塊；
葉脊架構以東西向（East-West）流量為主，如機柜間互聯(lián)以及 Leaf-Spine 互聯(lián)的短距高速高模塊需求大幅增加，當前北美應用最為廣泛的為 100G 光模塊，并且隨著數(shù)據(jù)流量的增加 100G 光模塊正在向 400G 升級。而南北向流量壓力得到很大緩解，數(shù)據(jù)中心設計往往向上也呈現(xiàn)一定的收斂比，南北向光模塊如 ToR-Leaf 互聯(lián)光模塊和 Leaf-Spine 互聯(lián)光模塊速率并不會顯著升級。與此同時，交換機也伴隨升級：端口數(shù)量越來越多，芯片轉發(fā)速率越來越高。
以下，我們將按照前一小節(jié)所闡述的葉脊架構，對數(shù)據(jù)中心內(nèi)部服務器、交換機、光模塊等幾類 IT基礎產(chǎn)品的用量進行詳細拆解。核心假設：
1. 高功耗單機柜滿載 24 臺服務器；
2. ToR 交換機上下行端口比例為 1:6；
3. Leaf 交換機上下行端口比例為 1:6；
4. Spine 交換機不考慮上行，不考慮數(shù)據(jù)中心之間互聯(lián)的 Edge 交換機
5. 目前海外主流光模塊方案，服務器互聯(lián)采用 25G 光模塊，ToR 與 Leaf 交換機、Leaf 與 Spine交換機采用 100G 光模塊。
機柜層：服務器和交換機用量較為清晰，單機柜設計的服務器數(shù)量為 24 臺，機柜頂放置 1 臺 ToR 交換機。交換機分為下行接口和上行接口。下行即連接下層的服務器，上行即連接上層的葉交換機，中間通過兩端帶有光模塊的 MTP/MPO 光纖連接器進行連接。光模塊用量按照如下測算：
下行的測算：24（24 臺服務器，一臺服務器連一個光模塊）+ 24（ToR 交換機 24 個下行接口）= 48 個，一般采用為 25G 連接。上行的測算：一臺 ToR 交換機一般 4 個上行接口（連接 4 個葉交換機），上行接口速率為100G。
小結：按照單機柜折算，即需要 24 臺服務器，1 臺 ToR 交換機，48 個 25G 光模塊，4 個 100G高速光模塊。
Leaf層：不含服務器，只計算交換機與光模塊用量。交換機用量較為清晰，一個 Pod（48 個機柜）對應 4 臺葉交換機。光模塊用量按照如下測算：下行的測算：
對應于 ToR 交換機的上行，一臺葉交換機有 48 個下行速率為 100G 的端口，即需要 48 個 100G 的光模塊。上行的測算：考慮到在 Leaf 層南北向流量較少，可以按照 1：6 的收斂比進行設計，即 8 個上行接口，Spine 平面設計 8 臺脊交換機。因此單臺葉交換機最多對應 6 個 100G 光模塊。
小結：按照單機柜折算，即需要 4/48=0.08 臺葉交換機，（48+8）*（4/48）=4.7 個 100G 高速光模塊。
Spine層：按照 4 個 Spine 平面，每個平面擴展 8 個脊交換機，脊交換機總用量為 32 臺；按照 64 個 Pod 平面估算，每個 Pod 平面對應 0.5 臺脊交換機。光模塊用量的估算，每臺脊交換機下行與每個 Pod 所在平面的葉交換機相連，則要求脊交換機要有 64 個下行端口，每臺脊交換機對應高速光模塊用量 64 個。
小結：按照單機柜折算，即需要 0.5/48=0.01 臺脊交換機，64*（0.5/48）=0.67 個 100G 高速光模塊。
將以上匯總后，合計單機柜對應服務器 24 臺、1 臺 ToR 交換機，1/12 臺葉交換機，1/96 臺脊交換機、48 個 25G，28/3 個 100G 更高速光模塊，具體用量如下表所示：
云計算基礎設施各細分領域，IDC：服務器：網(wǎng)絡設備：光模塊大約為 15：72：3.3：2.6（對應16%：77%：4%：3%）的關系。對于超大型云計算數(shù)據(jù)中心，交換機所需要的型號更加高端，價值量更高。注意的是，該測算未包括光纖光纜、跨洋光纜等測算。因此平均來說，單機柜的資本開支可能更大。
但總體來說，幾類常見 IT 設備間的配比關系，相對正確。按照如前一小節(jié)的拆解，單機柜的投資金額可以劃分為如下幾個部分：
IDC及機柜 CAPEX：根據(jù)項目以及建設地理位置不同，單機柜投資金額在 12-18 萬之間，按照平均 15 萬進行估算，其中投資包含了土地、建筑、機柜、溫控系統(tǒng)、供電系統(tǒng)（柴發(fā)、蓄電池）等等。該項投資一般情況由 IDC 企業(yè)支出，特殊情況下如阿里定制化模式，土地支出及所有權不屬于 IDC 企業(yè)。定制化模式下單機柜的投資成本可能更低。
服務器：目前標準的機柜通常按照滿載 24 臺服務器設計，實際根據(jù)客戶需求不一定按照 24臺滿載運行。在此估算中暫且按照 24 臺滿載進行估算。
交換機：ToR 交換機通常為 24 口，價格約在 2 萬元左右；Leaf 交換機和 Spine 交換機會根據(jù)支持端口速率或數(shù)量的不同，價格有較為明顯的差異。以某一線品牌 Leaf 交換機（48 個 10G 下行接口，6 個 100G 上行接口）為例，軟硬件報價約在 4 萬元左右；某一線品牌 Spine交換機（18 個 100G 下行接口）為例，軟硬報價約在 30 萬左右。一般來說，數(shù)據(jù)中心規(guī)模越大，要求使用的 Leaf 和 Spine 交換機的端口速率和數(shù)量越多。超大規(guī)模的數(shù)據(jù)中心使用的 Spine 交換機價格甚至在成百上千萬元/臺。在此 64 端口的脊交換機我們按照 100 萬元進行估算。
光模塊：目前數(shù)據(jù)中心主流采用 25G 端口服務器，因此服務器上行以及 ToR 交換機下行之間的端口連接采用 25G 光模塊；而 ToR 交換機上行、Leaf 交換機以及 Spine 交換機采用100G 光模塊，甚至升級為更高速率光模塊。從通信板塊的投資彈性來說：
光模塊：下游應用場景中數(shù)據(jù)中心光模塊價值占比量高，且受益于產(chǎn)品升級迭代的量價齊升；
IDC：存量機柜貢獻穩(wěn)定利潤，增量機柜體現(xiàn)利潤增速（增量機柜只有量的彈性）；
網(wǎng)絡設備：下游應用場景中數(shù)據(jù)中心占比較小，企業(yè)級應用較高。因此云計算基礎設施領域投資彈性排序為：服務器，光模塊＞IDC＞網(wǎng)絡設備。
來源：全棧云技術架構
下載鏈接：IDC系列報告全集
轉載申明：轉載本號文章請注明作者和來源，本號發(fā)布文章若存在版權等問題，請留言聯(lián)系處理，謝謝。
推薦閱讀
更多架構相關技術知識總結請參考“架構師全店鋪技術資料打包”相關電子書(37本技術資料打包匯總詳情可通過“閱讀原文”獲取)。
全店內(nèi)容持續(xù)更新，現(xiàn)下單“全店鋪技術資料打包(全)”，后續(xù)可享全店內(nèi)容更新“免費”贈閱，價格僅收198元(原總價350元)。
溫馨提示：
掃描二維碼關注公眾號，點擊閱讀原文鏈接獲取“架構師技術全店資料打包匯總(全)”電子書資料詳情。
