最近看到一個有意思的提問:抖音服務(wù)器帶寬有多大,為什么能夠供那么多人同時刷?
圖片來自 Pexels 抖音,百度,阿里云,騰訊都是自建的數(shù)據(jù)中心,都是 T 級別出口帶寬(總出口帶寬),也就是達(dá)到 1T=1024G/s 的出口帶寬,服務(wù)器總署基本都在 20 萬臺以上,甚至阿里云都超過了 100 萬臺。字節(jié)跳動的數(shù)據(jù)中心總帶寬,可能在 10TB 級別左右,預(yù)期突破 15TB 級別不遠(yuǎn)了。一般情況下:總出口帶寬 1TB,實際機房出口帶寬可能只有 100G 上下,這是采用雙(多)鏈路設(shè)計,雙出口實現(xiàn)動態(tài)流量分擔(dān),總的出口帶寬可以達(dá)到 T 級別。
大型數(shù)據(jù)中心想要同一時間有數(shù)億人在線,TB 級別帶寬,CDN 加速和多節(jié)點,負(fù)載均衡等等技術(shù)缺一不可。(這個設(shè)計技術(shù)過于復(fù)雜,有相關(guān)專業(yè)朋友,可以評論簡要概述)CDN 加速 字節(jié)跳動有多少臺服務(wù)器?
根據(jù)網(wǎng)絡(luò)數(shù)據(jù)整理,2017 年 2-3 萬臺服務(wù)器,這個時候主要是租用服務(wù)器為主。2018 年,字節(jié)跳動自己建設(shè)了數(shù)據(jù)中心,最大的數(shù)據(jù)中心在河北懷來官廳湖新媒體產(chǎn)業(yè)園,一期 5 萬臺服務(wù)器,二期 9 萬臺服務(wù)器。2018 年,租用 + 自建的服務(wù)器數(shù)量達(dá)到 17 萬臺服務(wù)器。2020 年,根據(jù)字節(jié)跳動招聘公告的數(shù)據(jù),顯示有 42 萬臺服務(wù)器。比 2018 年增長了 1.5 倍。(數(shù)據(jù)來自網(wǎng)絡(luò))
一個機柜中 10-20 臺服務(wù)器這部分服務(wù)器都是給中國區(qū)域使用,主要應(yīng)用國內(nèi)的抖音,西瓜視頻,今日頭條,飛書等產(chǎn)品。在美國的 TIKTOK 是獨立出來的運營,數(shù)據(jù)在美國當(dāng)?shù)卮鎯头职l(fā)。2020 年 Tiktok 在美國也租用了近 10 萬臺服務(wù)器據(jù) Business Insider 公布數(shù)據(jù),2020 年上半年,字節(jié)跳動在美國弗吉尼亞州北部租用了能耗達(dá) 53 兆瓦的數(shù)據(jù)中心。可以容納數(shù)十萬臺服務(wù)器,占地面積可達(dá)數(shù)十萬平方英尺。Tiktok 在印度,新加坡都在投資建設(shè)數(shù)據(jù)中心。字節(jié)跳動大型的數(shù)據(jù)中心出口帶寬是多少?
聊完了服務(wù)器數(shù)量,那么咱們來點硬核的東西:字節(jié)跳動大型的數(shù)據(jù)中心出口帶寬是多少?知識點:所謂的出口帶寬,其實就是咱們普通人所說的下載帶寬。就是服務(wù)器給每一個手機分發(fā)數(shù)據(jù)總速度。一般情況下,小型的 IDC 公司自建機房,比如一些網(wǎng)站公司,租用聯(lián)通,移動,電信的機房,可能總體出口帶寬只有 5G。超過 30G 那都是具備一定規(guī)模的企業(yè)。網(wǎng)絡(luò)公司營收少說也是幾千萬的企業(yè)。所以,經(jīng)常能夠看到,一些規(guī)模還不錯的企業(yè),基本上都不再自建機房,都是使用云主機。例如阿里云的 ECS,騰訊云,百度云,AWS(亞馬遜)。一般一個企業(yè)網(wǎng)站(企業(yè)官網(wǎng)),20M 帶寬,4G 內(nèi)存,100G 硬盤,一年價格也就 4000-5000 塊錢就足夠了,趕上做活動價格可能更便宜。這里面就是帶寬最貴,當(dāng)然增加帶寬,達(dá)到一定等級,例如訪問量增大,必須要增加內(nèi)存和硬盤。相比來說,帶寬增加的話,費用更貴一些。這里就跟你說明一下:帶寬比較昂貴,屬于稀缺資源。我們來看中國移動的一個機房,中國移動(河北石家莊)數(shù)據(jù)中心的數(shù)據(jù):占地面積 174 畝,總建筑面積 13 萬平方米,規(guī)劃 10 棟單體建筑,全部建成后可提供約 3 萬個機架的裝機能力。3 個 IDC 機房共可提供 3.1 萬架機柜,15T 帶寬資源。一個機柜,全 1U 設(shè)備部署數(shù)量一般不超過 16 臺,全 2U 設(shè)備一般不超過 12 臺,全 4U 設(shè)備一般 4 到 7 臺。我們?nèi)「咝阅艿?2U 和 4U 服務(wù)器進(jìn)行平均折中,各算一半(畢竟移動也算是有錢的大戶,不能買低端的 1U 設(shè)備)。那么 3.1 萬架機柜就可以安裝,最多 21-36 萬臺服務(wù)器。這里粗略取一個平均值:30 萬臺服務(wù)器。享受 15T 的出口帶寬資源。當(dāng)然作為電信的干路網(wǎng),移動拿帶寬資源肯定是要比字節(jié)跳動更有優(yōu)勢的。所以,我們粗略地估計字節(jié)跳動自建的 17 萬臺服務(wù)器的數(shù)據(jù)中心。總出口帶寬可能在 7Tb-10TB 上下。基本上肯定會采用雙出口流量設(shè)計,再加上多鏈路的部署方式:可以做到實際出口帶寬在 800G-1TG 就可以實現(xiàn) 10T 左右的總出口帶寬。【這是技術(shù)方式】
字節(jié)跳動 2018 年河北懷化數(shù)據(jù)中心 T 級別出口帶寬是什么概念,如果我告訴你 2009 年,整個上海的出口帶寬才 1140G,也就是剛剛達(dá)到 1TB。在短短的 10 年后,一個企業(yè)的數(shù)據(jù)中心的出口帶寬就超過 1TB,這個速度真的不可想象。要知道 2009 年,雖然智能手機不發(fā)達(dá),但是個人 PC 銷量已經(jīng)非常龐大了。知識點:CDN(Content Delivery Network,內(nèi)容分發(fā)網(wǎng)絡(luò))。將服務(wù)端的內(nèi)容發(fā)布到最接近用戶的邊緣節(jié)點,使用戶可以就近取得所需的內(nèi)容。解決 Internet 網(wǎng)絡(luò)擁塞狀況,提高用戶訪問網(wǎng)站的響應(yīng)速度。多種加速的方案集合。用通俗的話解釋 CDN 就是: 會把一些頁面,專門壓縮,有的壓縮為靜態(tài)頁面,靜態(tài)頁面直接分發(fā)速度快。用戶可以在 2s 內(nèi)看到內(nèi)容,體驗感更好。【這是靜態(tài)傳輸】對于動態(tài)視頻,首先通過智能路由,尋找最佳路徑,然后協(xié)議優(yōu)化將長連接,內(nèi)容進(jìn)行壓縮,去除冗余。【這就是動態(tài)壓縮】給你們看一下 2015 年騰訊 5 億日活,集合了音樂,即時通訊等等產(chǎn)品的 CDN 的級別,達(dá)到了 10TB 帶寬。每天請求萬億次。
2015 年騰訊 CDN 的級別因此,我這里說字節(jié)跳動整體服務(wù)器有 10TB 應(yīng)該只少不多。就是這么大的帶寬和技術(shù)實力,才能讓我們看視頻這么順暢。本文來源:機器人觀察,帶你詳細(xì)了解互聯(lián)網(wǎng)世界
喜歡文章,點個在看 