你買的云服務(wù)器,可能正泡在水里。

背景
大家好,我是石頭哥。
本科的時(shí)候,有去參觀過某個(gè)公司的機(jī)房,就是一堆機(jī)柜服務(wù)器那種,對(duì)機(jī)房的主觀視覺概念也就停留在那個(gè)時(shí)刻。

雖說(shuō)自己作為云計(jì)算行業(yè)從業(yè)者幾年了,對(duì)數(shù)據(jù)中心的概念了解得更多了,知道其中不僅僅是服務(wù)器擺在機(jī)柜那么簡(jiǎn)單,但始終沒有親眼看到過,比如數(shù)據(jù)中心到底是怎樣的?服務(wù)器、機(jī)柜、交換機(jī)、電源等等都長(zhǎng)啥樣?

前幾天,有了個(gè)機(jī)會(huì),跟公司申請(qǐng)去參觀了阿里云的數(shù)據(jù)中心,感受了下其中的黑科技(比如把服務(wù)器泡在“水”里?),今天就給大家分享一下。
準(zhǔn)備工作
提前報(bào)備,嚴(yán)格的預(yù)約機(jī)制,保密流程等,需要另外簽署 NDA(Non Disclosure Agreement,保密協(xié)議)等。當(dāng)然本文分享內(nèi)容不含敏感信息哈,都是從公網(wǎng)(更多的是官方授權(quán)的官網(wǎng))可得到的信息。
本文內(nèi)容每個(gè)敏感點(diǎn),石頭哥都刻意去“官媒”求證了,不含敏感信息。所以,這篇分享不容易啊。大家看到了,還望多多幫忙點(diǎn)贊分享支持。
可以看出,即便是內(nèi)部員工,要求也挺嚴(yán)格的。進(jìn)入機(jī)房,甚至從機(jī)房出來(lái),都需要過安檢(雖比不上乘飛機(jī)時(shí)的安檢程度,但比地鐵安檢口嚴(yán)格得多),穿戴鞋套(回到了小學(xué)時(shí)候上電腦課)。

包當(dāng)然不讓帶,手機(jī)可以帶(人性化),不過進(jìn)入機(jī)房前都給戴了套,加了鎖,拍照是啥也看不到的。
供電
數(shù)據(jù)中心是能耗的大頭。一般一臺(tái)服務(wù)器得幾百瓦吧?幾萬(wàn)上十萬(wàn)服務(wù)器跑著,這功率可想而知。除此之外,還有空調(diào)等其他系統(tǒng)。
前兩天某券商就發(fā)生了故障。事故原因是由于運(yùn)營(yíng)商機(jī)房電力閃斷導(dǎo)致的多機(jī)房網(wǎng)絡(luò)故障。其 CEO 反饋:
供電網(wǎng)絡(luò)一個(gè)幾秒鐘的電壓抖動(dòng),IDC一堆網(wǎng)絡(luò)IT設(shè)備跟著關(guān)機(jī)或重啟,實(shí)在是難以想象,說(shuō)好的不間斷電源和柴油發(fā)電機(jī)去哪了?不間斷電源和柴油發(fā)電機(jī)竟然都沒能發(fā)揮應(yīng)有的作用,要知道電力保障是一個(gè)IDC之所以是IDC的最基礎(chǔ)能力。
這里先提一下 PUE 這個(gè)概念(后面也會(huì)用得著):
PUE: Power Usage Effectiveness,又叫電源使用效率。計(jì)算方式為
數(shù)據(jù)中心總能耗/IT設(shè)備能耗,評(píng)價(jià)數(shù)據(jù)中心能源效率的指標(biāo)。
IT設(shè)備能耗就是指真正產(chǎn)生“實(shí)際價(jià)值”的服務(wù)器、網(wǎng)絡(luò)等IT設(shè)備使用的能源,除此之外,當(dāng)然還有空調(diào)等制冷設(shè)備產(chǎn)生的能耗。據(jù)百度百科說(shuō)數(shù)據(jù)中心的冷卻占機(jī)房總功耗的40%左右。
當(dāng)然,PUE 值越接近1表明能效水平越好。
供電局?jǐn)嚯娏苏k?
但當(dāng)機(jī)房市電供電斷掉的時(shí)候呢?比如電路被某個(gè)施工搞斷了。
最近非常嚴(yán)格的各種“限電”政策(別問我怎么知道的,特別慘)。
所以,機(jī)房一般會(huì)雙路供電。即:有2路來(lái)自不同的供電系統(tǒng)的市電接入,這兩路市電不是同一個(gè)發(fā)電源,不交叉的供電系統(tǒng),任何一路市電出問題都不會(huì)影響到另一路。
此外,服務(wù)器上的電源也得是成對(duì)的。供電局不斷電,保不齊,電源會(huì)壞啊。所以一個(gè)電源壞了,另外一個(gè)馬上續(xù)上。
為了高可用,基本都靠冗余,本文后面還有各種設(shè)備的冗余。
UPS
UPS(Uninterruptible Power Supply,不間斷電源)你肯定聽說(shuō)過。當(dāng)市電突然斷電時(shí),UPS 會(huì)把命給續(xù)上。
但想想,一個(gè)機(jī)房能提供的功率多大,UPS 是不是也得盡量提供充足的電力?想想都貴。

搞云計(jì)算很難掙錢,是不是大概明白了?
但是,UPS 畢竟是蓄電池,肯定支撐不了多久的。斷電了,還得想辦法補(bǔ)充電力才行。
市電,你一個(gè)私企沒法控制的吧,因此得自己有發(fā)電機(jī)。
柴油發(fā)電機(jī)
這個(gè)時(shí)候,柴油發(fā)電機(jī),就派上用場(chǎng)了。

就是類似上面這種玩意,當(dāng)然這玩意,要你家停電了,提供下照明還是沒啥問題的。
要給IDC供電,得是這樣的(看到的是升級(jí)過后的,這個(gè)是網(wǎng)上找的老版):

這玩意,一般用不上,一年可能也用不上幾回,但沒有它,又不行。
等到真正要用的時(shí)候,不能壞了,不能用吧?所以也會(huì)要有日常演練。
演練雖然燒油有成本,但也是必須的。
柴油跑著跑著沒油了呢?“儲(chǔ)油罐”不夠怎么辦,因此輸送油的管道鏈路也得有。
這玩意,比想象中的復(fù)雜太多啊。但缺了電,啥也干不了。
所以,業(yè)務(wù)上層考慮高可用是必須的,不要把業(yè)務(wù)僅僅部署在一個(gè)機(jī)房。所謂的“兩地三中心”等等概念不是平白無(wú)故來(lái)的。
制冷

不知道你們的電腦在開發(fā)的時(shí)候,能同時(shí)開幾個(gè) IDE,開多個(gè)的時(shí)候,風(fēng)扇是不是呼呼轉(zhuǎn),電腦是不是非常發(fā)燙?
對(duì),散熱非常重要。
傳統(tǒng)的散熱方式,就是靠空調(diào)。
空調(diào)的散熱方式,一般兩種,即“風(fēng)冷”和“水冷”。
風(fēng)冷,用風(fēng)作為散熱介質(zhì),就是空氣,你家空調(diào)基本就是這種。 水冷,就是用的水作為散熱介質(zhì),效率會(huì)高一些。上面圖就是水冷機(jī)組了。冷水進(jìn),熱水出。
估計(jì)你之前也看過微軟在海底建“數(shù)據(jù)中心”的這個(gè)新聞。

阿里也有類似的。
阿里巴巴千島湖數(shù)據(jù)中心是國(guó)內(nèi)首個(gè)采用自然水制冷技術(shù)的數(shù)據(jù)中心,空調(diào)系統(tǒng)采用兩路進(jìn)水,湖水和冷凍水,可以實(shí)現(xiàn)同時(shí)或單獨(dú)運(yùn)行。湖水經(jīng)過物理凈化后,通過密閉管道流經(jīng)每層為服務(wù)器降溫,之后直接供市政景觀用水,實(shí)現(xiàn)了資源最佳利用。
一樣,空調(diào)也得是“雙路”的,主備空調(diào)能切換。
各種備用空調(diào)壞的時(shí)候,物理降溫,應(yīng)急冰塊、干冰等等也得準(zhǔn)備起來(lái)。

黑科技 —— 液冷

此外,還有黑科技(之前在朋友圈也分享過,歡迎大家加 ?【codershitou】圍觀朋友圈)。
基于單相浸沒液冷技術(shù),利用絕緣冷卻液實(shí)現(xiàn)高效散熱,無(wú)需風(fēng)扇、空調(diào)、冷機(jī)等冷卻設(shè)施,數(shù)據(jù)中心PUE(Power Usage Effectiveness-能源使用效率,以下同)可低至1.09。


浸沒液冷服務(wù)器采用了3M氟化液液體,全環(huán)境無(wú)風(fēng)扇無(wú)振動(dòng)設(shè)計(jì),達(dá)到卓越散熱冷卻效果。
據(jù)講解的小姐姐說(shuō),使用這種技術(shù)的服務(wù)器故障率下降了7倍。
不過那玩意應(yīng)該很貴吧?
后記
參觀完,有一個(gè)明顯的體驗(yàn)就是:雖說(shuō)大家從官網(wǎng)通過一鍵就能輕輕松松購(gòu)買“服務(wù)器” ECS,但這背后其實(shí)有這么龐大的工程系統(tǒng)在做支持。
所以,也能理解,云計(jì)算為啥很難盈利了(你對(duì)比下廣告)。更能感受到,當(dāng)初在阿里做云計(jì)算有多么不容易(云計(jì)算早期中途團(tuán)隊(duì)走了不少,差點(diǎn)干不下去)。
搞云計(jì)算的真的是掙點(diǎn)辛苦錢呀!
回過頭來(lái)看看2010年,BAT 大佬們對(duì)云計(jì)算的看法:
<<< 左右滑動(dòng)見更多 >>>
往期精彩文章:
誰(shuí)會(huì)拒絕一臺(tái)Win11和MacOS無(wú)縫切換的MacBook呢?Parallels17極速體驗(yàn)
我是目前在阿里搬磚的工程師蠻三刀醬。
持續(xù)的更新優(yōu)質(zhì)文章,離不開你的點(diǎn)贊,轉(zhuǎn)發(fā)和分享!



