大型數(shù)據(jù)中心浸沒式液冷與風(fēng)冷投資成本分析

液冷相較于傳統(tǒng)的風(fēng)冷有節(jié)省能源等幾個(gè)公認(rèn)的優(yōu)勢(shì)。然而，投資成本被視為阻礙其部署的常見障礙。本文中，我們首先論證了在一個(gè)總?cè)萘繛?/span>2兆瓦的數(shù)據(jù)中心，當(dāng)機(jī)架功率密度為10kW時(shí)，采用傳統(tǒng)風(fēng)冷與基于IT機(jī)箱的浸沒式液冷相比，初始投資大致相等。由于液冷技術(shù)的主要優(yōu)勢(shì)在于可以高密度緊湊部署，因此，我們又在容量相同的數(shù)據(jù)中心，量化比較了按每機(jī)架20kW和每機(jī)架40kW的方式部署液冷時(shí)的投資成本差異。結(jié)果顯示，采用液冷比傳統(tǒng)風(fēng)冷分別節(jié)省了10%和14%的投資成本。

IT設(shè)備采用液冷并不是一件新鮮事物。它在市場(chǎng)上已存在了幾十年。但是以往這種解決方案往往出現(xiàn)在較為小眾的應(yīng)用，比如高性能計(jì)算（HPC）和游戲。但是如今，一些重要趨勢(shì)和驅(qū)動(dòng)因素的出現(xiàn)，使液冷成為更多主流IT用戶越來(lái)越青睞的制冷解決方案。

與傳統(tǒng)的風(fēng)冷相比，液冷有一些明顯的優(yōu)勢(shì)。其中包括：

?降低對(duì)水的需求——在水資源緊張的地區(qū)，當(dāng)?shù)厥姓块T不斷給數(shù)據(jù)中心行業(yè)施加壓力。風(fēng)冷使用大量的水進(jìn)行蒸發(fā)冷卻，通常可以實(shí)現(xiàn)PUE小于1.2。
?節(jié)省空間——液冷可顯著減少IT系統(tǒng)的占用空間，從而使企業(yè)能在全球更多地點(diǎn)部署IT系統(tǒng)，包括亞洲等一些空間受限的地區(qū)。
?節(jié)能——綠色網(wǎng)格（TheGreenGrid）發(fā)布的一份有關(guān)能源影響的報(bào)告顯示，液冷能效的提升可實(shí)現(xiàn)48%的能源節(jié)省。

然而，人們對(duì)液冷的投資成本了解有限，并且經(jīng)常被視為阻礙其部署的常見障礙。在本文中，我們分析了一個(gè)總?cè)萘繛?兆瓦的數(shù)據(jù)中心采用傳統(tǒng)的風(fēng)冷技術(shù)（風(fēng)冷冷凍水機(jī)組）和液冷技術(shù)（基于IT機(jī)箱的浸沒式液冷技術(shù)）的成本差異。我們將介紹不同功率密度下的液冷技術(shù)方案，以顯示其對(duì)成本的影響。

圖1顯示了初投資分析的結(jié)果。分析表明，對(duì)于相同的功率密度（10kW/機(jī)架），風(fēng)冷和液冷數(shù)據(jù)中心的投資成本大致相等。但是如前文所述，液冷還可以實(shí)現(xiàn)IT系統(tǒng)的壓縮，從而可以節(jié)省初投資。與每機(jī)架10kW的傳統(tǒng)數(shù)據(jù)中心相比，提升2倍功率密度（每機(jī)架20kW）可使初投資可降低10%。如果提升4倍功率密度（每機(jī)架40kW），可節(jié)省高達(dá)14%的投資成本。

圖1 投資成本概覽

在下文中，我們將詳細(xì)介紹所比較的架構(gòu)，描述用于分析所使用的方法論、假設(shè)條件和數(shù)據(jù)，并采用瀑布圖的方式逐項(xiàng)比較，指出成本差異的來(lái)源。

該投資成本分析的基準(zhǔn)案例是一個(gè)使用風(fēng)冷冷水機(jī)組的數(shù)據(jù)中心。該架構(gòu)具有以下特點(diǎn)：

?冗余的風(fēng)冷冷凍水機(jī)組
?冗余水泵及管路
?用于IT機(jī)房和基礎(chǔ)設(shè)施空間的冗余的冷凍水精密空調(diào)（CRAH）
?通過(guò)風(fēng)管與精密空調(diào)相連接的熱通道氣流遏制系統(tǒng)
?無(wú)高架地板

之所以選擇此架構(gòu)作為比較的基準(zhǔn)，是因?yàn)樗且环N性價(jià)比較高的設(shè)計(jì)，并且在中型和大型數(shù)據(jù)中心應(yīng)用非常普遍。圖2是該架構(gòu)的總體示意圖。

圖2 風(fēng)冷架構(gòu)

在本分析中，我們選擇了基于IT機(jī)箱的浸沒式液冷，因?yàn)樗m合于常見的數(shù)據(jù)中心機(jī)架架構(gòu)，并且?guī)缀跛袩崃慷伎梢酝ㄟ^(guò)液體進(jìn)行轉(zhuǎn)移。圖3是這種液冷方法的總體示意圖。

圖3 基于IT機(jī)箱的浸沒式液冷

基于IT機(jī)箱的浸沒式液冷基于IT機(jī)箱的浸沒式液冷可極大地簡(jiǎn)化基礎(chǔ)設(shè)施的架構(gòu)，因?yàn)镮T設(shè)備可以使用溫水進(jìn)行冷卻。我們假設(shè)入口溫度為40°C（104°F），在許多氣候條件下，這種溫度可以采用100%的自然冷卻。圖4是分析所使用架構(gòu)的總體示意圖。

圖4 液冷架構(gòu)

在這種架構(gòu)中，盡管大部分熱量都是通過(guò)溫水循環(huán)管路排出，但配電室仍需要輔助制冷，同時(shí)還需轉(zhuǎn)移溫水未能完全處理的IT設(shè)備熱量。從而使環(huán)境中的空氣溫度保持在舒適的體感溫度，并確保不超出設(shè)備正常工作的環(huán)境溫度，比如電池和斷路器。

我們首先分析了一個(gè)單機(jī)架功率密度為10kW，總?cè)萘繛?兆瓦的數(shù)據(jù)中心，在采用風(fēng)冷架構(gòu)和液冷架構(gòu)時(shí)的成本差異。表1列出了用于架構(gòu)比較的主要假設(shè)。

表1 架構(gòu)假設(shè)

服務(wù)器風(fēng)扇能耗假設(shè)占服務(wù)器總能耗的9%，這是相對(duì)保守的數(shù)值。實(shí)際測(cè)量的風(fēng)扇能耗值為15-20%，尤其是在GPU等高密度計(jì)算設(shè)備上。在展示結(jié)果之前，我們需要說(shuō)明兩個(gè)重要的考慮因素，因?yàn)樗鼈儯?）會(huì)影響進(jìn)行系統(tǒng)的比較能力，以及（2）可以解釋新興液冷技術(shù)的成本假設(shè)。

每瓦數(shù)據(jù)中心成本的歸一化——數(shù)據(jù)中心建設(shè)成本通常以每瓦IT容量多少錢來(lái)表示。例如，如果一個(gè)數(shù)據(jù)中心最多可以承載2兆瓦的IT負(fù)載，并且建造成本為2,000萬(wàn)美元，那么其成本為10美元/瓦。成本可能會(huì)因冗余度或架構(gòu)的不同而有很大差異。

在比較風(fēng)冷架構(gòu)與液冷架構(gòu)時(shí)，我們?cè)谟?jì)算每瓦IT成本時(shí)會(huì)遇到一個(gè)難題。對(duì)于相同的計(jì)算能力，液冷具有較低的總IT負(fù)載。因?yàn)橄嗤腎T計(jì)算負(fù)載下，風(fēng)冷服務(wù)器的內(nèi)部IT風(fēng)扇消耗的電力多于基于IT機(jī)箱的浸沒式制冷模式下內(nèi)部微型泵的能耗。為補(bǔ)償這一點(diǎn)，我們將IT負(fù)載定義為“不含制冷的服務(wù)器容量”，并將其用作每瓦成本計(jì)算中的分母。這一點(diǎn)可參見我們的假設(shè)（表1）以及風(fēng)冷和基于IT機(jī)箱的浸沒式制冷中的IT總設(shè)計(jì)容量。

基于IT機(jī)箱的浸沒式液冷的成本假設(shè)——對(duì)于這種液冷架構(gòu)，為了部署液冷，在IT設(shè)備中增加了相關(guān)技術(shù)和成本支出。為了便于分析，我們匯總了服務(wù)器以及機(jī)架內(nèi)部產(chǎn)生的所有成本。這包括：絕緣液，微型泵，管道，熱交換器，液冷散熱器，防滴漏連接器，密封機(jī)箱和機(jī)架式分液器。請(qǐng)注意，對(duì)于機(jī)箱級(jí)浸沒式液冷而言，可以節(jié)省風(fēng)冷散熱器和風(fēng)扇的成本，因此本研究中的成本差異是假定的差值。基于機(jī)箱的浸沒式液冷技術(shù)尚未完全成熟，因此從一次性的計(jì)算驗(yàn)證成本到未來(lái)優(yōu)化供應(yīng)鏈后的成本，二者可能差異很大。我們對(duì)這些成本進(jìn)行了敏感性分析，估計(jì)最高為1.10美元/瓦左右，最低為0.50美元/瓦左右。在本研究中，我們針對(duì)10kW/機(jī)架選擇了0.77美元/瓦的成本，這是一個(gè)在任何大規(guī)模部署中均可實(shí)現(xiàn)的保守值。請(qǐng)注意，如果密度從每機(jī)架10kW的基準(zhǔn)升高，此值也將提高。我們的研究考慮了成本節(jié)省因素，例如在空間壓縮時(shí)每kWIT的機(jī)架分液器和機(jī)箱數(shù)量會(huì)減少。

研究結(jié)果

許多有關(guān)液冷的成本研究都考慮了總擁有成本和成本壓縮的一些因素。這樣我們就很難了解哪些地方出現(xiàn)了初始成本的節(jié)省或成本的變化。本項(xiàng)研究?jī)H針對(duì)初投資，首先研究了相同機(jī)架功率密度下的投資成本，然后比較了密度增加后的另外兩種投資成本情況。

圖5中的瀑布圖顯示了成本的主要類別及其變化。成本包括設(shè)備、安裝、設(shè)計(jì)和項(xiàng)目成本。在10kW每機(jī)架的機(jī)架密度上，研究顯示，100%機(jī)箱浸沒式液冷數(shù)據(jù)中心的成本與傳統(tǒng)風(fēng)冷數(shù)據(jù)中心的成本大致相同。

圖5 風(fēng)冷與液冷數(shù)據(jù)中心每瓦成本差異（均為每機(jī)架10kW）

冷凍水機(jī)組/冷凍水精密空調(diào)——節(jié)省0.91美元/瓦。這表示的是去掉風(fēng)冷冷凍水機(jī)組和冷凍水精密空調(diào)（CRAH）。

液冷技術(shù)——成本增加了0.77美元/瓦。此額外成本是在服務(wù)器和機(jī)架方面的成本增加。如前所述，這包括密封機(jī)箱、絕緣液、液冷散熱器、管道、微型泵、熱交換器、防滴漏連接器和機(jī)架式分液器。

干冷卻器和風(fēng)冷型精密空調(diào)——成本增加0.31美元/瓦。這種架構(gòu)可以在無(wú)壓縮機(jī)的情況下將熱量直接排至干冷器。增加成本的設(shè)備包括N+1冗余的干冷器，以及額外的風(fēng)冷直膨式機(jī)房精密空調(diào)（CRAC），用于去除溫水無(wú)法帶走的熱量。注意這里也可以使用其他架構(gòu)，比如可以降低冷凍水機(jī)組的容量并使用冷凍水精密空調(diào)，這對(duì)于大型基礎(chǔ)設(shè)施環(huán)境可以獲得更多的收益。

更換泵和管道——成本增加0.03美元/瓦。這一小幅成本增加是對(duì)于液冷服務(wù)器由于冷卻水（CW）管道更換為溫水管道。額外增加的管道是因?yàn)樾枰獙⒂糜诿颗艡C(jī)柜的管道下沉到每個(gè)機(jī)柜并增加閥門。這部分成本的增加與管道保溫成本的節(jié)省幾乎持平。液冷的優(yōu)點(diǎn)是許多管道不需要保溫。在40°C（104°F）的水溫下，幾乎不會(huì)產(chǎn)生冷凝結(jié)露。水泵系統(tǒng)為N+1冗余，水環(huán)路的設(shè)計(jì)用于部分機(jī)架的維護(hù)。熟悉液冷系統(tǒng)的讀者可能會(huì)注意到，我們沒有提到“CDU”。冷卻液分配單元（CDU）是一種將設(shè)施冷卻系統(tǒng)（FCS）與技術(shù)冷卻系統(tǒng)（TCS）分離的設(shè)備，后者是向機(jī)架供水。CDU具有多種功能，例如：

?確保送至機(jī)架的水具有正確的化學(xué)成分和清潔度標(biāo)準(zhǔn)。這對(duì)于許多冷板部署以及設(shè)施冷卻系統(tǒng)質(zhì)量較差的情況來(lái)說(shuō)非常重要。
?在混合設(shè)施中，通過(guò)連接到冷卻水回路時(shí)，為機(jī)架提供溫水回路。
?保持比設(shè)施冷卻系統(tǒng)更低的水壓，這在多級(jí)管道系統(tǒng)中尤其重要。

CDU類似于電氣設(shè)計(jì)中的變壓器，可將以上兩個(gè)系統(tǒng)分開以實(shí)現(xiàn)多種目的。我們的架構(gòu)中不包含冷卻液分配單元CDU，因?yàn)槠洳季质菃螌釉O(shè)計(jì)，水回路專用于液冷系統(tǒng)，而機(jī)箱浸沒式換熱器非常堅(jiān)固耐用，可以接受市政用水的水質(zhì)。根據(jù)經(jīng)驗(yàn)，冷卻液分配單元將增加每瓦0.10至0.20美元的投資成本。

減少UPS和開關(guān)設(shè)備的容量——節(jié)省0.14美元/瓦。無(wú)需安裝冷水機(jī)系統(tǒng)和精密空調(diào)可以減少為制冷而配備的開關(guān)柜容量。此外，由于IT風(fēng)扇被微型泵代替，IT負(fù)載用電量略有降低，因此所需的UPS和電池也相應(yīng)減少。

節(jié)省空間、機(jī)架和氣流遏制系統(tǒng)——節(jié)省0.10美元/瓦。盡管沒有壓縮IT白區(qū)空間，但通過(guò)減少冷卻系統(tǒng)的開關(guān)設(shè)備和UPS系統(tǒng)節(jié)省了設(shè)備安裝空間。節(jié)省的費(fèi)用還包括與空間相關(guān)的其他相關(guān)成本，如滅火器、照明等。此外，液冷不需要任何氣流遏制系統(tǒng)，因此可以不考慮其投資成本。

我們?cè)诟攀霾糠痔岬剑豪涞墓J(rèn)優(yōu)勢(shì)之一是能夠壓縮IT設(shè)備容量并節(jié)省空間。但是，除了節(jié)省空間外，這種壓縮還可以減少IT機(jī)架和機(jī)架PDU的數(shù)量。在本節(jié)中，我們計(jì)算了使用IT機(jī)箱浸沒式液冷時(shí)，提升2倍功率密度和提升4倍功率密度的數(shù)據(jù)中心的總投資成本，并將這些方案與我們之前所述的基準(zhǔn)功率密度10kW每機(jī)架的風(fēng)冷數(shù)據(jù)中心進(jìn)行了比較。以這種壓縮為前提，表2列出了關(guān)于機(jī)架功率密度和機(jī)架數(shù)量的新假設(shè)。所有其他的假設(shè)與表1中的原始液冷方案相同。

表2 假設(shè)變量隨壓縮方案而變化

提升2倍功率密度后的研究結(jié)論
我們首先從提升2倍功率密度開始分析，這意味著液冷的每機(jī)架功率密度為20kW，而風(fēng)冷架構(gòu)的密度為每機(jī)架10kW。圖6顯示實(shí)現(xiàn)10%的投資成本節(jié)省。

圖6 風(fēng)冷數(shù)據(jù)中心與液冷數(shù)據(jù)中心的每瓦成本差異，液冷提升2倍功率密度后（每機(jī)架20kW）

冷水機(jī)/冷凍水精密空調(diào)——$節(jié)省0.91美元/瓦。節(jié)省的費(fèi)用與每機(jī)架10kW的情況相同，并且去除了冷凍水機(jī)組和冷凍水精密空調(diào)單元。

液冷技術(shù)——成本增加0.71美元/瓦。與每機(jī)架10kW方案相比，成本增加的幅度較小。當(dāng)提高機(jī)架密度時(shí)，由于需要的機(jī)架分液器減少，因此成本得到改善。

干冷器和風(fēng)冷精密空調(diào)——成本增加0.31美元/瓦。這與每機(jī)架10kW時(shí)的情況相同，因?yàn)榭侷T負(fù)載和相關(guān)損耗相同。

更換泵和管道——節(jié)省0.03美元/瓦。盡管與風(fēng)冷系統(tǒng)相比，每排機(jī)架都需要管道，但隨著IT空間的縮小和機(jī)架功率密度kW值的提升，與每機(jī)架10kW方案相比，所需的管道和閥門減少。請(qǐng)注意，通常管道直徑會(huì)隨著密度的增加而增加，但管道之間的價(jià)格差并不像機(jī)架數(shù)量減少那樣明顯。

減少UPS和開關(guān)設(shè)備的容量——節(jié)省0.14美元/瓦。這與10kW方案相同，因?yàn)闄C(jī)架密度不會(huì)影響UPS和開關(guān)柜的容量。

節(jié)省空間、機(jī)架和氣流遏制系統(tǒng)——節(jié)省0.63美元/瓦。節(jié)省的大量成本包括建筑圍護(hù)結(jié)構(gòu)的節(jié)省、機(jī)架和機(jī)架PDU數(shù)量的減少以及機(jī)架上用于支持布線的結(jié)構(gòu)的減少。由于減少了IT空間，也節(jié)省了消防和照明相關(guān)成本。

提升4倍功率密度的研究結(jié)論

接下來(lái)我們比較一下提升4倍功率密度后的液冷架構(gòu)的成本，即每機(jī)架40kW，而風(fēng)冷為每機(jī)架10kW。隨著功率密度的增加，投資成本的節(jié)省幅度也隨之增加。圖7顯示實(shí)現(xiàn)14%的投資支出節(jié)省。

圖7 風(fēng)冷數(shù)據(jù)中心與液冷數(shù)據(jù)中心的每瓦成本差異，液冷提升4倍功率密度后（每機(jī)架40kW）

通過(guò)進(jìn)一步壓縮實(shí)現(xiàn)的大部分節(jié)省來(lái)自兩個(gè)領(lǐng)域。機(jī)架級(jí)液冷設(shè)備的成本更低，而IT空間縮小也降低了相關(guān)成本。

冷水機(jī)/冷凍水精密空調(diào)——$節(jié)省0.91美元/瓦。節(jié)省的額度與每機(jī)架10kW和每機(jī)架20kW的方案相同，并且去除了冷凍水機(jī)組和冷凍水精密空調(diào)裝置。

液冷技術(shù)——成本增加0.68美元/瓦。與每機(jī)架20kW方案相比，成本增加的幅度較小。當(dāng)增加機(jī)架功率密度時(shí)，此成本有所改善。需要的機(jī)架分液器減少，從而降低了這個(gè)類別的每瓦總成本。

干冷器和風(fēng)冷精密空調(diào)——成本增加0.31美元/瓦。這與每機(jī)架10kW和每機(jī)架20kW的情況相同，因?yàn)榭侷T負(fù)載和相關(guān)的損耗完全相同。

更換泵和管道——節(jié)省$0.04/瓦。與每機(jī)架20kW方案相比，節(jié)省幅度略有上升，因?yàn)镮T空間的減少，因此需要供水的機(jī)架減少。

減少UPS和開關(guān)設(shè)備的容量——節(jié)省0.14美元/瓦。這與每機(jī)架10kW和每機(jī)架20kW案例相同。

節(jié)省空間、機(jī)架和氣流遏制系統(tǒng)——節(jié)省0.90美元/瓦。與20kW/機(jī)架的設(shè)計(jì)相比，額外節(jié)省0.27美元/瓦。節(jié)省的大量成本包括建筑圍護(hù)結(jié)構(gòu)的節(jié)省、機(jī)架和機(jī)架PDU的減少以及機(jī)架上用于支持布線的結(jié)構(gòu)的減少。由于IT空間的縮小，也節(jié)省了消防和照明相關(guān)的成本。

液冷已經(jīng)存在了很多年，但最近卻被越來(lái)越多的主流數(shù)據(jù)中心應(yīng)用所采用。盡管這種模式在節(jié)能方面優(yōu)勢(shì)明顯，但有些人仍擔(dān)心其投資成本。本文分析了在采用相同的機(jī)架密度時(shí)，部署基于IT機(jī)箱的浸沒式液冷的投資成本與風(fēng)冷系統(tǒng)大致相同，并且在將IT設(shè)備（以及機(jī)架）提升四倍功率密度時(shí)可以節(jié)省多達(dá)14%的成本。盡管基于IT機(jī)箱的浸沒式液冷還不是一項(xiàng)成熟的技術(shù)，但這些成本優(yōu)勢(shì)預(yù)示著近期會(huì)出現(xiàn)大規(guī)模部署的趨勢(shì)。隨著液冷技術(shù)和制造效率的改進(jìn)，可以預(yù)見，這種模式還會(huì)進(jìn)一步節(jié)省成本。

節(jié)選自施耐德技術(shù)白皮書。