干貨:該從哪些關(guān)鍵指標衡量HPC存儲系統(tǒng)?


對高性能計算存儲系統(tǒng)的購買者來說,總擁有成本(TCO)通常被認為是一個重要的考慮因素。由于HPC用戶對TCO的定義不同,因此很難根據(jù)預定義的一組屬性進行比較。


被調(diào)查的網(wǎng)站中,近50%的站點存儲系統(tǒng)每月會出現(xiàn)一次故障,甚至更頻繁。 停機時間從不到一天到一周以上,一天的停機成本從10萬美元到100多萬美元不等。





存儲專家招聘/培訓:Lustre、GPFS和BeeGFS文件系統(tǒng)需要專門的存儲專業(yè)知識,而這些專業(yè)知識很難學習和積累。Panasas PanFS并行文件系統(tǒng)不需要任何深厚的技術(shù)技能即可進行日常管理。 存儲系統(tǒng)安裝時間和成本:根據(jù)調(diào)查,有56%的存儲系統(tǒng)需要數(shù)周的時間安裝,Panasas系統(tǒng)通常一天即可完成安裝。 調(diào)優(yōu)和優(yōu)化時間和成本:Panasas PanFS幾乎不需要人工和技術(shù)密集的調(diào)優(yōu)即可保持最佳性能,因此保證存儲系統(tǒng)的每個部分(CPU,NIC,DRAM和存儲介質(zhì))處于均衡和優(yōu)化狀態(tài),各種工作負載的性能可預測,無需手動調(diào)整或重新配置。 系統(tǒng)管理時間和成本:無論規(guī)模大小,60%的站點需要一位以上的專業(yè)人員來管理其存儲系統(tǒng),Panasas存儲通常只需要一名兼職管理員來管理。 系統(tǒng)停機時間:42%的受訪者表示每周或每月都有停機發(fā)生。Panasas現(xiàn)網(wǎng)部署案例已證明長達8年無計劃外停機事件發(fā)生。
Panasas認為Panasas可以在性價比方面滿足最苛刻的HPC存儲要求。PanFS的系統(tǒng)的性能大約是Lustre,GPFS和BeeGFS類似配置系統(tǒng)的兩倍。因此,HPC組織無需在性能和價格之間進行權(quán)衡。


1)、IBM Spectrum Scale(GPFS)性能對比



小文件存儲在低延遲閃存SSD上 大文件存儲在低成本,大容量,高帶寬的HDD上 元數(shù)據(jù)存儲在低延遲NVMe SSD上 數(shù)據(jù)和元數(shù)據(jù)操作以NVDIMM內(nèi)部日志方式執(zhí)行 未修改的數(shù)據(jù)和元數(shù)據(jù)存儲在DRAM中











以下內(nèi)容將對Hyperion Research原報告數(shù)據(jù)解讀,對HPC存儲、傳統(tǒng)存儲存在問題進行剖析,以及分析下構(gòu)建AI和HPC存儲系統(tǒng)6大要素。
1、沒有性能限制(擴展性):HPC存儲解決方案在擴展時應該沒有性能限制,無論是Scale Out還是Scale Up架構(gòu)。因此性能按需擴展可以快速解決不斷變化的存儲需求,通過靈活擴展系統(tǒng),快速發(fā)揮每個節(jié)點全部性能價值。 2、始終如一的高性能(性能一致):無論數(shù)據(jù),應用程序,用戶和工作負載的復雜性如何,都提供始終如一的快速存儲。 3、智能數(shù)據(jù)放置(數(shù)據(jù)多層布局):多層智能數(shù)據(jù)布局架構(gòu),為不同數(shù)據(jù)類型匹配正確的存儲類型,元數(shù)據(jù)和數(shù)據(jù)的獨立存放,數(shù)據(jù)路徑并行,無瓶頸。充分發(fā)揮不同存儲介質(zhì)性能特征,以最低的成本提供最高的性能。 4、易于部署,管理和擴展(TCO):存儲易于操作,即插即用,不需要深入的技術(shù)技能來管理。系統(tǒng)管理員應該能夠在幾秒鐘內(nèi)完成容量和性能配置和擴展,一個IT管理員可以處理任何規(guī)模的存儲系統(tǒng)。 5、可靠(系統(tǒng)Down機率):HPC存儲的可靠性隨規(guī)模而加劇,存儲應該自動從故障中恢復,并且沒有單點故障。智能軟件(AI或機器學習)可以自動協(xié)調(diào)恢復和修復過程。 6、系統(tǒng)自動調(diào)優(yōu)(系統(tǒng)自調(diào)優(yōu)):系統(tǒng)調(diào)優(yōu)需深厚存儲系統(tǒng)知識,熟悉存儲系統(tǒng)工作方式。人工調(diào)優(yōu)耗時、復雜且容易出錯,存儲系統(tǒng)需要具備自我調(diào)優(yōu)能力,系統(tǒng)一旦經(jīng)過調(diào)優(yōu),就可以優(yōu)化絕大多數(shù)HPC應用的性能,而不需要隨著工作負載的變化而重新進行調(diào)整。

















轉(zhuǎn)載申明:轉(zhuǎn)載本號文章請注明作者和來源,本號發(fā)布文章若存在版權(quán)等問題,請留言聯(lián)系處理,謝謝。
推薦閱讀
更多架構(gòu)相關(guān)技術(shù)知識總結(jié)請參考“架構(gòu)師技術(shù)全聯(lián)盟書店”相關(guān)電子書(35本技術(shù)資料打包匯總詳情可通過“閱讀原文”獲取)。
全店內(nèi)容持續(xù)更新,現(xiàn)下單“架構(gòu)師技術(shù)全店打包匯總(全)”,后續(xù)可享全店內(nèi)容更新“免費”贈閱,價格僅收188元(原總價290元)。
溫馨提示:
掃描二維碼關(guān)注公眾號,點擊閱讀原文鏈接獲取“架構(gòu)師技術(shù)全店資料打包匯總(全)”電子書資料詳情。

評論
圖片
表情
