因買不到RTX 3090,小哥自己搭建了一個專業(yè)級機器學習工作站

極市導讀
一名機器學習研究員自己搭建了一個機器學習工作站,它擁有4個NVIDIA RTX A6000和一個32核的AMD EPYC 2、192 GB的GPU顯存和256GB的RAM。 >>加入極市CV技術(shù)交流群,走在計算機視覺的最前沿


GPU
消費級:RTX 3080 / RTX 3090 專業(yè)級(prosumer,或稱生產(chǎn)性消費級):A6000 企業(yè)級:A100
消費級:兩個RTX 3080s / RTX 3090s 專業(yè)級:四個A6000 企業(yè)級:8個A100或A6000(PCIe),或16個A100(SXM4),或20個A100(基于PCIe的模塊化刀片節(jié)點)
非企業(yè)級GPU的限制
PCIe轉(zhuǎn)接卡的主板限制:14個GPU(每個GPU x8 Gen 4.0) 每個插槽的用電量限制:8個GPU(美國為4個) 消費級電源限制:5個GPU(2000W) 標準PC機箱尺寸:4個雙插槽GPU
堆疊的顯卡彼此相鄰:4個A6000 / 3070或2個3080/3090 熱量限制:2個GPU(最好是水冷式) 消費者供應(yīng)量:1個GPU(大多數(shù)商店只允許購買一個消費級GPU,并且通常僅在發(fā)布后3到12個月內(nèi)可購買)

為什么存在8-GPU消費級工作站?
2
專業(yè)級顯卡和企業(yè)級顯卡的功能
快1.1-2倍(取決于GPU、二進制浮點格式和模型) 1.7-3.3倍的內(nèi)存 能耗更低(更適合堆疊卡) 數(shù)據(jù)中心部署(非營利組織可以獲取消費卡許可)
ECC內(nèi)存(防錯內(nèi)存) 每個GPU和MIG(僅限企業(yè)級)可有多個用戶 NVSwitch(A100 SXM4),更快的GPU到GPU的通信
3
服務(wù)器限制
帶有消費級部件的服務(wù)器:4個PCIe GPU PCIe服務(wù)器的限制:10個雙插槽GPU(標準服務(wù)器的寬度) 重量:10個PCIe GPU或4個SMX4 GPU(30千克)
PCIe服務(wù)器機箱的聯(lián)網(wǎng)限制:8個雙插槽GPU(2個雙插槽用于聯(lián)網(wǎng)) SXM4服務(wù)器的機箱數(shù)量限制:16個GPU(168千克) PCIe刀片服務(wù)器限制:20個雙插槽GPU
4
速度基準
https://lambdalabs.com/blog/tag/benchmarks/ https://lambdalabs.com/gpu-benchmarks



GPU定價
A100 SMX4(80 GB):€18k A100 SMX4(40 GB):€13k A100 PCIe(40 GB):€9k
RTX A6000 / A40(48GB):€4500 RTX 3090(24 GB):€1500-2000 RTX 3080(10 GB):€800-1300 RTX 3070(12 GB):€700-1000
機器學習工作站預(yù)算
€240-340k:8 x A100 SXM4(80 GB) €120-170k:8 x A100 SXM4(40 GB)
€90k:8 x A100 PCIe(40 GB) €50k:4 x A100 PCIe或8 x RTX A40(無風扇RTX A6000) €25k:4 x RTX A6000(我的裝備) €25k:4 x RTX 3090(液冷) €15k:4 x RTX 3090(加密風格或上限性能)
€10k:4 x RTX 3070 €7k:2 x RTX 3090 €5k:1 x RTX 3090或2 x RTX 3080 €4k:1 x RTX 3080 €3k:1 x RTX 3070
CPU
消費級:帶有AM4插槽的Ryzen 5000 專業(yè)級:Ryzen Threadripper第三代,帶有sTRX4,以及用于第一代Pro版本的sWRX8插槽 企業(yè)級:帶有SP3插槽的EPYC 2
CPU散熱
銳龍5000:Noctua NH-D15或Corsair H100i RGB PLATINUM Threadripper:Noctua NH-U14S TR4-SP3或Corsair Hydro系列H100x EPYC:Dynatron A26 2U(用于服務(wù)器)
主板
銳龍5000:MSI PRO B550-A PRO AM4(ATX) Threadripper 3rd Gen:華擎TRX40 CREATOR(ATX) Threadripper Pro:ASUS Pro WS WRX80E-SAGE SE(ETAX) EPYC 2:AsRock ROMED8-2T(ATX)(我的主板)
主板尺寸

PCI Express(PCIe)

PCIe物理長度:圖中每個插槽的長度為x16,GPU的標準長度為89mm。 PCIe帶寬:有時,你有一個16插槽的長度,但只有一半的插槽有連接到主板的管腳,使其成為x8帶寬的x16插槽。作為參考,加密鉆機將使用x16適配器,但x1帶寬。 生成速度:上面的板是4.0代。每一代的速度往往是上一代的兩倍。NVIDIA的最新gpu是gen4.0,但在實際應(yīng)用中在gen3.0板上的性能相當。 多GPU要求:對于4-10 GPU系統(tǒng),通常建議每個GPU至少x8 Gen 3.0。
PCIe通道
機箱


10
PSU、RAM和存儲
搭建和安裝
)結(jié)論
推薦閱讀
2021-01-25
2021-01-21
2020-08-21

# CV技術(shù)社群邀請函 #
備注:姓名-學校/公司-研究方向-城市(如:小極-北大-目標檢測-深圳)
即可申請加入極市目標檢測/圖像分割/工業(yè)檢測/人臉/醫(yī)學影像/3D/SLAM/自動駕駛/超分辨率/姿態(tài)估計/ReID/GAN/圖像增強/OCR/視頻理解等技術(shù)交流群
每月大咖直播分享、真實項目需求對接、求職內(nèi)推、算法競賽、干貨資訊匯總、與 10000+來自港科大、北大、清華、中科院、CMU、騰訊、百度等名校名企視覺開發(fā)者互動交流~

評論
圖片
表情
