架構師技術聯盟

本文來自“《他山之石系列：交換機專題合集》”“交換機專題：國內外交換機發(fā)展趨勢研究”，據IDC數據，2022年，全球交換機市場規(guī)模為3080億元，同比增長17%，預測2022-2027年CAGR約為4.6%；中國交換機市場規(guī)模為591億元，同比增長9.5%，預計未來5年增速高于全球增速，穩(wěn)定在7%-

本文來自“模型即服務：MaaS框架與應用研究報告（2024年）”，隨著以大模型為核心的人工智能技術的深入發(fā)展，模型即服務(MaaS，Model as a Service)作為一種新型人工智能服務模式煥發(fā)新生。本章將明確MaaS的概念及主要的服務能力范圍，剖析大模型時代MaaS快速發(fā)展的必然性，闡述M

更多內容請參考“鯤鵬CPU軟件性能調優(yōu)（精編版）”，從硬件特點分析如何進行性能調優(yōu)，同時還介紹了項目中性能調優(yōu)的思路和常用性能采集工具。“終極版：服務器基礎知識全解(182頁PPT)”和“2024中國服務器CPU行業(yè)概覽：信創(chuàng)帶動服務器CPU國產化”。鯤鵬處理器為核心的華為TaiShan服務器在國產

算?需求爆發(fā)式增? vs. 算?硬件演進呈現領域化、規(guī)模化、異構化特征，應?的算?外需求驅動操作系統在調度機制上突破，新算?硬件體系對調度機制造成了多??的挑戰(zhàn)。本文來自“面向新算力硬件體系的調度技術挑戰(zhàn)”，重點分析面向新算力硬件體系的調度技術挑戰(zhàn)，以及應對之道。推薦閱讀：2024年半導體分析洞察（

目前，AGI處于研發(fā)階段，大模型是實現AGI的重要路徑。AI大模型通過預先在海量數據上進行大規(guī)模訓練，而后能通過微調以適應一系列下游任務的通用人工智能模型。在“大數據+大算力+強算法”的加持下，進一步通過“提示+指令微調+人類反饋”方式，實現一個模型應用在很多不同領域。人工智能的發(fā)展已經從“大煉模型

根據Hyperion Research在2024年國際超級計算大會（ISC 2024）前發(fā)布的年度HPC市場更新報告，2023年HPC市場整體規(guī)模約為370億美元。由于供應鏈問題和一些大型系統（如E級系統）的接受度放緩，市場表現相對平穩(wěn)。本地化服務器收入下降了2.7%，而與HPC相關的云端支出則顯著

本文來自“Computex 2024 AMD主題演講：CPU+GPU+UA互聯廠商”，6月3日，AMD在臺北 ComputeX 2024 大會上詳細展示了其在CPU、GPU及UA互聯等方面的最新產品：Zen 5：展示被蘇姿豐稱之為“迄今為止性能最高、能效最高的處理器核心”——全新

本文參考自“模型變革：云端融合為趨勢（2024）”，從GPT-1到GPT-5，GPT模型的智能化程度不斷提升。ChatGPT在擁有3000億單詞的語料基礎上預訓練出擁有1750億個參數的模型（GPT-2僅有15億參數），預訓練數據量從5GB增加到45TB。AI對云廠商資本開支需求的拉動始于2023年

在深入探究 AI 智算網絡的領域時，我們發(fā)現市場中主要存在兩大主流架構：InfiniBand 和RoCEv2。更多內容參考：“智算中心網絡架構設計實踐（2023）”、“英偉達InfiniBand：面向AIGC的技術優(yōu)勢分析”、“InfiniBand與RoCE對比分析：AI數據中心網絡選擇指南”、“關

本文來自“2024面向未來的算力網絡連接：中國算力網絡市場發(fā)展白皮書”，數據中心是用以集中放置計算機系統、通信和存儲等設備的基礎設施。只提供場地和機柜的數據中心，一般稱為DC（Data Center），而同時提供帶寬服務的數據中心，一般稱IDC（互聯網數據中心Internet Data C

HBM即高帶寬存儲，由多層DRAM Die垂直堆疊，每層Die通過TSV穿透硅通孔技術實現與邏輯Die連接，使得8層、12層Die封裝于小體積空間中，從而實現小尺寸于高帶寬、高傳輸速度的兼容，成為高性能AI服務器GPU顯存的主流解決方案。目前迭代至HBM3的擴展版本HBM3E，提供高達8Gbps的傳

本文來自“英偉達Blachwell平臺網絡配置詳解”。GTC大會英偉達展示了全新的 Blackwell 平臺系列產品，包括 HGX B100 服務器、NVLINK Switch、GB200Superchip Computer Node、Quantum X800 交換機和 CX8 網卡（InfiniB

AI大模型的快速發(fā)展推動“算力”和“存力”需求快速增長，“內存墻”問題由來已久，在 AI 時代表現的愈發(fā)明顯，“算力”和“運力”之間的差距越來越大。Transformer 類的模型參數的數量呈現指數增長，每兩年增加 410 倍，而 GPU 內存僅以每兩年 2 倍的速度擴展。1、AI時代“內存墻”問題

本文轉自“英偉達：下一代GPU細節(jié)曝光”。Nvidia 正在準備該公司的 GeForce RTX 50 系列 (Blackwell) 產品，以與最好的顯卡相競爭。著名硬件泄密者 @kopite7kimi 聲稱，根據他的信息，Blackwell系列的內存接口配置不會與Ada Lovelace系列有太大

隨著AI技術和相關應用的不斷發(fā)展，大模型、大數據和AI計算能力在AI發(fā)展中的重要性日益凸顯。大模型和數據集構成AI研究的軟件基礎，而AI算力是關鍵的基礎設施。在本文中，我們將探討AI發(fā)展對數據中心網絡架構的影響。下載鏈接：AI數據中心網絡架構需求：400/800G光模塊Fat-Tree數據中心網絡架

本文來源于“沙利文：2023年中國服務器操作系統行業(yè)市場研究報告”。得益于新基建快速推進、政策引導下信創(chuàng)產業(yè)的蓬勃發(fā)展，國產服務器操作系統正逐步崛起。中國基礎軟件根技術自主掌控能力重視程度不斷提高，越來越多的中國企業(yè)已經意識到其重要性，正在以更加積極擁抱的態(tài)度面對服務器操作系統領域的國產化替代趨勢。

InfiniBand（IB）是由InfiniBand貿易協會（IBTA）建立的先進計算機網絡通信標準。它在高性能計算（HPC）中的廣泛采用歸功于它能夠為網絡傳輸提供卓越的吞吐量、帶寬和低延遲。InfiniBand是計算系統內部和外部的關鍵數據連接。無論是通過直接鏈路還是通過網絡交換機進行互連，Inf

根據TrendForce的數據，AI服務器的出貨量約為130,000臺，占全球服務器總出貨量的約1%。隨著微軟、Meta、百度和字節(jié)跳動等主要制造商相繼推出基于生成式AI的產品和服務，訂單量顯著增加。預測顯示，在ChatGPT等應用的持續(xù)需求推動下，從2023年到2027年，AI服務器市場預計將保持

NVIDIA NVLink已成為高性能計算（HPC）和人工智能領域的關鍵技術。本文深入探討了NVLink的復雜性，并介紹NVSwitch芯片、NVLink服務器和NVLink交換機，以揭示其在不斷演進的先進計算領域中的重要性。關于CPU、服務器和存儲詳細技術，請參考“服務器基礎知識全解(終極版)”，

01、術語與基礎大模型訓練一般都是用單機 8 卡 GPU 主機組成集群，機型包括 8*{A100,A800,H100,H800} 。下面一臺典型 8*A100 GPU 的主機內硬件拓撲：| 典型 8 卡 A100 主機硬件拓撲本文來自“高性能GPU服務器硬件拓撲與集群組網”。本節(jié)將基于這張