文末送書 | 大模型時代下如何學(xué)習(xí)云原生

《containerd 原理剖析與實(shí)戰(zhàn)》新書內(nèi)購中，點(diǎn)擊閱讀原文，限時 69.9 元購買。文末免費(fèi)贈書

大模型與云原生

近年來，大語言模型的熱度可謂是愈發(fā)高漲，尤其是今年年初 Sora 的出現(xiàn)，更是讓全球再次看到了AIGC 的巨大威力。

Sora 生成實(shí)例視頻---幾頭巨大的長毛猛犸踏著積雪的草地而來

在當(dāng)前大模型流行的時代下，云原生技術(shù)的熱度似乎有所減退，然而，我們不能忽視的是，大模型所依賴的基礎(chǔ)設(shè)施仍然需要云原生和 Kubernetes 的支持。

GTC 2024大會上，NVIDIA創(chuàng)始人兼首席執(zhí)行官黃仁勛，不僅推出了目前全球最強(qiáng)勁的 GPU 芯片 B200。還專門為大規(guī)模部署 AI 模型推出了 "英偉達(dá)推理微服務(wù) (NVIDIA NIM)"。

英偉達(dá) 的 AI 推理服務(wù) NIM（NVIDIA Inference Manager） 

NVIDIA NIM 是一個強(qiáng)大的工具，可以簡化和優(yōu)化基于NVIDIA GPU的推理任務(wù)的管理和部署。NIM 的運(yùn)行依賴 kubernetes 和 containerd 容器運(yùn)行時，NIM 微服務(wù)通過打包算法、系統(tǒng)和運(yùn)行時優(yōu)化，并添加行業(yè)標(biāo)準(zhǔn)的 API，能夠大幅度簡化 AI 模型部署過程。

基于kubernetes 和 containerd 管理 NVIDIA GPU

NIM 通過 kubernetes 來編排 AI 模型部署任務(wù)，同時，通過 containerd 集成自家的 nvidia-container-runtime 管理 GPU 設(shè)備，實(shí)現(xiàn) GPU 算力的資源池化。

在大模型的背景下，容器運(yùn)行時的重要性更加明顯。相比傳統(tǒng)的虛擬化技術(shù)，容器啟動速度更快，同時共享內(nèi)核的輕量型虛擬化，大幅減少了資源的開銷。這對于大模型的訓(xùn)練和推理來說非常重要，因?yàn)樗鼈兺ǔＰ枰焖俨渴鸷透咝У馁Y源利用。

為什么寫這本書

Kubernetes 作為容器編排領(lǐng)域的事實(shí)標(biāo)準(zhǔn)毫無疑問，同時大模型時代的到來也證明了云原生依然是無可撼動的云計算基礎(chǔ)設(shè)施。隨著 2020 年 Kubernetes 在 v1.20 版本宣布開始棄用 dockershim，越來越多的 企業(yè)在構(gòu)建 Kubernetes 集群是選擇 containerd 作為底層運(yùn)行時，這使得 containerd 在整個云原生技術(shù)棧中的地位日益提升。

CRI 支持的容器運(yùn)行時有很多，其中 containerd 作為從 Docker 項(xiàng)目中分離出來的項(xiàng)目，由于經(jīng)歷了 Docker 多年生產(chǎn)環(huán)境的磨練，相比其他 CRI 運(yùn)行時也更加健壯、成熟。正因如此，它也是 kubernetes 官方推薦使用的運(yùn)行時。

Docker 作為老牌的容器運(yùn)行時，市面上關(guān)于它的書籍和資料很多，Kubernetes 的書籍也很多，而 containerd 作為一個新興的容器運(yùn)行時，截止本書出版前，卻依然沒有一個系統(tǒng)介紹 containerd 的書籍。

作為一名云原生以及容器技術(shù)的忠實(shí)粉絲，筆者很早就接觸到了 containerd 項(xiàng)目，見證了 containerd 項(xiàng)目的發(fā)展，并為之取得的成就感到驕傲。也對 containerd 項(xiàng)目充滿了信心。因此希望通過這本書讓更多的人了解 containerd，體驗(yàn) containerd 帶來的價值。

本書內(nèi)容

本書從云原生與容器運(yùn)行時講起，內(nèi)容涵蓋云原生以及容器的發(fā)展史、容器技術(shù)的 Linux 原理、containerd 的架構(gòu)、原理、功能、部署、配置、插件擴(kuò)展開發(fā)等，并詳細(xì)介紹 containerd生產(chǎn)實(shí)踐中的配置以及落地實(shí)踐，使讀者對 containerd 的概念、原理、實(shí)踐有比較清晰的了解。

下面是本書目錄

大咖推薦

本書的出版也得到了 CNCF、浙江大學(xué)計算機(jī)系 SEL 實(shí)驗(yàn)室、火山引擎邊緣云、邊緣計算社區(qū)、kata containerd 架構(gòu)委員會等專家的傾力推薦。

最后，附上本書的購買鏈接，本書剛剛上架，原價 109，前期限時優(yōu)惠內(nèi)購 69.9 元，感興趣的朋友可以盡快入手。