英偉達(dá)的AI太強(qiáng)了！

點(diǎn)擊下方卡片，關(guān)注“CVer”公眾號(hào)

AI/CV重磅干貨，第一時(shí)間送達(dá)

2021年11月9日，英偉達(dá)GTC大會(huì)順利開幕！相信不少同學(xué)已經(jīng)看到了刷屏的"Toy-Me"虛擬形象。本文將重點(diǎn)帶大家回顧一下這次GTC大會(huì)上NVIDIA的一些AI前沿技術(shù)。

今年 GTC 上一共推出65個(gè)全新的以及更新的SDK，信息量相當(dāng)之大。先看看下面這張圖，這才是"真·全棧"AI生態(tài)系統(tǒng)。

回到GTC大會(huì)，初始映入眼簾的還是那個(gè)熟悉的廚房~

隨后不久，便播放了一段"i am ai"的短片，快速展示了NVIDIA的落地應(yīng)用和技術(shù)實(shí)力。

NeMo Megatron 加速大型語(yǔ)言模型開發(fā)

NVIDIA NeMo Megatron 是基于Megatron而開發(fā)的項(xiàng)目。其中Megatron是一個(gè)基于PyTorch的框架，用于訓(xùn)練基于Transformer架構(gòu)的大型語(yǔ)言模型。

NeMo?Megatron 讓訓(xùn)練具有數(shù)萬(wàn)億參數(shù)的大型語(yǔ)言模型（LLM）變得可能，而且據(jù)我了解，目前市面上鮮有這樣支持大型語(yǔ)言模型的訓(xùn)練框架，這個(gè)實(shí)實(shí)在在的"利好"各大企業(yè)，特別是資源受限的情況下。不管你的語(yǔ)言模型多么復(fù)雜，經(jīng)過(guò)NeMo?Megatron?優(yōu)化，可以極大提高訓(xùn)練的效率。解決訓(xùn)練難題后，便可以遷移到對(duì)話式AI（比如聊天機(jī)器人）等應(yīng)用，進(jìn)一步提升產(chǎn)業(yè)自動(dòng)化效率。

比如可以訓(xùn)練前不久發(fā)布的"5300億參數(shù)的「威震天-圖靈」"的Megatron 530B。Megatron 530B?又稱為Megatron-Turing (MT-NLP)，其是英偉達(dá)和微軟共同推出的目前世界上最大的可定制語(yǔ)言模型。

聊到語(yǔ)言模型，就不得不提近幾年大火的Transformer！而NVIDIA專門針對(duì)Transformer架構(gòu)的模型進(jìn)行了分析和訓(xùn)練優(yōu)化，使得訓(xùn)練大型語(yǔ)言模型變得可能。

NVIDIA AI 推理平臺(tái)重大更新?

模型訓(xùn)練好了，當(dāng)然就需要推理部署用起來(lái)（一條龍服務(wù)）。推理響應(yīng)速度越快，所帶來(lái)的效益就越大，因此各大廠商都一直致力于加快模型推理，而NVIDIA在這一方面更是做到極致。

英偉達(dá)創(chuàng)建了世界上第一個(gè)分布式推理引擎：NVIDIA Triton，可以為所有AI模型、框架提供跨平臺(tái)推理。

這次GTC大會(huì)上發(fā)布了Triton推理服務(wù)器的重大更新，其中包括：Triton 模型分析器、多 GPU 多節(jié)點(diǎn)功能（支持基于Transformer的大規(guī)模語(yǔ)言模型，例如Megatron 530B）、RAPIDS FIL和Amazon SageMaker 集成等等。

有意思的是Triton推理服務(wù)器可以自動(dòng)為模型選擇最佳配置，這個(gè)實(shí)在太方便了。而且它不僅支持深度學(xué)習(xí)模型，還支持傳統(tǒng)機(jī)器學(xué)習(xí)模型，比如隨機(jī)森林和梯度提升樹。雖然DL大火，但很多經(jīng)典ML模型應(yīng)用依然廣泛，所以顯得Triton非常實(shí)用。同時(shí)還支持PyTorch、TensorFlow等多種深度學(xué)習(xí)框架，大大降低用戶的遷移成本和維護(hù)成本。

實(shí)際拿Megatron 530B來(lái)舉例，通過(guò)Triton推理服務(wù)器，Megatron 530B能夠在兩個(gè)NVIDIA DGX系統(tǒng)上運(yùn)行，將處理時(shí)間從CPU服務(wù)器上的1分鐘以上縮短到半秒，使得實(shí)時(shí)應(yīng)用部署大型語(yǔ)言模型成為可能。

除了Triton外，這次發(fā)布還包含對(duì)NVIDIA TensorRT的更新。實(shí)際做過(guò)AI模型部署的同學(xué)，應(yīng)該會(huì)對(duì)TensorRT比較熟悉了，其主要是為NVIDIA GPU上的高性能推理提供運(yùn)行時(shí)優(yōu)化。目前該最新版本是TensorRT 8.2。

TensorRT 已經(jīng)與TensorFlow、PyTorch集成，只需一行代碼就能提供比框架內(nèi)推理快3倍的性能。這使得開發(fā)人員采用極為簡(jiǎn)化的工作流程就可以體會(huì)TensorRT的強(qiáng)大功能。

除了上述軟件更新之外，NVIDIA還推出了NVIDIA A2 Tensor Core GPU，這是一款用于邊緣AI推理的低功耗、小尺寸的加速器，其推理性能比CPU高出20倍。

NVIDIA?Riva?新增定制語(yǔ)音功能

NVIDIA Riva 定制語(yǔ)音是NVIDIA Riva 語(yǔ)音 AI 軟件的一項(xiàng)功能，它提供了強(qiáng)大的功能：使用少量數(shù)據(jù)即可在數(shù)小時(shí)內(nèi)開發(fā)富有表現(xiàn)力的定制語(yǔ)音。在GTC大會(huì)上，有一段Riva定制語(yǔ)音的演示，展示了只需30分鐘的數(shù)據(jù)就能創(chuàng)造出類似人類的新的聲音。

Riva還通過(guò)Project Tokkio、DRIVE Concierge和Project Maxine在Omniverse Avatar中得以展現(xiàn)。

在我看來(lái)，NVIDIA Riva定制語(yǔ)音的落地應(yīng)用會(huì)相當(dāng)廣泛，比如目前大火的虛擬形象（如虛擬偶像、虛擬主播等）就相當(dāng)依賴這種技術(shù)。而且可以幫助公司、學(xué)校甚至個(gè)人打造屬于自己的"專屬聲音"，比如幫助公司的聊天機(jī)器人(語(yǔ)音版)"真人化"。

值得提醒一下：在GTC上，有二十多場(chǎng)專注于對(duì)話式AI的演講，包括Hugging Face、Snap、T-Mobile等公司的演講。演講主題涉及開發(fā)和整合GPU加速的語(yǔ)音和語(yǔ)言AI應(yīng)用等方面最先進(jìn)的算法、工具、挑戰(zhàn)以及效果等。

Clara Holoscan 醫(yī)療健康行業(yè)的新計(jì)算平臺(tái)

NVIDIA Clara Holoscan是英偉達(dá)推出的第三個(gè)機(jī)器人平臺(tái)，即：醫(yī)療健康行業(yè)的新計(jì)算平臺(tái)。基于NVIDIA AGX Orin打造，能為可擴(kuò)展、軟件定義、端到端流媒體數(shù)據(jù)處理的醫(yī)療設(shè)備提供所需的計(jì)算基礎(chǔ)設(shè)施。

Clara Holoscan 是一個(gè)性能強(qiáng)大的可編程影像平臺(tái)，目前已具有醫(yī)學(xué)圖像分割、2D/3D醫(yī)學(xué)數(shù)據(jù)可視化、手動(dòng)/語(yǔ)音交互式操作、智能診斷等功能。我看了下面的演示視頻，感到十分驚艷。Clara Holoscan這個(gè)平臺(tái)和醫(yī)療設(shè)備廠家深入合作，一定可以促進(jìn)AI醫(yī)療領(lǐng)域發(fā)展，為醫(yī)療專業(yè)人員提供更好的診斷工具，在分析病人病情、機(jī)器人輔助手術(shù)等方面提供幫助。

作為可擴(kuò)展的體系架構(gòu)，Clara Holoscan 能夠從醫(yī)療設(shè)備擴(kuò)展到NVIDIA 認(rèn)證邊緣服務(wù)器，再到數(shù)據(jù)中心或云中的NVIDIA DGX 系統(tǒng)。開發(fā)者可通過(guò)此平臺(tái)，按需在其醫(yī)療設(shè)備中充分添加或減少計(jì)算和輸入/輸出功能，從而平衡延遲、成本、空間、性能和帶寬的需求。

cuNumeric

在本次GTC大會(huì)上，我還看到一個(gè)可以快速訪問使用的"神器"：cuNumeric，也許可以幫助你加快當(dāng)前項(xiàng)目代碼中的Numpy部分計(jì)算。

Numpy是我們經(jīng)常用的Python的擴(kuò)展程序庫(kù)，而NVIDIA正式推出針對(duì)Numpy的插入式加速庫(kù)cuNumeric。無(wú)需更改代碼！從單一GPU擴(kuò)展到多GPU，擴(kuò)展到多節(jié)點(diǎn)集群，進(jìn)而擴(kuò)展到世界上最大超級(jí)計(jì)算機(jī)。

而且在GTC上還看到一個(gè)數(shù)據(jù)：過(guò)去15年里，CUDA下載量高達(dá)3000萬(wàn)次！而僅去年下載量就突破700萬(wàn)次！不得不感嘆：這得幫助打造多少款落地應(yīng)用呀，CUDA YYDS！

GTC大會(huì)上還有很多精彩內(nèi)容，比如"元宇宙"十足的Omniverse Avatars、重磅發(fā)布的Jetson AGX Orin、NVIDIA Quantum-2網(wǎng)絡(luò)平臺(tái)、在自動(dòng)駕駛領(lǐng)域的成果展示等，以及刷屏的"Toy-Me"虛擬形象：

強(qiáng)烈推薦學(xué)習(xí)！如果你未能第一時(shí)間參加GTC大會(huì)，想了解更多的AI前沿技術(shù)和應(yīng)用，則可以掃描或者點(diǎn)擊閱讀原文，即可觀看錄播視頻~

掃碼觀看GTC大會(huì)視頻

??點(diǎn)擊閱讀原文，也可快速觀看大會(huì)視頻！