「煉丹」師的福音！支持AMD GPU，PyTorch 1.8來了！

  新智元報(bào)道  

來源：外媒

編輯：PY、LQ

【新智元導(dǎo)讀】PyTorch1.8發(fā)布，整體來看，本次更新涵蓋1.7版本發(fā)布以來，共計(jì)3000多次Github提交，包括編譯、代碼優(yōu)化、科學(xué)計(jì)算前端 API 以及通過 pytorch.org 提供的二進(jìn)制文件支持AMD ROCm。

PyTorch是一個(gè)開源的Python機(jī)器學(xué)習(xí)庫(kù)。2017年1月，由Facebook人工智能研究院（FAIR）基于Torch推出了PyTorch，用于自然語(yǔ)言處理等應(yīng)用程序。

近日，F(xiàn)acebook發(fā)布了PyTorch 1.8新版本，加入了對(duì)AMD ROCm的支持，可以不用去配置Docker在原生環(huán)境下運(yùn)行。

 

 

其中一些重大更新包括：

• 支持通過 torch.fx進(jìn)行函數(shù)轉(zhuǎn)換；

  
  

• 增加和調(diào)整 API以支持 FFT( torch.fft )、線性代數(shù)函數(shù)( torch.linalg )

  
  

• 添加了復(fù)雜張量自動(dòng)求導(dǎo)（autograd）的支持，并提升了矩陣計(jì)算 hessian 和 jacobian 的能力；

  
  

• 對(duì)分布式訓(xùn)練進(jìn)行了重大更新和改進(jìn)，包括：改進(jìn) NCCL 可靠性，支持管道并行，RPC 分析，支持添加梯度壓縮的通訊 鉤子。

 

在PyTorch 1.8版本中，官方對(duì)一些PyTorch庫(kù)也進(jìn)行了相應(yīng)的更新，主要包括 TorchCSPRNG、TorchVision、TorchText 和 TorchAudio。

PyTorch 1.8版本中的功能分為穩(wěn)定版 (Stable)、測(cè)試版 (Beta) 和原型版 (Prototype)。

 

新增及更新 API

 

新增及更新 API 包括：與 NumPy 兼容的額外 API，及在推理和訓(xùn)練時(shí)方面，提高代碼性能的額外 API。

 

PyTorch 1.8 主要更新功能簡(jiǎn)介：

• [穩(wěn)定版] Torch.fft 支持高性能 NumPy 中的 FFT

實(shí)現(xiàn)了 NumPy np.ft 功能的同時(shí)，還支持硬件加速和 autograd

• [測(cè)試版] torch.linalg 將支持 NumPy 中的線性代數(shù)函

為常見的線性代數(shù)運(yùn)算提供與 NumPy 類似的支持，支持 Cholesky 分解、 行列式、特征值等功能。

• [測(cè)試版] 利用 FX 進(jìn)行 Pthon 代碼轉(zhuǎn)換。

 

增強(qiáng)分布式訓(xùn)練

 

PyTorch 1.8支持穩(wěn)定的異步錯(cuò)誤/超時(shí)處理，以提高 NCCL 穩(wěn)定性；

 

此外，還增加了對(duì)管道并行的支持，可將數(shù)據(jù)拆解成更小的塊以提高并行計(jì)算效率。

 

并可以通過 DDP 中的通訊鉤子進(jìn)行梯度壓縮，用于控制如何在workers之間同步梯度。

 

此外，PyTorch 1.8 還增加了一些 prototype 特性，具體如下：

• ZeroRedundancyOptimizer：有助于減少每個(gè)線程的內(nèi)存占用；

• 進(jìn)程組 NCCL 發(fā)送/接收：允許用戶在 Python 層（而非 C++ 層）實(shí)現(xiàn)集合操作；

• RPC 中用 TensorPipe 支持 CUDA：為使用 PyTorch RPC 和多 GPU 機(jī)器的用戶帶來速度提升；

• 遠(yuǎn)程模塊：允許用戶像操作本地模塊那樣操作遠(yuǎn)程 worker 上的模塊。

PyTorch 移動(dòng)端

 

本次更新發(fā)布了圖像分割模型DeepLabV3在安卓和IOS，能更好地幫助新用戶將 PyTorch 模型部署在移動(dòng)端。

 

PyTorch 移動(dòng)端新增教程包括：

• iOS 端用 DeepLabV3 進(jìn)行圖像分割

• Android 端用 DeepLabV3 進(jìn)行圖像分割

 

同時(shí)為老用戶提供開發(fā)工具，讓其更得心應(yīng)手地用 PyTorch 進(jìn)行移動(dòng)端開發(fā)。

  

性能優(yōu)化工具

 

新增測(cè)試版benchmark utils ，使用戶能夠更輕松地監(jiān)控模型性能。還開放了一個(gè)自動(dòng)量化 API，能改進(jìn) Eager Mode Quantization。

• Benchmark utils

Benchmark utils 允許用戶進(jìn)行精確的性能測(cè)量，并提供組合工具，幫助制定基準(zhǔn)和進(jìn)行后期處理。

• FX Graph Mode Quantization

新增的自動(dòng)量化 API，它通過增加函數(shù)支持和自動(dòng)化量化過程，改進(jìn) Eager Mode Quantization。

 

硬件支持

 

PyTorch 1.8 版本新增了兩個(gè) 測(cè)試版本特性

 

• 強(qiáng)化 PyTorch Dispatcher 的能力，使其適應(yīng) C++ 中后端開發(fā)

支持用戶在 pytorch/pytorch repo 之外創(chuàng)建新的樹外設(shè)備，并與本地 PyTorch 設(shè)備保持同步。

 

• AMD GPU 二進(jìn)制文件現(xiàn)已推出

新增對(duì) ROCm wheel 的支持。

需要注意的是，PyTorch 1.8 僅在 Linux 系統(tǒng)中支持 AMD ROCm。

 

參考資料：

https://www.phoronix.com/scan.php?page=news_item&px=PyTorch-1.8-Released

https://pytorch.org/blog/pytorch-1.8-released/

https://twitter.com/cHHillee/status/1367621538791317504