??新智元報(bào)道??

編輯：David 拉燕好困

【新智元導(dǎo)讀】果粉Big Day！PyTorch宣布，原生支持蘋果Mac GPU機(jī)器學(xué)習(xí)加速。與單CPU加速相比，訓(xùn)練性能提升6倍，推理任務(wù)性能最高提升21倍

對(duì)于搞AI和機(jī)器學(xué)習(xí)的蘋果用戶來(lái)說(shuō)，今天無(wú)疑是個(gè)好日子。

如果是用PyTorch的蘋果用戶，可能更是盼了一年半的大日子！

剛剛，PyTorch官宣，在蘋果Mac系統(tǒng)上正式支持GPU加速訓(xùn)練。現(xiàn)在，M1芯片強(qiáng)悍的GPU終于可以在機(jī)器學(xué)習(xí)任務(wù)上大展身手了！

作為業(yè)界應(yīng)用最廣泛的機(jī)器學(xué)習(xí)框架之一，PyTorch在之前很長(zhǎng)一段時(shí)間內(nèi)對(duì)于Mac系生態(tài)的支持一直不太完善。在蘋果平臺(tái)上僅支持CPU加速。

Pytorch官方推特置頂發(fā)布了這條重磅消息，并給出了與之前僅CPU加速的性能提升對(duì)比。

從對(duì)比圖上看，在ResNet50\HuggingFace BERT\VGG 16幾個(gè)主流數(shù)據(jù)集上，相對(duì)性能提升最高達(dá)到21倍。

實(shí)際上，作為全球軟硬件生態(tài)最完善的巨頭之一，蘋果當(dāng)然懂得GPU加速對(duì)深度學(xué)習(xí)計(jì)算任務(wù)的支持有多重要。

早在2014年，蘋果就推出了兼顧圖形與計(jì)算功能，面向底層的硬件加速應(yīng)用接口 Metal。

Metal結(jié)合了類似于OpenGL和OpenCL的功能。通過(guò)為iOS、iPadOS、macOS和tvOS上的應(yīng)用程序提供對(duì) GPU 硬件的底層訪問(wèn)來(lái)提高性能。

不過(guò)，雖然Metal經(jīng)歷兩次大的版本更新，但對(duì)于蘋果用戶來(lái)說(shuō)，沒(méi)有框架的原生支持，要想在主流框架下調(diào)用GPU實(shí)現(xiàn)加速，還是要「曲線救國(guó)」。

有開發(fā)者甚至表示，因?yàn)镻yTorch對(duì)蘋果GPU的支持不夠好，自己一度被迫轉(zhuǎn)用TensorFlow，在TensorFlow環(huán)境下通過(guò)Metal插件實(shí)現(xiàn)GPU加速。

最后他表示，「若Apple Silicon的GPU能獲得pytorch的原生支持，將是一個(gè)讓人欣喜的消息。期待！」

今天，這位網(wǎng)友的期待終于成真了。

PyTorch官網(wǎng)宣布，在與Metal工程團(tuán)隊(duì)合作后，很高興地宣布支持Mac上的GPU加速的PyTorch訓(xùn)練。

PyTorch稱，到目前為止，Mac上的PyTorch訓(xùn)練只能利用CPU，但在PyTorch v1.12版本，開發(fā)人員和研究人員可以利用Apple Silicon GPU的優(yōu)勢(shì)，大大加快模型訓(xùn)練。

現(xiàn)在，開發(fā)者可在Mac上就地執(zhí)行原型設(shè)計(jì)和微調(diào)等機(jī)器學(xué)習(xí)任務(wù)流。

開發(fā)者：終于來(lái)了，盼一年多了！

實(shí)際上，關(guān)于Pytorch框架原生支持蘋果GPU加速的問(wèn)題，早在一年多以前就已經(jīng)提上了開發(fā)日程。

之前就有網(wǎng)友在Pytorch的官方Github上找到了關(guān)于這個(gè)問(wèn)題的issue，問(wèn)題發(fā)布于2020年11月，與蘋果M1芯片的推出幾乎同步。

然后，這個(gè)問(wèn)題很快就獲得了Pytorch創(chuàng)始人Soumith的回復(fù)：已有原生支持計(jì)劃，決定適配M1，但開發(fā)進(jìn)度未知。

不過(guò)這事兒到此好像沒(méi)了下文，一年多來(lái)，甚至有網(wǎng)友在知乎的問(wèn)題帖下「打卡求更」。

今天，還有人來(lái)這個(gè)問(wèn)題下「拍了拍」這位答主，一年多的時(shí)間，總算是沒(méi)白等啊，好事好事！

很快，就有人拉去測(cè)試了。

VGG16，CIFAR-10圖像為224x224像素

可以看出，M1 Pro的CPU和GPU相比，后者訓(xùn)練網(wǎng)絡(luò)的速度達(dá)到了原來(lái)的兩倍。

可喜可賀，可喜可賀！

往事：用Mac GPU煉丹，先裝Tensorflow

其實(shí)，今天這個(gè)消息出來(lái)之前，網(wǎng)友們就已經(jīng)嘗試過(guò)各種各樣的辦法來(lái)解決這個(gè)問(wèn)題。

有網(wǎng)友表示，「用了我的辦法，就不需要?jiǎng)e的了?！?/span>

首先，最簡(jiǎn)單的辦法就是，先安裝一個(gè)miniconda3。在此之后，用戶需要安裝Tensorflow。

然后，這位博主展示了有16個(gè)GPU核心的M1 Pro的性能。

該博主表示，16核GPU的M1 Pro是M1的升級(jí)版。它具有兩倍的GPU內(nèi)核和兩倍多的內(nèi)存帶寬。用戶可以訪問(wèn)大量?jī)?nèi)存，而因?yàn)閮?nèi)存由CPU和GPU共享，所以這是深度學(xué)習(xí)的最佳選擇。

用戶不需要將Tensor從一個(gè)設(shè)備移動(dòng)到另一個(gè)設(shè)備。另外，用戶還能得到64GB內(nèi)存的配置，它這算得上是目前市場(chǎng)上最大的移動(dòng)GPU了。

結(jié)果來(lái)看，還不錯(cuò)。

就像預(yù)期的那樣，M1Pro Max的速度是 M1Pro 的兩倍（GPU 核心庫(kù)的兩倍）

知乎上有網(wǎng)友也嘗試了Tensorflow來(lái)在Mac上獲得原生支持的Metal加速。

但是，在wheel生成上，他遇到了問(wèn)題。他通過(guò)pypi安裝d2I包，出現(xiàn)了一些依賴問(wèn)題。

最終，他通過(guò)在github上的release進(jìn)行安裝，解決了這個(gè)問(wèn)題。

然后，在按照官方的方法安裝Tensorflow的插件，就可以獲得GPU加速了。

經(jīng)過(guò)測(cè)試，總體來(lái)看M1 max以「極低」的功耗（在訓(xùn)練時(shí)整機(jī)功耗75w左右）產(chǎn)生了不錯(cuò)的算力。

該網(wǎng)友表示，「用作調(diào)參還是勉強(qiáng)可用的。」

這就開Mac跑一波訓(xùn)練！
?

在推特上，各路網(wǎng)友也是表達(dá)了自己的喜悅。畢竟，已經(jīng)期待太久了~

前節(jié)跳動(dòng)AI實(shí)驗(yàn)室總監(jiān)，UCSB助理教授李磊就表示，「PyTorch終于能支持在Mac M1GPU上訓(xùn)練了！是時(shí)候把電腦打開了！」

推特上搞數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)的網(wǎng)友表示，這下對(duì)PyTorch更感興趣了。

谷歌云的工程師rogerbai表示，「我倒是想看看M1 Ultra和英偉達(dá)40xx在PyTorch上誰(shuí)的速度更快?！?/span>

參考資料：?

https://wandb.ai/tcapelle/apple_m1_pro/reports/Deep-Learning-on-the-M1-Pro-with-Apple-Silicon---VmlldzoxMjQ0NjY3

https://www.macrumors.com/2022/05/18/pytorch-gpu-accelerated-training-apple-silicon/

https://pytorch.org/blog/introducing-accelerated-pytorch-training-on-mac/

https://developer.apple.com/metal/

蘋果煉丹6倍速！PyTorch加持Mac GPU訓(xùn)練，性能最高提升21倍

??新智元報(bào)道??

【新智元導(dǎo)讀】果粉Big Day！PyTorch宣布，原生支持蘋果Mac GPU機(jī)器學(xué)習(xí)加速。與單CPU加速相比，訓(xùn)練性能提升6倍，推理任務(wù)性能最高提升21倍

開發(fā)者：終于來(lái)了，盼一年多了！

往事：用Mac GPU煉丹，先裝Tensorflow

這就開Mac跑一波訓(xùn)練！?

蘋果煉丹6倍速！PyTorch加持Mac GPU訓(xùn)練，性能最高提升21倍

【新智元導(dǎo)讀】果粉Big Day！PyTorch宣布，原生支持蘋果Mac GPU機(jī)器學(xué)習(xí)加速。與單CPU加速相比，訓(xùn)練性能提升6倍，推理任務(wù)性能最高提升21倍

開發(fā)者：終于來(lái)了，盼一年多了！

往事：用Mac GPU煉丹，先裝Tensorflow

這就開Mac跑一波訓(xùn)練！
?