黄色性视频网站,青青草视频免费在线看,黄色A级视频,国产一级爱,一级黄色片大全,福利十八禁免费网站,波多野结衣日本在线观看,欧美A片三级片在线免费观看

新智元報道

編輯：Aeneas 好困

【新智元導讀】這位小哥在單張A100上，10秒完成了CIFAR-10訓練，打破了世界紀錄，還引來了Karpathy嘖嘖稱贊。

刷新世界紀錄！

用600行代碼，在單張A100上，不到10秒，就完成了CIFAR-10數(shù)據(jù)集的訓練，并且精度高達94%。

特斯拉前AI總監(jiān)Andrej Karpathy連發(fā)3條推特，瘋狂點贊。

Karpathy之所以如此激動，是因為12年前，他試過手動對CIFAR-10進行分類，得到的也是94%！而當時的SOTA只有80%。

項目介紹

項目地址：https://github.com/tysam-code/hlb-CIFAR10


git clone https://github.com/tysam-code/hlb-CIFAR10 && cd hlb-CIFAR10 && python -m pip install -r requirements.txt && python main.py

這段代碼可以在Colab上直接使用，事實上——其中大部分是在Colab中開發(fā)的。

這位叫Tysam的小哥，給自己定下的目標是——

簡單
初學者友好
只需torch和python的常用代碼
可破解
幾乎不用外部依賴（目前只有torch和torchvision）
破世界紀錄的單GPU訓練時間（此前在A100上的世界紀錄是18.1秒，而Tysam打破了世界紀錄——小于10秒）
在2年內讓訓練時間小于2秒

為了達成快速訓練的神經(jīng)網(wǎng)絡實現(xiàn)，Tysam參考了David Page在CIFAR-10圖像分類數(shù)據(jù)集上有效訓練殘差網(wǎng)絡的代碼，但幾乎是從頭編寫的。

這種做法的好處是，Tysam code現(xiàn)在保持著CIFAR-10上單GPU訓練速度的世界紀錄——在A100上不到10秒！

在David Page代碼的基礎上，Tysam做了如下改動：

壓縮和激勵層（squeeze and excite layers）
非常多的超參數(shù)調整
復雜架構修剪（miscellaneous architecture trimmings）
更改內存格式，更好地使用張量核心等
其他

與原始代碼相比，Tysam的代碼全部都在一個文件中，而且非常扁平flat。

此外，所有的管線也都已經(jīng)公開，有興趣的朋友可以在里面快速探索自己的想法。

至于為什么會選擇ConvNet，而不是現(xiàn)在最流行的Transformer呢？

在Tysam看來，雖然Transformer是新事物，但信息從訓練集中壓縮到神經(jīng)網(wǎng)絡中的方式，實際上始終都遵循著同樣的一套基本數(shù)學原理。

Tysam希望，在一兩年內讓這個代碼庫在2秒內完成訓練，在四到五年內在1秒內完成訓練。

Karpathy瘋狂點贊

對于Tysam的代碼，Karpathy贊嘆不已，他絲毫不吝嗇自己的溢美之辭——

「我喜歡這種極簡的設計美學，它讓閱讀代碼不再是精疲力竭的尋寶過程。你不需要把代碼散布在復雜的嵌套目錄結構之中，然后用各種指令把事情搞得過于復雜?！?/span>

隨后，Karpathy還表示，這讓他想起了自己在12年前做的測試：

12年前，「肉眼」分類實現(xiàn)了94%的準確率，用時未知。

12年后，600行代碼實現(xiàn)了94%的準確率，用時不到10秒。

當時的過程大概是：

在一個平平無奇的周末，Karpathy突然想看看人類在這個數(shù)據(jù)集上能達到什么樣的精度。

于是就快速地手搓了一段MATLAB代碼用于測試。

界面長這個樣子：

在測試過程中，程序首先會一張一張圖片地展示，然后Karpathy會按下0-9（10個鍵），對應這張圖他所認為的類別（10個分類）。

在經(jīng)過了不知道多長時間之后，Karpathy終于完成了400張圖片的分類，準確率為94%左右。

那么，為什么不是100%呢？

Karpathy：「因為有些圖像真的太扯了！」

比如下面這幾個：

也難怪Karpathy當年預測AI所能達到的極限是85-90%（笑）。

當然，后來的結果大家也都知道了，CIFAR-10分類的準確率早就被刷到了99.5%。

著名的CIFAR-10

眾所周知，CIFAR-10是由Geoffrey Hinton和他的學生Alex Krizhevsky和Ilya Sutskever整理的一個用于識別普適物體的小型數(shù)據(jù)集，也是如今機器學習研究中最廣泛使用的數(shù)據(jù)集之一。

CIFAR-10數(shù)據(jù)集由10類32x32的彩色圖片組成，總共包含60000張圖片，其中50000張圖片作為訓練集，10000張圖片作為測試集。

這10個類別為：飛機（ airplane ）、汽車（ automobile ）、鳥類（ bird ）、貓（ cat ）、鹿（ deer ）、狗（ dog ）、蛙類（ frog ）、馬（ horse ）、船（ ship ）和卡車（ truck ）。

參考資料：

https://github.com/tysam-code/hlb-CIFAR10

特斯拉前AI總監(jiān)Karpathy瘋狂點贊：單張A100，10秒訓練CIFAR-10，破世界紀錄！

新智元報道

【新智元導讀】這位小哥在單張A100上，10秒完成了CIFAR-10訓練，打破了世界紀錄，還引來了Karpathy嘖嘖稱贊。

特斯拉前AI總監(jiān)Karpathy瘋狂點贊：單張A100，10秒訓練CIFAR-10，破世界紀錄！

【新智元導讀】這位小哥在單張A100上，10秒完成了CIFAR-10訓練，打破了世界紀錄，還引來了Karpathy嘖嘖稱贊。