不到1000行代碼，GitHub 1400星，天才黑客開(kāi)源深度學(xué)習(xí)框架tinygrad

在深度學(xué)習(xí)時(shí)代，谷歌、Facebook、百度等科技巨頭開(kāi)源了多款框架來(lái)幫助開(kāi)發(fā)者更輕松地學(xué)習(xí)、構(gòu)建和訓(xùn)練不同類(lèi)型的神經(jīng)網(wǎng)絡(luò)。而這些大公司也花費(fèi)了很大的精力來(lái)維護(hù) TensorFlow、PyTorch 這樣龐大的深度學(xué)習(xí)框架。

除了這類(lèi)主流框架之外，開(kāi)發(fā)者們也會(huì)開(kāi)源一些小而精的框架或者庫(kù)。比如今年 4 月份，特斯拉人工智能部門(mén)主管 Andrej Karpathy 開(kāi)源了其編寫(xiě)的微型 autograd 引擎 micrograd，該引擎還用 50 行代碼實(shí)現(xiàn)了一個(gè)類(lèi) PyTorch api 的神經(jīng)網(wǎng)絡(luò)庫(kù)。目前，micrograd 項(xiàng)目的 GitHub star 量達(dá)到 1200 星。

不久前，天才黑客 George Hotz（喬治 · 霍茲）開(kāi)源了一個(gè)小型 Autograd Tensor 庫(kù) tinygrad，它介于 PyTorch 和 micrograd 之間，能夠滿足做深度學(xué)習(xí)的大部分要求。上線不到一個(gè)月，該項(xiàng)目在 GitHub 上已經(jīng)獲得 1400 星。

pip3 install tinygrad --upgrade

from tinygrad.tensor import Tensor
x = Tensor.eye(3)
y = Tensor([[2.0,0,-2.0]])
z = y.matmul(x).sum()
z.backward()
print(x.grad)  # dz/dx
print(y.grad)  # dz/dy

import torch
x = torch.eye(3, requires_grad=True)
y = torch.tensor([[2.0,0,-2.0]], requires_grad=True)
z = y.matmul(x).sum()
z.backward()
print(x.grad)  # dz/dx
print(y.grad)  # dz/dy

from tinygrad.tensor import Tensor
import tinygrad.optim as optim
from tinygrad.utils import layer_init_uniform

class TinyBobNet:
  def __init__(self):
    self.l1 = Tensor(layer_init_uniform(784, 128))
    self.l2 = Tensor(layer_init_uniform(128, 10))

  def forward(self, x):
    return x.dot(self.l1).relu().dot(self.l2).logsoftmax()

model = TinyBobNet()
optim = optim.SGD([model.l1, model.l2], lr=0.001)

# ... and complete like pytorch, with (x,y) data

out = model.forward(x)
loss = out.mul(y).mean()
loss.backward()
optim.step()

from tinygrad.tensor import Tensor
(Tensor.ones(4,4).cuda() + Tensor.ones(4,4).cuda()).cpu()

ipython3 examples/efficientnet.py https://upload.wikimedia.org/wikipedia/commons/4/41/Chicken.jpg

ipython3 examples/efficientnet.py webcam

python -m pytest

推薦閱讀

• RAMMER：一種可以成倍提升深度學(xué)習(xí)計(jì)算速度的編譯框架｜OSDI 2020
  

• 回爐重造：計(jì)算圖——深入理解深度學(xué)習(xí)框架細(xì)節(jié)
  

• 如何判斷一個(gè)深度學(xué)習(xí)框架的質(zhì)量？

添加極市小助手微信（ID : cvmart2），備注：姓名-學(xué)校/公司-研究方向-城市（如：小極-北大-目標(biāo)檢測(cè)-深圳），即可申請(qǐng)加入極市目標(biāo)檢測(cè)/圖像分割/工業(yè)檢測(cè)/人臉/醫(yī)學(xué)影像/3D/SLAM/自動(dòng)駕駛/超分辨率/姿態(tài)估計(jì)/ReID/GAN/圖像增強(qiáng)/OCR/視頻理解等技術(shù)交流群：每月大咖直播分享、真實(shí)項(xiàng)目需求對(duì)接、求職內(nèi)推、算法競(jìng)賽、干貨資訊匯總、與?10000+來(lái)自港科大、北大、清華、中科院、CMU、騰訊、百度等名校名企視覺(jué)開(kāi)發(fā)者互動(dòng)交流~

△長(zhǎng)按添加極市小助手

△長(zhǎng)按關(guān)注極市平臺(tái)，獲取最新CV干貨

覺(jué)得有用麻煩給個(gè)在看啦~??