煉丹神器 Aim，高效管理煉丹實(shí)驗(yàn)
點(diǎn)擊下方“AI算法與圖像處理”，一起進(jìn)步！
重磅干貨，第一時間送達(dá)
在我們煉丹的時候，經(jīng)常面臨需要做多組實(shí)驗(yàn),但是實(shí)驗(yàn)結(jié)果又不好管理的情況。今天看 Github 的時候，發(fā)現(xiàn)了一個不錯的機(jī)器學(xué)習(xí)實(shí)驗(yàn)管理工具，可以很方便的集成進(jìn) PyTorch、 TensorFlow 和 XGBoost 等知名的訓(xùn)練框架。
廢話不說，先上鏈接：
https://github.com/aimhubio/aim
Aim 的 logo 和介紹如下：
翻譯過來就是：Aim 記錄你的訓(xùn)練過程，還可以用很漂亮的 UI 界面來比較多組實(shí)驗(yàn)，另外，還有 API 工具去用代碼查詢多組實(shí)驗(yàn)記錄。
介紹
Aim 是一個開源、自托管的 ML 實(shí)驗(yàn)跟蹤工具。Aim 擅長跟蹤大量（1000 次級別）運(yùn)行，可以用高性能和漂亮的 UI 進(jìn)行訓(xùn)練結(jié)果的查看和比較。
您不僅可以通過 UI 使用 Aim，還可以通過代碼查詢訓(xùn)練記錄，以實(shí)現(xiàn)自動化分析。Aim 的使命是讓 AI 開發(fā)工具大眾化。
看官方展示的動圖，管理頁面的確挺酷炫的。
目前? Aim 已經(jīng)集成了多個知名的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)訓(xùn)練框架，包括 PyTorch、TensorFlow、Keras、XGBoost。
安裝和使用
Aim 的安裝和使用真的挺簡單的。元峰也安裝使用了一下，的確簡單。
step1 安裝
pip3 install aim
step2 把 Aim 插入訓(xùn)練代碼
Aim 可以很簡單的插入 PyTorch、TF 等框架，并實(shí)現(xiàn)了很多插件。以 PyTorch 為例，示例代碼：
from?aim?import?Run,?Image,?Distribution
??
#?Initialize?a?new?run
run?=?Run()
#?Log?run?parameters
run["hparams"]?=?{
????"learning_rate":?0.001,
????"batch_size":?32,
}
#?Log?artefacts
for?step?in?range(1000):
????#?Log?metrics
????run.track(loss_val,?name='loss',?step=step,?context={?"subset":?"train"?})
????run.track(accuracy_val,?name='acc',?step=step,?context={?"subset":?"train"?})
??
????#?Log?images
????run.track(Image(tensor_or_pil,?caption),?name='gen',?step=step,?context={?"subset":?"train"?})
????#?Log?distributions
????run.track(Distribution(tensor),?name='gradients',?step=step,?context={?"type":?"weights"?})
step 3 打開 UI 界面
在訓(xùn)練代碼所在的目錄，打開終端，直接aim up
然后在瀏覽器輸入它給出的 訪問地址，在瀏覽器打開，就可以看到頁面了， Aim提供的工具還挺多的。
例如，指標(biāo)管理：
圖片可視化：
參數(shù)可視化：
我的實(shí)驗(yàn)
因?yàn)樵绯繒r間有限，我只在 PyTorch 上進(jìn)行了一個簡單的實(shí)驗(yàn)，插入的代碼也很簡單：
run.track(loss,?name='train_loss',?step=batch_idx,?context={?"subset":?"train"?})
只記錄了一個 loss 的變化。
這個工具真的挺智能的，如果我們啟動多次訓(xùn)練，它會自動的記錄多組實(shí)驗(yàn)。例如，我啟動了 2 次訓(xùn)練，可以看到它自動的記錄了 2次 實(shí)驗(yàn)的結(jié)果。
其他的機(jī)器學(xué)習(xí)管理工具列表：
除了本文介紹的 Aim 外，還有一些知名的 AI 實(shí)驗(yàn)管理工具，打開可以自行在 Github 查看。
wandb.ai
comet.ml
neptune.ai
allegro trains
mlflow
guild.ai
sacred
test-tube
tensorboard
時間有限，我要去上班搬磚了，今天的分享先簡單一些，抱歉～
交流群
歡迎加入公眾號讀者群一起和同行交流，目前有美顏、三維視覺、計(jì)算攝影、檢測、分割、識別、NeRF、GAN、算法競賽等微信群
個人微信（如果沒有備注不拉群！） 請注明：地區(qū)+學(xué)校/企業(yè)+研究方向+昵稱
下載1：何愷明頂會分享
在「AI算法與圖像處理」公眾號后臺回復(fù)：何愷明，即可下載。總共有6份PDF，涉及 ResNet、Mask RCNN等經(jīng)典工作的總結(jié)分析
下載2：終身受益的編程指南：Google編程風(fēng)格指南
在「AI算法與圖像處理」公眾號后臺回復(fù)：c++，即可下載。歷經(jīng)十年考驗(yàn)，最權(quán)威的編程規(guī)范！
下載3 CVPR2021 在「AI算法與圖像處理」公眾號后臺回復(fù)：CVPR，即可下載1467篇CVPR?2020論文 和 CVPR 2021 最新論文
