陳天奇：在深度學(xué)習(xí)框架之間共享張量——內(nèi)存張量結(jié)構(gòu)DLPack的PythonAPI來了

---

  新智元報(bào)道 

來源：推特

編輯：keyu

大家知道DLPack嗎：

深度學(xué)習(xí)從業(yè)人員或多或少都會(huì)有了解，諸如 Tensorflow、PyTorch 等深度學(xué)習(xí)框架，確實(shí)為深度學(xué)習(xí)的快速原型設(shè)計(jì)和模型部署提供了強(qiáng)大的工具箱。

但是，不幸的是，它們的易用性通常以碎片化為代價(jià)：

他們僅僅限于對(duì)每個(gè)框架單獨(dú)使用，如果對(duì)框架進(jìn)行垂直整合，那么開發(fā)流程可以適用于常見用例，但實(shí)際上，打破常規(guī)可能會(huì)是個(gè)非常棘手的問題。

一種解決的方法是，在內(nèi)存中直接將張量從一個(gè)框架傳遞到另一個(gè)框架，而不發(fā)生任何數(shù)據(jù)復(fù)制或拷貝。

而DLPack，就是張量數(shù)據(jù)結(jié)構(gòu)的中間內(nèi)存表示標(biāo)準(zhǔn)，它是一種開放的內(nèi)存張量結(jié)構(gòu)，用于在框架之間共享張量。

它提供了一個(gè)簡單、可移植的內(nèi)存數(shù)據(jù)結(jié)構(gòu)：

DLPack使：

• 在深度學(xué)習(xí)框架之間更輕松地共享操作員。

• 更容易包裝供應(yīng)商級(jí)別的運(yùn)營商實(shí)施，允許在引入新設(shè)備/操作時(shí)進(jìn)行協(xié)作。

• 快速交換后端實(shí)現(xiàn)，如不同版本的BLAS

• 對(duì)于最終用戶來說，這可以帶來更多的運(yùn)營商，并且可以在框架之間混合使用。