Nebullvm將 AI 推理速度提高 5-20 倍

Nebullvm 利用多個(gè)深度學(xué)習(xí)（DL）編譯器提高 AI 推理能力，只需幾行代碼就能將 AI 推理的速度提高 5-20 倍.

這個(gè)開源庫(kù)將你的 AI 模型作為輸入，并輸出一個(gè)優(yōu)化版本，在你的機(jī)器上運(yùn)行速度快 5-20 倍 。Nebullvm 測(cè)試多個(gè)深度學(xué)習(xí)編譯器，以確定在你的特定硬件上執(zhí)行你的模型的最佳方式，而不影響你的模型的準(zhǔn)確性。

nebullvm 的目標(biāo)是讓任何開發(fā)者都能從 DL 編譯器中受益，而不必花費(fèi)大量的時(shí)間來(lái)理解、安裝、測(cè)試和調(diào)試這項(xiàng)強(qiáng)大的技術(shù)。

• Deep learning model agnostic。nebullvm 支持所有最流行的架構(gòu)，如 transformers、LSTM、CNN 和 FCN。
• Hardware agnostic。該庫(kù)現(xiàn)在可以在大多數(shù) CPU 和 GPU 上工作，并將很快支持 TPU 和其他深度學(xué)習(xí)專用 ASIC。
• Framework agnostic。nebullvm 支持最廣泛使用的框架（PyTorch、TensorFlow和Hugging Face），并將很快支持更多框架。
• 安全。一切都在你的機(jī)器上本地運(yùn)行。
• 易于使用。只需幾行代碼就可以安裝庫(kù)和優(yōu)化你的模型。
• 充分利用最好的深度學(xué)習(xí)編譯器。有大量的 DL 編譯器可以優(yōu)化你的 AI 模型在硬件上的運(yùn)行方式。開發(fā)人員需要花費(fèi)大量的時(shí)間在每個(gè)模型部署時(shí)安裝和測(cè)試它們。這個(gè)庫(kù)為你做了這個(gè)工作。