MLC LLM本地大語言模型

MLC LLM 是一種通用解決方案，它允許將任何語言模型本地部署在各種硬件后端和本地應(yīng)用程序上。

此外，MLC LLM 還提供了一個高效的框架，供使用者根據(jù)需求進(jìn)一步優(yōu)化模型性能。MLC LLM 旨在讓每個人都能在個人設(shè)備上本地開發(fā)、優(yōu)化和部署 AI 模型，而無需服務(wù)器支持，并通過手機和筆記本電腦上的消費級 GPU 進(jìn)行加速。

MLC LLM 支持的平臺包括：

• iPhone

• Metal GPU 和英特爾 / ARM MacBook;

• 在 Windows 和 Linux 上支持通過 Vulkan 使用 AMD 和 NVIDIA GPU；

• 在 Windows 和 Linux 上 通過 CUDA 使用 NVIDIA GPU；

• 瀏覽器上的 WebGPU（借助 MLC LLM 的配套項目 Web LLM）。

MLC LLM 的整體 WorkFlow：