Web LLM將語言模型聊天直接帶到 Web 瀏覽器上
Web LLM 是一個可將大型語言模型和基于 LLM 的聊天機(jī)器人引入 Web 瀏覽器的項目。一切都在瀏覽器內(nèi)運(yùn)行，無需服務(wù)器支持，并使用 WebGPU 加速。這開辟了許多有趣的機(jī)會，可以為每個人構(gòu)建 AI 助手，并在享受 GPU 加速的同時實現(xiàn)隱私。
Web LLM 中采用的關(guān)鍵技術(shù)是機(jī)器學(xué)習(xí)編譯（MLC）。該解決方案建立在開源生態(tài)系統(tǒng)的基礎(chǔ)上，包括 Hugging Face、來自 LLaMA 和 Vicuna 的模型變體、wasm 和 WebGPU；主要流程則建立在 Apache TVM Unity 之上。
- 在具有原生動態(tài)形狀支持的 TVM 中烘焙語言模型的 IRModule，避免了填充到最大長度的需要，并減少了計算量和內(nèi)存使用量。
- TVM 的 IRModule 中的每個功能都可以進(jìn)一步轉(zhuǎn)換并生成可運(yùn)行的代碼，這些代碼可以普遍部署在最小 tvm 運(yùn)行時（JavaScript 是其中之一）支持的任何環(huán)境中。
- TensorIR是用于生成優(yōu)化程序的關(guān)鍵技術(shù)。開發(fā)團(tuán)隊通過結(jié)合專家知識和自動調(diào)度程序快速轉(zhuǎn)換 TensorIR 程序來提供高效的解決方案。
- 啟發(fā)式算法用于優(yōu)化輕量級運(yùn)算符以減輕工程壓力。
- 利用 int4 量化技術(shù)來壓縮模型權(quán)重，以便它們可以適合內(nèi)存。
- 構(gòu)建靜態(tài)內(nèi)存規(guī)劃優(yōu)化以跨多個層重用內(nèi)存。
- 使用Emscripten和 TypeScript 構(gòu)建一個可以部署生成的模塊的 TVM web 運(yùn)行時。
- 還利用了 SentencePiece 分詞器的 wasm 端口。
具體來說，團(tuán)隊大量使用了 TVM unity，它實現(xiàn)了這種 Python 優(yōu)先的交互式 MLC 開發(fā)體驗，使得能夠輕松地編寫新的優(yōu)化。
TVM unity 還提供了一種在生態(tài)系統(tǒng)中組合新解決方案的簡便方法。Web LLM 開發(fā)團(tuán)隊將繼續(xù)帶來進(jìn)一步的優(yōu)化，例如融合量化內(nèi)核，并將它們帶到更多平臺上。
LLM 模型的一個關(guān)鍵特征是模型的動態(tài)特性。由于解碼和編碼過程依賴于隨著令牌大小而增長的計算，Web LLM 團(tuán)隊利用 TVM 統(tǒng)一中一流的動態(tài)形狀支持，通過符號整數(shù)表示序列維度。使得其能夠提前計劃靜態(tài)分配感興趣的序列窗口所需的所有內(nèi)存，而無需填充。
還利用張量表達(dá)式的集成來快速表達(dá)部分張量計算，例如直接旋轉(zhuǎn)嵌入，而無需將它們具體化為全張量矩陣計算。
除了 WebGPU 運(yùn)行時，Web LLM??????? 還提供使用本地 GPU 運(yùn)行時進(jìn)行本機(jī)部署的選項。因此它們既可以用作在本機(jī)環(huán)境上部署的工具，也可以用作比較本機(jī) GPU 驅(qū)動程序性能和 WebGPU 的參考點(diǎn)。