Mochi DiffusionMac 上原生運行 Stable Diffusion

Mochi Diffusion 可在 Mac 上原生運行 Stable Diffusion，本應用內(nèi)置 Apple 的 Core ML Stable Diffusion 框架 ，以實現(xiàn)在搭載 Apple 芯片的 Mac 上用極低的內(nèi)存占用發(fā)揮出最優(yōu)性能。

功能

• 極致性能和極低內(nèi)存占用 (使用神經(jīng)網(wǎng)絡引擎時 ~150MB)
• 在所有搭載 Apple 芯片的 Mac 上充分發(fā)揮神經(jīng)網(wǎng)絡引擎的優(yōu)勢
• 生成圖像時無需聯(lián)網(wǎng)
• 圖像轉(zhuǎn)圖像（也被稱為 Image2Image）
• 在圖像的 EXIF 信息中存儲所有的關鍵詞（在訪達的“顯示簡介”窗口中查看）
• 使用 RealESRGAN 放大生成的圖像
• 自動保存 & 恢復圖像
• 自定義 Stable Diffusion Core ML 模型
• 無需擔心損壞的模型
• 使用 macOS 原生框架 SwiftUI 開發(fā)

下載

在 發(fā)行 頁面下載最新版本。

運行

在初次運行模型時, 神經(jīng)網(wǎng)絡引擎可能需要約2分鐘編譯緩存，后續(xù)運行速度會顯著提高。

計算單元

• CPU 和神經(jīng)網(wǎng)絡引擎 能很好地平衡性能和內(nèi)存占用
• CPU 和 GPU 在 M1 Max/Ultra 及后續(xù)型號上可能更快，但會占用更多內(nèi)存

你需要根據(jù)不同的計算單元選擇對應的模型 (詳情見模型部分)。

模型

需要自行轉(zhuǎn)換或下載 Core ML 模型以使用 Mochi Diffusion。

這里上傳了幾個已經(jīng)轉(zhuǎn)換好的模型

1. 轉(zhuǎn)換 或下載 Core ML 模型
   • split_einsum 版本適用于包括神經(jīng)網(wǎng)絡引擎在內(nèi)的所有計算單元
   • original 版本僅適用于 CPU 和 GPU
2. 默認情況下，應用程序的模型文件夾將創(chuàng)建在您的主目錄下。 可以在“設置”下自定義此位置
3. 在模型文件夾中，你可以新建一個文件夾，用自己想在應用內(nèi)顯示的名字為其重命名，再將轉(zhuǎn)換好的模型放到文件夾中
4. 你的文件夾路徑應該像這樣:

<主目錄>/
└── MochiDiffusion/
    └── models/
        ├── stable-diffusion-2-1_split-einsum_compiled/
        │   ├── merges.txt
        │   ├── TextEncoder.mlmodelc
        │   ├── Unet.mlmodelc
        │   ├── VAEDecoder.mlmodelc
        │   ├── VAEEncoder.mlmodelc
        │   └── vocab.json
        ├── ...
        └── ...

兼容性

• Apple 芯片的 Mac (M1 及后續(xù))
• macOS Ventura 13.1 以上
• Xcode 14.2 (自行構建)

隱私

所有計算均在本地完成并絕對不會上傳任何數(shù)據(jù)。