ComfyUI DynamiCrafter教程｜顛覆AI視頻生成！分分鐘實現(xiàn)圖轉(zhuǎn)視頻，細(xì)節(jié)也能完美調(diào)整

    

     

      

       

        

         
本文約1200字，建議閱讀5分鐘
         

          港中文、騰訊聯(lián)合強(qiáng)推，真的好用！
         
        
       
      
     
    

北大、騰訊 AI Lab 聯(lián)合推出 AI 視頻生成工具 DynamiCrafter：只需輸入一張普通的靜態(tài)圖，加上幾句文字引導(dǎo)，瞬間就能生成超級逼真的動態(tài)視頻！基于 ComfyUI 的 DynamiCrafter 可以讓用戶通過改變節(jié)點隨心所欲地實現(xiàn)不同功能，賦予用戶更高的自由度和創(chuàng)作空間。

近日，由香港中文大學(xué)、騰訊 AI Lab 等聯(lián)合推出的 AI 視頻生成工具 DynamiCrafter 一經(jīng)上線便引起了巨大反響。只需要輸入一張普普通通的靜態(tài)圖，加上幾句簡單的文字引導(dǎo)，瞬間就能生成超逼真的動態(tài)視頻！

上篇教程小編已經(jīng)帶大家體驗了一把 DynamiCrafter 的 WebUI 版使用方法，該方法簡單易用，小白也能分分鐘上手，但想要更細(xì)致地調(diào)整局部細(xì)節(jié)，WebUI 就有點局限了。

相較而言，ComfyUI 基于節(jié)點式的界面和工作流，用戶可以通過改變節(jié)點隨心所欲地實現(xiàn)不同功能，能夠更精細(xì)化地控制整個流程，賦予用戶更高的自由度和創(chuàng)作空間，實現(xiàn)個性化定制！

但 ComfyUI DynamiCrafter 的使用門檻較高，配置過程也很復(fù)雜，用戶在使用過程中還容易出現(xiàn)節(jié)點連接錯誤、內(nèi)存不足、算力限制等一系列難題。

為了解決上述問題，HyperAI超神經(jīng)上線了「ComfyUI DynamiCrafter 圖生視頻工作流」教程。該教程幫助大家提前下載模型，為用戶搭建好了工作流，一鍵即可使用，再也不用擔(dān)心節(jié)點連接錯誤！

教程地址：

為了讓大家更快上手，B 站 up 主「獨(dú)立研究員-星空」錄制了生動有趣的教學(xué)視頻。

Demo 運(yùn)行

1. 登錄 hyper.ai，在「教程」頁面，選擇「ComfyUI DynamiCrafter 圖生視頻工作流」，點擊「在線運(yùn)行此教程」。

2. 頁面跳轉(zhuǎn)后，點擊右上角「克隆」，將該教程克隆至自己的容器中。

3. 點擊右下角「下一步：選擇算力」。

4. 跳轉(zhuǎn)后，選擇「NVIDIA GeForce RTX 4090」，點擊「下一步：審核」。新用戶使用下方邀請鏈接注冊，可獲得 4 小時 RTX 4090 + 5 小時 CPU 的免費(fèi)時長！

HyperAI超神經(jīng)專屬邀請鏈接（直接復(fù)制到瀏覽器打開）：

5. 點擊「繼續(xù)執(zhí)行」，等待分配資源，首次克隆需等待 3-5 分鐘左右的時間。當(dāng)狀態(tài)變?yōu)椤高\(yùn)行中」后，點擊「打開工作空間」。

若超過 10 分鐘仍處于「正在分配資源」?fàn)顟B(tài)，可嘗試停止并重啟容器；若重啟仍無法解決，請在官網(wǎng)聯(lián)系平臺客服。

6. 該教程包含兩個工作流，下面將逐一為大家演示：
    * 通過圖片和文本提示生成視頻；
    * 通過起始幀、結(jié)束幀和提示詞生成視頻。

通過圖片和文本提示生成視頻

1. 新建一個終端，運(yùn)行「 apt-get update && apt-get install libgl1 -y --fix-missing」命令。

2. 運(yùn)行「./run.sh」命令，稍等片刻，當(dāng)命令行出現(xiàn)「https://0.0.0.0:8080」后，拷貝右側(cè) API 地址到瀏覽器地址欄中打開 Gradio 界面。請注意，用戶需在實名認(rèn)證后才能使用 API 地址訪問功能。

3. 打開 ComfyUI 界面后，點擊「Switch Locale」將語言切換成中文，隨后點擊「加載默認(rèn)」加載圖生視頻工作流。

4. 上傳一張圖片，在文本框輸入 Prompt 后（例如：a dog is driving car），點擊「添加提示詞隊列」即可生成視頻。

5. 小狗已經(jīng)會開車了。

通過圖片和文本提示生成視頻

1. 點擊「加載」右側(cè)的下拉箭頭，選擇「圖到圖生視頻工作流」。

2. 切換工作流后，上傳一張起始幀圖片、一張結(jié)束圖片以及 Prompt（例如：a man is walking towards a tree），點擊「添加提示詞隊列」，即可生成視頻。

目前，HyperAI超神經(jīng)官網(wǎng)已上線了數(shù)百個精選的機(jī)器學(xué)習(xí)相關(guān)教程，并整理成 Jupyter Notebook 的形式。

點擊鏈接即可搜索相關(guān)教程及數(shù)據(jù)集：