VideoCrafter視頻生成和編輯工具箱

VideoCrafter 是一個(gè)用于制作視頻內(nèi)容的開源視頻生成和編輯工具箱。

目前包括以下三種型號：

Base T2V：通用文本到視頻生成

提供基于潛在視頻擴(kuò)散模型 (LVDM) 的基本文本到視頻 (T2V) 生成模型，可以根據(jù)輸入的文本描述合成逼真的視頻。

"Campfire at night in a snowy forest with starry sky in the background."
“晚上在白雪皚皚的森林里篝火晚會(huì)，背景是星空。”

"Cars running on the highway at night."
“晚上在高速公路上行駛的汽車。”

VideoLoRA：使用 LoRA 生成個(gè)性化文本到視頻

基于預(yù)訓(xùn)練的 LVDM，可以通過在一組描述特定概念的視頻剪輯或圖像上對其進(jìn)行微調(diào)，來創(chuàng)建自己的視頻生成模型。

以下是 VideoLoRA 模型的生成結(jié)果，這些模型在四種不同風(fēng)格的視頻剪輯上進(jìn)行了訓(xùn)練。

通過提供描述視頻內(nèi)容的句子以及 LoRA 觸發(fā)詞（在 LoRA 訓(xùn)練期間指定），它可以生成具有所需風(fēng)格（或主題/概念）的視頻。

將 A monkey is playing a piano, ${trigger_word} 輸入四個(gè)VideoLoRA模型的結(jié)果：

"Loving Vincent style" 

"frozenmovie style" “冰凍電影風(fēng)格”

"MakotoShinkaiYourName style" “新海誠你的名字風(fēng)格”

"coco style" “可可風(fēng)格”

VideoControl：具有更多條件控制的視頻生成

通過在 T2V 模型上插入一個(gè)輕量級的適配器模塊，可以獲得具有更詳細(xì)的控制信號（如深度）的生成結(jié)果。

input text: Ironman is fighting against the enemy, big fire in the background, photorealistic, 4k