以假見真，5 款 AI 視頻生成工具丨AI 情報(bào)局

“你知道這是假的，所以需要思考什么是真的。”          

歡迎來到“AI情報(bào)局”，我們提供最熱的AI產(chǎn)品推薦、人工智能最新動(dòng)態(tài)和創(chuàng)新案例。幫助AI開發(fā)者、創(chuàng)業(yè)者、產(chǎn)品等專業(yè)人士保持信息的前沿性，促進(jìn)知識(shí)的共享與交流。

添加vx：aitechreview向我們投稿，無論是研究成果、項(xiàng)目案例還是行業(yè)見解，只要內(nèi)容豐富、觀點(diǎn)獨(dú)特，我們都期待與大家一起探討，推動(dòng)AI技術(shù)與應(yīng)用的進(jìn)步。

隨著人工智能技術(shù)的飛速發(fā)展，AI在多媒體創(chuàng)作領(lǐng)域的應(yīng)用也日益廣泛。其中，AI生成視頻技術(shù)逐漸嶄露頭角，為視頻制作帶來了前所未有的便捷。

從自動(dòng)剪輯、特效添加，到智能配音、字幕生成，甚至自動(dòng)通過AI生成視頻的技術(shù)正逐步改變著傳統(tǒng)視頻制作的流程。

因此“眼見為實(shí)，耳聽為真”或許在不久的將來被以下這些AI生成工具給打破。

01

第一梯隊(duì)Runway

公司名片

Runway創(chuàng)立于2018年，團(tuán)隊(duì)目前是AI生成圖像、視頻領(lǐng)域的第一梯隊(duì)，也是其在2021年為Stable Diffusion創(chuàng)建了第一個(gè)版本。在2023年谷歌領(lǐng)投的D輪融資中募集到約一億美元，估值達(dá)到15億美元，成為生成式AI領(lǐng)域的獨(dú)角獸。

產(chǎn)品特點(diǎn)

1. Runway的核心功能是利用生成式AI技術(shù)生成視頻內(nèi)容。用戶可以通過輸入文本描述、關(guān)鍵詞、樣式提示等，通過運(yùn)動(dòng)筆刷（Motion Brush）和多運(yùn)動(dòng)畫筆讓AI自動(dòng)生成相應(yīng)的視頻片段，無需傳統(tǒng)視頻制作中的復(fù)雜拍攝和后期處理步驟。

1. 優(yōu)點(diǎn)：直觀的交互界面、高保真度、實(shí)時(shí)反饋與迭代編輯以及集成Adobe Creative Suite、Unity等工具。

缺點(diǎn)：模型傾向于更精細(xì)的視頻制作，但在精細(xì)度上成品的制作不支持側(cè)臉，也不支持識(shí)別動(dòng)物面部，相對(duì)于中文的口型，英文口型表現(xiàn)會(huì)更好。同樣的需求，使用其它相關(guān)領(lǐng)域的數(shù)字人生成比Runway性價(jià)比更高

使用場(chǎng)景

Runway適用于影視制作、廣告營銷、教育培訓(xùn)、藝術(shù)與設(shè)計(jì)以及游戲開發(fā)等，視頻創(chuàng)作者、市場(chǎng)營銷專業(yè)人士以及教育工作者提供技術(shù)支持。通過Runway進(jìn)行圖片生成視頻也是目前效率上最接近商業(yè)產(chǎn)出的AI視頻方案。

體驗(yàn)鏈接：https://app.runwayml.com

02

國人彎道超車的Pika

公司名片

Pika 是美國AI初創(chuàng)公司Pika Labs開發(fā)的視頻生成工具，該公司由華人郭文景和孟晨琳共同創(chuàng)辦，為用戶提供基于文本和圖像的視頻創(chuàng)作。截至2024年，公司估值達(dá)14億人民幣

產(chǎn)品特點(diǎn)

Pika支持用戶通過輸入詳細(xì)的文本描述或腳本生成視頻。通過文本AI算法會(huì)據(jù)此自動(dòng)生成相應(yīng)的視覺場(chǎng)景和動(dòng)態(tài)畫面。另一邊Pika支持上傳靜態(tài)圖像作為素材，并將這些圖像轉(zhuǎn)化為動(dòng)態(tài)視頻。

優(yōu)點(diǎn)：在視頻生成后Pika提供了視頻元素編輯、樣式轉(zhuǎn)換、尺寸調(diào)整、視覺效果優(yōu)化以及Lip Sync（唇形同步）等技術(shù)支持，為視頻中的角色添加語音對(duì)白。再添加適當(dāng)?shù)倪\(yùn)動(dòng)、過渡效果以及可能的附加元素，即可微調(diào)控制視頻的內(nèi)容。實(shí)現(xiàn)與語音內(nèi)容精確匹配的嘴唇同步動(dòng)畫效果。

缺點(diǎn)：目前視頻的不可控因素仍然過多，只能生成最長7秒的視頻，在生成的視頻精確度和保真方面也不理想。

使用場(chǎng)景

目前Pika支持生成4秒長度的視頻，且操作簡單，初次接觸者也沒有使用門檻。但鑒于生成是視頻局限于4秒的長度，輸出的成品并不足以支撐視頻的價(jià)值需求。通過Pika生成的視頻，需要人工的后期處理，通過目前的剪輯后期手段才能成為完整的有價(jià)值的內(nèi)容。

體驗(yàn)網(wǎng)址：https://pika.art/

03

仍未變現(xiàn)的Stable Video

公司名片

Stability AI成立于2020年，并在短短三年內(nèi)迅速崛起，在2022年10月17日宣布獲得了1.01億美元的融資，其估值達(dá)到了驚人的10億美元，成為了科技界的獨(dú)角獸之一。

產(chǎn)品特點(diǎn)

Stable Video Diffusion是由Stability AI開發(fā)的一款開源AI視頻生成工具，基于穩(wěn)定擴(kuò)散圖像模型構(gòu)建，可以將文本和圖像輸入轉(zhuǎn)換成生動(dòng)的場(chǎng)景，并運(yùn)用到成實(shí)景電影創(chuàng)作。它適用于媒體、娛樂、教育和市場(chǎng)營銷等領(lǐng)域的視頻應(yīng)用。

使用場(chǎng)景

該模型目前僅以研究版本發(fā)布，主要用于收集關(guān)于安全性和質(zhì)量的反饋，以便于未來的完善和正式發(fā)布。它支持將單一圖像進(jìn)行多視角合成，并可通過對(duì)多視圖數(shù)據(jù)集進(jìn)行微調(diào)來適應(yīng)各種下游任務(wù)。

此外，Stability AI還宣稱開發(fā)基于此基礎(chǔ)模型之上的一系列新模型，以構(gòu)建類似于穩(wěn)定擴(kuò)散的生態(tài)系統(tǒng)。

優(yōu)點(diǎn)：Stable Video Diffusion能夠生成14幀到25幀的視頻，幀率可在3到30幀每秒之間自定義，處理時(shí)間通常不超過2分鐘。以此為前提，Stability AI提供了一個(gè)非商業(yè)社區(qū)許可證，允許用戶免費(fèi)使用該模型進(jìn)行研究和其他非商業(yè)目的。

缺點(diǎn)：功能運(yùn)用略復(fù)雜，在功能強(qiáng)大的前提下是需要使用者對(duì)視頻的分鏡、光影的理解。與大部分情況下期待的AI自動(dòng)生成有一定的差距。

體驗(yàn)網(wǎng)址：https://www.stablevideo.com/

04

被市場(chǎng)接受的騰訊智影

公司名片

發(fā)布于2023年3月，騰訊內(nèi)部創(chuàng)業(yè)型，主要團(tuán)隊(duì)前身是微視發(fā)布器的骨干，在短視頻剪輯領(lǐng)域的技術(shù)和商用經(jīng)驗(yàn)相當(dāng)豐富。截至2024年3月，騰許智影開放了付費(fèi)高級(jí)會(huì)員，支持生成數(shù)字人視頻時(shí)長以及專業(yè)音色的文本配音服務(wù)，此外還有針對(duì)視頻剪輯的智能字幕、格式轉(zhuǎn)換等，解決了視頻剪輯痛點(diǎn)。

產(chǎn)品特點(diǎn)

騰訊智影主要功能為云端視頻編輯，它的核心功能由AI技術(shù)驅(qū)動(dòng)，包括數(shù)字人播報(bào)、文本配音、文章轉(zhuǎn)視頻、自動(dòng)字幕生成、智能去水印、視頻解說以及橫豎屏轉(zhuǎn)換等。

優(yōu)點(diǎn)：功能模塊化程度優(yōu)，易用，垂直功能效率高，產(chǎn)出快。通過SaaS模式提供服務(wù)，支持使用者通過瀏覽器在線進(jìn)行視頻創(chuàng)作和協(xié)作，視頻投入商用的門檻被降低。

缺點(diǎn)：以文本生成的圖片再通過AI輔助剪輯，只能產(chǎn)出初級(jí)的視頻內(nèi)容，以目前對(duì)AI的期待值，騰訊智影在技術(shù)前景上基本與第一梯隊(duì)無緣。

使用場(chǎng)景

騰訊智影提供的一站式視頻創(chuàng)作工具，具備視頻剪輯、素材庫等，可用于高效制作專業(yè)級(jí)視頻內(nèi)容。平臺(tái)還支持團(tuán)隊(duì)協(xié)作功能，如版本管理、權(quán)限控制和在線評(píng)論，便于多人協(xié)同工作，并能快速將成品分享至社交媒體，提高工作效率和內(nèi)容分發(fā)效率，對(duì)短期變現(xiàn)的幫助很大。

體驗(yàn)鏈接：https://zenvideo.qq.com/

05

仍未落地的Sora

公司名片

由OpenAI發(fā)布的一款人工智能文生視頻大模型，OpenAI是一家致力于人工智能研究與開發(fā)的跨國科技公司，由一群硅谷企業(yè)家于2015年12月創(chuàng)立，總部位于美國舊金山。

起初，OpenAI被設(shè)定為一個(gè)非營利性機(jī)構(gòu)，旨在推動(dòng)人工智能的發(fā)展，使之造福全人類，而不受財(cái)務(wù)回報(bào)的限制。此后OpenAI又增加了一個(gè)營利性子公司OpenAI global，并通過其獲得了巨額投資，其中包括來自微軟的百億美元。

產(chǎn)品特點(diǎn)

Sora采用了與GPT模型相似的Transformer架構(gòu)，并結(jié)合了Diffusion模型的特點(diǎn)，能夠處理長序列數(shù)據(jù)，并通過自注意力機(jī)制捕捉數(shù)據(jù)中的依賴關(guān)系，從而提高生成視頻的質(zhì)量和多樣性。因此在初次公布時(shí)，Sora宣稱可以完全遵從現(xiàn)實(shí)物理學(xué)生成視頻。

優(yōu)點(diǎn)：以1分鐘的時(shí)長并將現(xiàn)實(shí)中的物理學(xué)解析到視頻中，有助于廣告、影視、特效以及科研推演等行業(yè)的積極發(fā)展

缺點(diǎn)：Sora對(duì)物理學(xué)的理解還有問題，并沒有官方所聲稱的那樣完美；生成視頻畫面的連續(xù)性和一致性還存在不穩(wěn)定性。

使用場(chǎng)景

Sora繼承了DALL-E 3的畫質(zhì)和遵循指令的能力，能夠生成具有多個(gè)角色、特定運(yùn)動(dòng)和復(fù)雜場(chǎng)景的視頻，同時(shí)理解并遵守用戶的文本提示，并保持視頻的一致性、連貫性和合理性3。此外，Sora還具有根據(jù)靜態(tài)圖像生成視頻、擴(kuò)展和填充現(xiàn)有視頻缺失幀、連接不同主題和場(chǎng)景的視頻等功能。

目前Sora仍處于小圈子范圍的使用，僅有邀請(qǐng)測(cè)試的專業(yè)團(tuán)隊(duì)可實(shí)際參與Sora的使用。

• 網(wǎng)址：https://openai.com/sora

06

以AI的假來見人類的真

目前，通過AI模型，如Stable Video Diffusion和Sora，創(chuàng)作者可以快速地將文本或圖像轉(zhuǎn)換為視頻內(nèi)容，節(jié)省了大量的時(shí)間和精力，極大提升內(nèi)容創(chuàng)作的效率和質(zhì)量。

這不僅適用于廣告、游戲、電影等創(chuàng)意產(chǎn)業(yè)，也有望在教育、新聞報(bào)道、社交媒體等多個(gè)領(lǐng)域得到應(yīng)用。

其次，AI視頻生成技術(shù)的發(fā)展也將推動(dòng)個(gè)性化和定制化內(nèi)容的生產(chǎn)。用戶可以根據(jù)自己的需求，通過簡單的文本描述或選擇特定的圖像，生成符合自己期望的視頻內(nèi)容。這將使內(nèi)容消費(fèi)更加個(gè)性化，滿足不同用戶群體的需求。

然而，AI視頻生成技術(shù)的發(fā)展也伴隨著一系列的挑戰(zhàn)。

一方面，如何確保生成內(nèi)容的質(zhì)量和真實(shí)性是一個(gè)重要的議題。AI生成的視頻可能會(huì)誤導(dǎo)觀看者，尤其是在政治、新聞等重要領(lǐng)域，因此需要建立嚴(yán)格的審核機(jī)制和內(nèi)容質(zhì)量控制體系。

另一方面，AI視頻生成技術(shù)也可能引發(fā)版權(quán)問題。當(dāng)AI模型能夠輕易地復(fù)制和模仿現(xiàn)有的視頻內(nèi)容時(shí)，AI的“假”將會(huì)挑戰(zhàn)人類的“真”，如何界定原創(chuàng)性和知識(shí)產(chǎn)權(quán)變得更為復(fù)雜。

專注大模型、AIGC領(lǐng)域，歡迎AI開發(fā)者添加（vx：aitechreview），共同探討AI產(chǎn)品創(chuàng)新和前沿技術(shù)資訊。

//

近期熱門文章

阿里云「敢死隊(duì)」

明略 走過冬天

當(dāng)華為 Pura 70 不再「缺貨」