獨家 | Gen-1——可以改變視頻風格的AI模型
翻譯：吳振東 校對：張睿毅
本文約1000字，建議閱讀3分鐘
本文簡單介紹了Runway公司的發(fā)展史，以及他們新推出的生成式AI模型Gen-1，可用于通過應(yīng)用文本提示或者參考圖像所指定的任意風格，將現(xiàn)有視頻轉(zhuǎn)換為新視頻。
Runway公司新推出了一款名為Gen-1的模型，可以用來改變視頻或電影的現(xiàn)有視覺風格。
生成式AI（AIG）初創(chuàng)公司Runway在去年合作開發(fā)了Stable Diffusion，這是具一款有突破意義的文本到圖像模型。該公司現(xiàn)在發(fā)布了名為Gen-1的人工智能模型，可以通過應(yīng)用文本提示或者參考圖像所指定的任意風格，將現(xiàn)有視頻轉(zhuǎn)換為新視頻。
在其官方網(wǎng)站發(fā)布的一段演示視頻中，Runway展示了他們的軟件如何將街道上的行人變成黏土木偶，將桌子上的書變成夜晚的風景。Runway希望Gen-1能夠像Stable Diffusion在圖像領(lǐng)域上的那樣，為視頻領(lǐng)域做出貢獻。Runway公司CEO兼聯(lián)合創(chuàng)始人Cristóbal Valenzuela表示：“我們曾見證過圖像生成模型的大爆發(fā)，我堅信2023年會是屬于視頻生成模型的一年?！?/span>
Runway成立于2018年，多年來致力于人工智能視頻編輯軟件的研發(fā)。抖音和YouTube用戶以及主流電影和電視劇工作室都在使用他們的工具。斯蒂芬-科爾伯特（扣扣熊）主持的《深夜秀》的制作人使用Runway軟件來編輯節(jié)目畫面；熱門電影《瞬息全宇宙》的視覺效果團隊利用Runway公司的技術(shù)創(chuàng)建了一些場景。
2021年，Runway與慕尼黑大學的研究人員合作開發(fā)了第一代Stable Diffusion。總部位于英國的初創(chuàng)公司Stability AI隨后參與該項目，承擔了在更多數(shù)據(jù)上訓練模型所需的計算費用。2022年，Stability AI使得Stable Diffusion成為主流，將其從一個研究項目轉(zhuǎn)變成一個全球現(xiàn)象。
然而現(xiàn)在兩家公司已不再合作。Getty公司目前正在對Stability AI采取法律訴訟，聲稱該公司未經(jīng)允許就在Stable Diffusion的訓練集中使用了Getty的圖片。如此一來Runway選擇和他們保持距離。
視頻下載地址：
Gen-1對于Runway來說是全新的開始。他們在去年發(fā)布了一個類似于文本轉(zhuǎn)視頻的模型，就像Meta的Make-a-Video和谷歌的Phenaki模型一樣，這些種模型都可以從頭生成非常短的視頻片段。該模型也與谷歌在上周發(fā)布的生成式AI模型Dreamix有些相似，后者可以通過應(yīng)用特定的風格從現(xiàn)有視頻中創(chuàng)建出新的視頻。不過根據(jù)Runway的實際演示視頻來看，Gen-1的視頻質(zhì)量似乎有所提升。因為它可以轉(zhuǎn)換現(xiàn)有的一組鏡頭，也可以制作比之前那些模型所生成的時長長得多的視頻（該公司表示，未來幾天將在官網(wǎng)上發(fā)布更多關(guān)于Gen-1的細節(jié)）。
與Meta和谷歌不同的是，Runway所制作的模型都是以客戶為出發(fā)點的。Valenzuela表示：“這是首批與視頻制作者社區(qū)密切合作開發(fā)的模型之一，得益于多年來對電影制片人和視覺特效剪輯師如何進行后期制作的深入了解?！?/span>
Gen-1模型正在云端運行，通過Runway的網(wǎng)站，現(xiàn)在向少數(shù)受邀客戶開放，幾周后將會向等候名單上的用戶開放。
去年生成式AI技術(shù)呈爆發(fā)式增長，得益于數(shù)百萬人第一次接觸到如此強大的創(chuàng)意工具，他們愿意將自己使用的成果分享給他人。Valenzuela希望將Gen-1交到有創(chuàng)造力的專業(yè)人士手中，從而很快在視頻界產(chǎn)生類似效果的影響。
Valenzuela說道：“我們已經(jīng)非常接近制作完整的故事片了。我們即將實現(xiàn)這一目標：到那時候你們在網(wǎng)上看到的大部分內(nèi)容都是生成式（AIG）的?！?/span>
封面視頻：
https://wp.technologyreview.com/wp-content/uploads/2023/02/Scuba-Example.mp4
譯者簡介
吳振東，法國洛林大學計算機與決策專業(yè)碩士。現(xiàn)從事人工智能和大數(shù)據(jù)相關(guān)工作，以成為數(shù)據(jù)科學家為終生奮斗目標。來自山東濟南，不會開挖掘機，但寫得了Java、Python和PPT。
翻譯組招募信息
工作內(nèi)容：需要一顆細致的心，將選取好的外文文章翻譯成流暢的中文。如果你是數(shù)據(jù)科學/統(tǒng)計學/計算機類的留學生，或在海外從事相關(guān)工作，或?qū)ψ约和庹Z水平有信心的朋友歡迎加入翻譯小組。
你能得到：定期的翻譯培訓提高志愿者的翻譯水平，提高對于數(shù)據(jù)科學前沿的認知，海外的朋友可以和國內(nèi)技術(shù)應(yīng)用發(fā)展保持聯(lián)系，THU數(shù)據(jù)派產(chǎn)學研的背景為志愿者帶來好的發(fā)展機遇。
其他福利：來自于名企的數(shù)據(jù)科學工作者，北大清華以及海外等名校學生他們都將成為你在翻譯小組的伙伴。
點擊文末“閱讀原文”加入數(shù)據(jù)派團隊~
轉(zhuǎn)載須知
如需轉(zhuǎn)載，請在開篇顯著位置注明作者和出處（轉(zhuǎn)自：數(shù)據(jù)派ID：DatapiTHU），并在文章結(jié)尾放置數(shù)據(jù)派醒目二維碼。有原創(chuàng)標識文章，請發(fā)送【文章名稱-待授權(quán)公眾號名稱及ID】至聯(lián)系郵箱，申請白名單授權(quán)并按要求編輯。
發(fā)布后請將鏈接反饋至聯(lián)系郵箱（見下方）。未經(jīng)許可的轉(zhuǎn)載以及改編者，我們將依法追究其法律責任。
點擊“閱讀原文”擁抱組織