2024-07-03 17:39
Runway最強(qiáng)文生視頻模型開放公測丨Gen 3 Alpha鏡頭運(yùn)動效果拔群
文生視頻工具的內(nèi)卷，又又又又又一次升級了，沒有最卷只有更卷。Runway Gen 3 Alpha 昨日開啟付費(fèi)用戶公測，隨著越來越多用戶動手測試、分享，可以看到不少逆天成果。
一名指揮正指導(dǎo)樂隊(duì)演奏 圖片來自：X 用戶@RyanMorrisonJer
總體來看，成片仍然是十秒出頭的短視頻，細(xì)節(jié)的精致度和絲滑程度上有不錯的提升。當(dāng)然了，一些無厘頭硬傷還是會出現(xiàn)，畢竟模型沒法真正理解物理世界。細(xì)節(jié)的提升主要在表面材質(zhì)的平滑和仿真程度，包括人臉皮膚、光線折射、動物皮毛等。
一只正在吃面的大熊貓 圖片來自：X 用戶@takapon_jp
鏡頭移動的流暢度也表現(xiàn)不俗，結(jié)合官方提供的 prompt 詞，能看出提供了更多關(guān)于鏡頭語言的選擇，用戶只需要輸入指令，能更自如地呈現(xiàn)鏡頭運(yùn)動是本次更新的一大亮點(diǎn)。
俯瞰賽博城市夜景 圖片來自：X 用戶@AIeseshi
無獨(dú)有偶，Luma 也在 6 月 30 號更新了自己的首尾幀功能，用戶可以指定兩張圖片作為視頻的起始和結(jié)束畫面，模型將自行分析和完成整個(gè)視頻。類似的功能字節(jié)旗下的即夢ai也提供，不算是新鮮事兒。
Luma 官方對首尾幀的演示 圖片來自：LumaLabsAI
既然趕上前后腳更新，用戶們難免讓幾家做一做同題競賽、捉對廝殺。除了 Luma，背靠 OpenAI 的 Sora 也不會被落下。
走在東京夜晚街頭的女人 圖片來自：X 用戶@keitowebai
從成片對比來看，Gen-3 還是相當(dāng)能打的。Gen-3 的優(yōu)勢除了上述流暢自然的鏡頭運(yùn)動、景別切換，對 prompt 內(nèi)容的理解也不錯。當(dāng)然了，各家多多少少，都還是有物理邏輯硬傷，場景理解也有問題。
上圖為 Luma，下圖為 Runway Gen-3 圖片來自：用戶@shunchi_uu
不過，只有付費(fèi)用戶才可以體驗(yàn) Gen-3 Alpha，我們整理了訂閱計(jì)劃的基本信息：
最低月付 15 美元/月，年付 12 美元/月
最低套餐內(nèi)包含 625 積分，每月自動刷新，可額外付費(fèi)加購
最低套餐即可使用 Gen-3 Alpha，最長視頻時(shí)間為 10 秒
625 積分的產(chǎn)出量約為 125 秒的 Gen-2 視頻，44 秒的 Gen-1 視頻，或 125 次文生圖
支持無水印導(dǎo)出，視頻最高支持 4K ，圖片最高支持 2K
考慮到 Gen-3 對積分的消耗只會比就模型更多，折算下來制作的成本約在一美元左右，價(jià)格并沒有被「打下來」。想要嘗鮮的朋友，以下是鏈接傳送門：
?? https://runwayml.com/ai-tools/gen-3-alpha/
值得注意的是它在轉(zhuǎn)場上頗具創(chuàng)意，X 用戶@JH4TC 把自己用 Gen-3 生成的幾個(gè)視頻剪在了一起，它們都涉及到主體對象從一個(gè)場景切換到另一個(gè)場景里。
這樣的段落里，雖然鏡頭只是向前推動，沒有炫酷的動線，但是畫面里的景色和需要快速又絲滑的改變，可以說，Gen-3 為此提供了很不錯的「轉(zhuǎn)場方案」。在下面的案例里，行車路線要從雪地變成樹叢，首先出現(xiàn)的是積雪中的車轍印，再逐漸出現(xiàn)樹葉。
這是一個(gè)合理又絲滑的轉(zhuǎn)場變化，符合通常影視制作的邏輯。類似的，還有跳傘員原本在高空中，忽然一躍進(jìn)入了一個(gè)酒店房間。
圖片均來自：X 用戶@JH4TC
這個(gè)案例里最大的 bug 是人物出現(xiàn)了三只手，不過，忽略這個(gè)問題的話，兩個(gè)場景的切換時(shí)，墻壁的剖面一閃而過，的確是一種常見的轉(zhuǎn)景思路，經(jīng)常出現(xiàn)在「一鏡到底」的影片設(shè)計(jì)當(dāng)中。
在這個(gè)時(shí)間點(diǎn)上來看，Runway Gen-3 的公測，像是一種對觀念回歸的召喚：文生視頻工具的定位，不在于一步到位，直接完成創(chuàng)作，而是類似于其它大模型產(chǎn)品，扮演輔助角色，提供不同的可選方案，來提升工作效率和減少工作量。
文生視頻工具的本質(zhì)，始終是為用戶的創(chuàng)意需求，提供潛在方案。比如在 X 用戶@bennash 分享出來的 Gen-3 成品中，出現(xiàn)了同一個(gè)主題「imagine」，同樣的玫瑰花+馬賽克花磚元素，Runway 給出了既相似、又不同的成片。
以「imagine」為主題的繪制 圖片來自：X 用戶@bennash
是不是有點(diǎn)熟悉?本質(zhì)上，和 Mid-journey 每一次 prompting 后會收到幾張圖片，是同樣的道理。用戶只需要選擇最為接近自己心中設(shè)想的畫面，再做 fine-tune，不必從 0 開始繪制、搭建。
不同的是，目前的文生視頻工具，光是生成單個(gè)視頻已經(jīng)非常費(fèi)勁，畢竟文本與動態(tài)影像之間有著不小的距離。像 MJ 那樣，一次給出多個(gè)方案供選擇暫時(shí)無法實(shí)現(xiàn)，用戶只能一次次嘗試，最終賬單也可能非常驚人。
Runway 曾經(jīng)是文生視頻的領(lǐng)先玩家，但今年以來，這個(gè)賽道的形勢急劇變化，Runway 的先發(fā)優(yōu)勢，目前已經(jīng)被 Sora、Pika、Luma 等快速追上。
在國內(nèi)，快手出品的可靈 ai，字節(jié)出品的即夢 AI，生數(shù)科技出品的Vidu 等，也都在以最快速度入場參賽。其中以可靈表現(xiàn)最為突出，影像的細(xì)節(jié)和一致性都非常驚艷，物理邏輯也完全在可接受范圍內(nèi)。
可靈官方演示 圖片來自：可靈ai
Vidu 發(fā)布時(shí)，一度宣稱自己是「中國版Sora」，官方演示的確不錯，但后續(xù)乏力，還需要更多觀察。
Vidu官方演示 圖片來自：Vidu
另一個(gè)被認(rèn)為可與 Sora 對壘的是 PixVerse，來自愛詩科技，五月時(shí)發(fā)布了最新的「魔術(shù)筆刷」功能，能夠更精準(zhǔn)地控制畫面局部動態(tài)。
PixVerse官方演示 圖片來自：PixVerse
即夢的原名是 Dreamina，背靠字節(jié)，在字節(jié)重碼下注人工智能的前提下，即夢的表現(xiàn)也相當(dāng)不錯，尤其是影調(diào)和畫面色彩，更為豐富。得益于字節(jié)的社交基因，社區(qū)的分享氛圍活躍。
車廂里回眸的年輕女人 圖片來自：即夢用戶@瓷瓷
從視頻拍攝角度上來講，相比于人物的正反打、渲染氛圍的空鏡頭等，場景轉(zhuǎn)換是更為關(guān)鍵的環(huán)節(jié)——它可以表示故事情節(jié)的轉(zhuǎn)折，也可以是人物狀態(tài)的變化。
Gen-3 在轉(zhuǎn)場設(shè)計(jì)和鏡頭運(yùn)動方面的提升，意味著有一定創(chuàng)作能力的用戶，可以這樣關(guān)鍵的創(chuàng)意節(jié)點(diǎn)上，借助文生視頻工具生成影像方案預(yù)覽。在這種關(guān)鍵位置上，花點(diǎn)積分，出幾個(gè)預(yù)覽方案，有助于提高下游制作步驟的準(zhǔn)確度和效率。
Runway 官方演示 圖片來自：Runway
文生視頻的內(nèi)卷，只會越來越激烈，沒人會懷疑，接下來生成的影像會更高清、更流暢、更細(xì)膩，這只是時(shí)間問題。但進(jìn)入下一階段，則會面臨更嚴(yán)苛的目光，提升了哪里、是否關(guān)鍵，將會是所有生成類工具需要面對的問題。
本文摘自APPSO公眾號
相關(guān)文章
Altman
