2024-05-20 11:27
Sora最強競品！谷歌最新AI視頻生成模型Veo詳解：時長超1分鐘、1080P絲滑丨附內(nèi)測體驗鏈接
5月15日，谷歌舉辦一年一度的I/O開發(fā)者大會，在這場年度盛事上谷歌總計推出了100多項產(chǎn)品上新與更新，發(fā)布了14款大模型應(yīng)用。
如果要形容，就是對OpenAI展開了軍火庫的狂轟濫炸。其中最受網(wǎng)友關(guān)注的無疑是AI視頻生成模型，代號「Veo」。
谷歌方面制作了一個宣傳品介紹產(chǎn)品的前世今生：
先提前小結(jié)一下：
Veo視頻模型，支持通過文本提示詞生成超過1分鐘的1080P超清視頻。在文本語義理解與復(fù)現(xiàn)、視頻主體對象的一致性、運鏡、畫面連貫性、場景切換、光影效果等等方面，完全稱得上媲美OpenAI紅極一時的Sora大模型。
對于Sora發(fā)布至今已有3個月還在放鴿子，谷歌方面希望Voe能夠以最快速度進入消費應(yīng)用市場，目前已經(jīng)與好萊塢一些特效公司開始談判。
在所有的視頻生成案例當(dāng)中，最具代表性的無疑是下面這個1分23秒的超長一鏡到底視頻：
谷歌給出的提示詞為：
「一個快速穿梭于繁華的反烏托邦城市中，明亮的霓虹燈、飛行汽車、薄霧、夜晚、鏡頭眩光和體積光線的鏡頭。
通過未來主義的城市肆虐快速追蹤鏡頭，明亮的霓虹燈標(biāo)，天空中的星艦，夜晚。一輛汽車的霓虹全息圖以光速行駛，電影般的驚人細節(jié)，體積光。汽車離開隧道，回到真實世界里邊的香港都市。」
這個視頻從觀感上還是相當(dāng)驚艷的，谷歌復(fù)現(xiàn)了Sora最拿手的穿越風(fēng)格的視頻場景。
并且主體對象?跑車的一致性上相當(dāng)穩(wěn)定，畫面絲滑流暢。
再看一些其他的生成視頻案例，均為寫實風(fēng)格，擬真程度以假亂真：
提示詞：「在燒烤架上，雞肉和青椒串烤的特寫鏡頭，火焰在旁燃燒。焦距淺，輕煙裊裊，色彩鮮艷。」
提示詞：「許多斑點水母在水下蠕動。它們的身體透明，在深海中發(fā)光。」
提示詞：「一名孤獨的牛仔騎著馬穿越美麗日落的開闊平原，柔和的光線，溫暖的色彩?！?/p>
提示詞：「一艘宇宙飛船在宇宙的浩瀚中飛馳，星星在其旁劃過，高速飛行，科幻感十足?！?/p>
提示詞：「一只金毛尋回犬在蜿蜒的山間小徑上行走，它興奮地搖著尾巴，探索著荒野的景色和氣味?！?/p>
相對于OpenAI Sora的放鴿子，谷歌已經(jīng)迅速將Veo視頻模型創(chuàng)建了一個生成創(chuàng)作平臺Video-Fx。
使用方法基本傻瓜式，直接在文本框輸入提示詞，然后點擊“生成”(Create Video)即可。目前處于早期測試階段，還無法提供任何的編輯能力。
谷歌Video-Fx創(chuàng)作平臺支持一次性生成4條視頻，相比于Runway、Pika等主流AI視頻生成平臺，還是非常大方了!
值得一提的是，Veo還提供了一個名叫“Storyboard”的創(chuàng)作模式，支持為生成的無聲AI視頻一鍵添加背景音樂。
Veo是如何工作的呢？
根據(jù)谷歌的介紹，Veo更像是一個視頻生成模型的大合集。
谷歌融合了GQN、DVD-GAN、Imagen-Video、Phenaki、WALT、VideoPoet、Lumiere、Transformer和Gemini等等，將許多的技術(shù)概念與大模型架構(gòu)的優(yōu)點融合集于一體。
例如，Phenaki是谷歌很早之前便推出的文生視頻模型，采用了一個雙向掩碼轉(zhuǎn)換器架構(gòu)。在視頻幀之間的切換、一致性、關(guān)聯(lián)性方面非常優(yōu)秀。
WALT則是深度學(xué)習(xí)領(lǐng)域的一種視頻微調(diào)技術(shù)，可關(guān)注模型內(nèi)部的激活層，通過權(quán)重調(diào)整來改進模型性能。
Gemini是谷歌目前最強的大語言模型，在語義理解能力上可與GPT-4相媲美。
所以，從這個「集中力量辦大事」的姿態(tài)，以及產(chǎn)品商業(yè)化推進的步伐，就不難看出谷歌是對Veo下了血本，誓要與OpenAI的Sora一較高下。
目前，谷歌已經(jīng)將Veo視頻模型整合在文生視頻平臺Video-Fx，任何人都可以免費申請，也向開發(fā)者開放API。
申請地址：
相關(guān)文章
Altman
