2024-06-07 11:02
國產(chǎn)最強文生視頻模型「可靈」首發(fā)：直出2分鐘超長視頻，生成質量完勝OpenAI Sora丨免費體驗
What，什么？
《瘋狂動物城》竟然都有真人版了，而且被國產(chǎn)AI大模型搬進現(xiàn)實！
歡迎進入神奇的動物世界。名為「可靈」的新一代國產(chǎn)AI視頻生成大模型，直接生成了一則《瘋狂動物城》真人版電影的預告片。?
注意！??不是何炅…
可靈大模型受到Sora的啟發(fā)，采用了相似的DiT架構技術路線，結合多項自研技術創(chuàng)新，生成的視頻不僅運動幅度大且合理，還能模擬物理世界特性，具備強大的概念組合能力和想象力。
從參數(shù)上看，可靈大模型可以支持生成長達2分鐘的30FPS的超長視頻，分辨率高達1080P，且支持多種比例的視頻寬高比。數(shù)據(jù)上已經(jīng)超越了只能生成1分鐘視頻的Sora。
以下是一段2分鐘的創(chuàng)作案例合輯——
第一個提示詞為，兩分鐘不可思議的列車行進長鏡頭畫面：一列火車向前方行駛，窗外的風景走過了春夏秋冬四季。整個兩分多鐘的畫面十分連貫，出現(xiàn)了歐式老城、紅葉、櫻花、田野等等豐富多彩的場景，過渡自然。對比Sora展示的長鏡頭樣片，有過之而無不及。
第二個提示詞為：「小男孩在花園里騎自行車經(jīng)歷秋冬春夏四季變換」。
它出自國內頭部的短視頻玩家——快手。
可靈不但在想象上天馬行空，在描繪運動時又能做到符合真實的運動規(guī)律，復雜、大幅度的時空運動也能準確刻畫。
比如在公路上奔跑的老虎，不僅畫面連貫，隨鏡頭角度的變化合理，老虎四肢的動作協(xié)調，而且還把奔跑過程中肚腩抖動細節(jié)也展現(xiàn)得淋漓盡致。
還有宇航員在月球上奔跑，動作流暢，步態(tài)和影子都充滿了失重感。
除了符合物理規(guī)律的運動，可靈大模型還能模擬真實物理世界特性，這里要比OpenAI的Sora生成的視頻更吻合物理規(guī)律。
倒牛奶的視頻中，重力規(guī)律、液面的上升都符合現(xiàn)實，奶泡泡沫浮于上層也充分展現(xiàn)。
注意看這只試圖演奏鋼琴的貓貓，鋼琴亮面的烤瓷便面，反射出貓爪、貓貓頭和琴鍵，并隨著本體同步變化。
都說吃東西的場景最能考驗AI視頻的能力。
下面的小男孩吃漢堡的視頻，一口咬下去，咀嚼的嘴部細節(jié)，齒印留在面包片上，小男孩享受美食的細微表情溢于言表。
要知道，符合物理規(guī)律對于所有的視頻大模型來說仍是十分困難的事，OpenAI都無法處理得當。
同樣是創(chuàng)作吃漢堡的畫面，下面由Sora生成的視頻相形見絀。
再來看一個男子大口吃面條的視頻。這個對于目前現(xiàn)階段所有所有一切AI視頻模型都是「絕殺」一般的考驗。
但對于可靈大模型來說，似乎就是那么駕輕就熟。畢竟快手平臺有著全網(wǎng)最全的吃播訓練素材…?
反觀外網(wǎng)，天天還拿著「威爾史密斯吃面」來測試視頻大模型的性能。?
可靈大模型不僅能還原真實世界的物理規(guī)律和運動，對于幻想的場景也是信手拈來。
比如這只戴著眼鏡的兔子，邊喝咖啡，邊看報紙，悠閑自得。
同時，可靈大模型對微觀特寫的細節(jié)刻畫也很到位，比如兩朵緩慢綻放的花骨朵兒，對于花瓣和花蕊的細節(jié)刻畫不輸專業(yè)的延時攝影。
在實用性方面，可靈大模型不僅生成的視頻以假亂真，而且生成的視頻比例可實現(xiàn)三種常見的視頻寬高比。
其中的豎版9:16視頻，可以說與快手的短視頻生態(tài)相得益彰了，主打就是一個一步到位，簡潔高效。
那么快手旗下的可靈大模型，都運用了哪些獨特的技術打磨呢？
可靈大模型具有多項優(yōu)勢，包括能夠生成大幅度的合理運動、模擬物理世界特性、具備強大的概念組合能力和想象力，以及支持高分辨率視頻生成和自由的寬高比設置。
該模型使用了Sora同款的3D時空聯(lián)合注意力機制的內容生成架構，能更好地建模視頻中的復雜的時空運動，從而生成更符合客觀運動規(guī)律的視頻。
此外，可靈大模型多樣化的樣片展示，還突出呈現(xiàn)了現(xiàn)階段AI視頻內容創(chuàng)作領域最具商業(yè)潛力的落地方向——虛構概念組合能力和強大的場景想象力，可以將主創(chuàng)人員腦補的畫面與豐富想象力轉化為具體的可視化畫面。
在快手AI團隊研發(fā)過程中，可靈大模型配套了高效的大規(guī)模自動化數(shù)據(jù)解決方案，保障了模型效果的快速提升。
可靈AI視頻模型，誕生于短視頻頭部大廠，也將能以最快速的方式探索落地。
相比較Sora還需要等到年底才能上線，快手可沒有在畫餅！不畫餅~不畫餅！
可靈的文生視頻模型已經(jīng)在快手旗下「快影」視頻剪輯工具內正式開啟邀測。
除了文生視頻，「快影」APP還基于可靈大模型推出了其他相關的視頻創(chuàng)作功能，比如“AI舞王”就是目前最具人氣的創(chuàng)作工具，與此前阿里通義APP提供的“全民舞王”差不多的玩法，可通過一張圖像生成“科目三舞蹈”。
其他功能方面，基于快手的文生圖模型，AI簡筆畫、AI文生圖、AI動漫等等AI創(chuàng)作功能，都已在「快影」APP中上線。
現(xiàn)在，快手的首個文生視頻大模型華麗登場，作為國內乃至世界范圍內的頭部短視頻賽道巨頭，在國內從來不缺數(shù)據(jù)與創(chuàng)意人才，在AI場景應用能力展示上，快手理應有所宏大的建樹。
應用商店搜索下載「快影」短視頻剪輯APP，可靈大模型已經(jīng)集成在其中。在APP首頁可以找到「AI創(chuàng)作」菜單入口，再點擊“AI生視頻”申請體驗即可。
如果沒有找到該入口的話，你可以徹底退出「快影」APP，清理程序后臺，重新進入APP即可。
可靈大模型項目主頁：http://kling.kuaishou.com/
相關文章
Altman
Felix
