2024-03-11 15:48
彎道超車Sora！AI文生視頻工具Pika 1.0新功能上線：為AI視頻一鍵生成對應音效丨第一手實測
剛剛過去的周末，知名文生視頻創(chuàng)作平臺Pika發(fā)布了一項新功能：
——很抱歉我們之前一直處于「靜音狀態(tài)」。
今天起，大家可以給視頻一鍵生成音效——Sound Effects來了！
插一句嘴，家人們知道「Pika」是什么嗎？就是皮卡丘的「皮卡」~
Pika允許用戶通過提示詞指定生成特種配音的音效；也可以讓AI系統(tǒng)自行解讀視頻內(nèi)容來進行音效生成。
對于新功能，Pika非常自信地提到：「如果你覺得音效聽起來很棒，那是因為它確實如此。」
話不多說，我們直接來聽一下。
引擎轟鳴聲、電臺廣播聲、鳥叫聲、刀劍聲、歡呼聲……可謂聲聲不息，從觀感上看，與視頻畫面也高度匹配。
自從前陣子Sora躥紅，讓文生視頻模型再次成為科技圈焦點。
但是大模型生成的視頻基本是無聲默片。因此，曾經(jīng)引爆了AI圈的Pika Labs終于有了今天的新動作，使勁「卷」吧!
根據(jù)用戶提供的描述生成音效，Pika目前可提供多達6種生成結(jié)果供以選擇！
Pika的Sound Effects功能目前只開放給超級合作者和Pro訂閱用戶測試，普通用戶暫時還需要等等。
除了上邊的宣傳片，Pika官方放出了許多Demo片段，都十分精彩。
例如滋滋冒油的烤肉聲音，還能隱約看到烤肉時冒出的煙霧，高清的畫面配上逼真的音效，讓人頓時垂涎欲滴。
不喜歡當前音效，如果你想換個音效，也很容易，只需點擊視頻下方的「Redo」按鈕，在出現(xiàn)的對話框中，輸入你想要的音頻描述就可以了。
小青蛙趴在荷葉上呱呱地叫，仔細聆聽，還能聽見遠處的蟬鳴聲。
煙花在夜空中綻放，綻放瞬間發(fā)出響亮的爆破聲，卡點精準!
除了官片之外，第一批體驗玩家的視頻也出爐了：有驚喜，也有翻車…
用戶@TomLikesRobots生成的雨中人物視頻。他發(fā)推表示，Pika生成的音效與視頻非常匹配，增添了很多氛圍感。
用戶@RetropunkAI生成的“俠客兔”大片，生成的音效十分具有大片感。
用戶@AiFreak_tool剪輯了一段拼接視頻，展示了多種不同的音效。
當然，Sound Effects這個新功能，目前仍在測試階段，因此生成的音效并不總是完美契合視頻主題。
比如下面這個示例，對AI來說，畫面內(nèi)容可能比較難“理解”。
當然，更多曬出來的作品，都是可圈可點的。
雖然偶有翻車，更多人期待Pika可以盡快開放API以供創(chuàng)作。
那么，Pika的Sound Effects究竟是如何生成音效的呢?
英偉達科學家Jim Fan推測，AI系統(tǒng)學習基于視頻內(nèi)容創(chuàng)作音頻映射，需要對潛在的空間中的一些「隱式」的物理對象進行識別與建模。
大概會以以下的流程完成音效生成：
目前Pika官方并沒有公布AI音效的生成原理。
Sora誕生后，Pika Labs CEO郭文景在接受采訪時回應稱：
「我們覺得這是一個很振奮人心的消息，我們已經(jīng)在籌備直接正面沖，將直接對標Sora的效果?！?/p>
作為創(chuàng)作者，我們希望視頻內(nèi)容擁有更多的自主權，在AI視頻創(chuàng)作領域的可控性方面，Pika比OpenAI搶先了一步。
點擊下方的工具卡片，官網(wǎng)可以免費體驗Pika生成視頻：
相關文章
Kardashian
