2024-04-29 16:29
創(chuàng)作者親自揭開Sora視效大片《氣球人》真相：大量人工后期參與，被指廣告宣傳效果誤導大眾
哈？OpenAI Sora火爆全網的短片《氣球人》，竟然也是造假的？
背后藝術家團隊的最新揭秘，可謂一石激起千層浪：原來，視頻畫面并非完全由AI系統(tǒng)逐幀自主生成，其中有大量視覺效果需要人類后期實現(xiàn)。
這下網友不干了，合著大家伙兒跟OpenAI玩真心，OpenAI背后卻耍起心眼子來了：
他們含糊其辭，就是希望觀眾認為短片完全是AI生成的，這是不是有點不誠實了啊。
這不是人工智能生成的視頻，而是使用了一些AI技術的視頻。
還有網友直接開噴：誤導性營銷！這是誤導性營銷！
究竟是怎么個事兒，咱們還是具體捋一捋。
盡管OpenAI一開始就介紹了，《氣球人》這樣的短片出自藝術家團隊之手，他們只是把Sora開放給了藝術家使用，但官方并未提及短片具體是如何制作而成的。
現(xiàn)在，《氣球人》背后的藝術家團隊Shy Kids自己來了個大揭秘，內容包括：
保持一致性很困難
針對視頻內容生成的一致性，《氣球人》中主角形象的一致性可謂驚艷眾人。
但實際上吧，據(jù)Shy Kids團隊中負責后期制作的老哥Patrick Cederberg透露，想要實現(xiàn)這種前后一致并不是寫寫提示詞就能成的。
Sora團隊并沒有提供任何的輔助編輯工具，來幫助實現(xiàn)不同鏡頭之間的主體一致性。
也就是說，哪怕提示詞都是一樣的，兩次運行的結果也會有所不同。他們的做法是，盡可能詳細地去對主角形象進行描述。
解釋角色的服裝以及氣球的類型是我們解決一致性問題的方法，目前Sora還沒有集成適當?shù)墓δ軄韺崿F(xiàn)此類控制。即便如此，團隊在用Sora生成視頻素材時還是遇到了不少這樣那樣的問題。
比如，提示詞里明明寫了氣球需要生成黃色的，但Sora最終給出的生成片段里，氣球卻可能是紅色的。
視頻素材處理
除了一致性的問題之外，Patrick Cederberg提到，在時間軸方面，Sora允許用戶修改關鍵幀。但這種時間控制并不精準，無法保證一定能實現(xiàn)預想的效果。
另外，想要實現(xiàn)這個鏡頭：
即把鏡頭焦點從牛仔褲一路上移到氣球頭，也得人類自己后期裁切平移畫面，因為Sora本身不會渲染這樣的鏡頭：它總是傾向于把焦點集中在氣球頭上。
Patrick Cederberg還談到，他們在寫提示詞時也遇到了一些問題：OpenAI在讓藝術家試用Sora前，并沒有考慮到真正的電影制作人是如何思考的。
簡單來說，就是Sora對攝影術語（比如跟拍、平移等專業(yè)術語）的理解能力有限。老帕認為，這一點上Sora的體驗感受其實不如Runway。
值得一提的是，盡管Sora原生支持生成1080P視頻，但Patrick Cederberg他們實際上生成的素材都是480P的。他們是在后期使用Topaz等工具對視頻素材進行了超分處理。
生成速度方面，根據(jù)Patrick Cederberg的回憶，每次輸入提示詞后，大概需要10-20分鐘的時間。
視頻后期
接下來，就到了網絡輿情反應最強烈的部分——人為介入了后期。
前面已經說到，Sora本身還解決不了不同視頻片段里一致性的問題。除了氣球不一定符合設定，或許是因為訓練數(shù)據(jù)的原因，Sora還喜歡自動給氣球加上奇奇怪怪的人臉。
給主角“氣球人”生成一個其實并不需要的人頭。
此外，Sora還很堅定地認為，氣球就得帶根繩兒。
總而言之，這些細節(jié)的問題，都需要Patrick Cederberg上手丟到Adobe AE里，進行后期處理。
另外，盡管Shy Kids發(fā)現(xiàn)“35mm膠卷”這樣的關鍵詞很好用，能讓Sora生成的視頻畫面風格更一致，但藝術家們仍需要為最后的成片做調色，為畫面添加顆粒和閃爍效果，以使整部影片畫面更加協(xié)調統(tǒng)一。
Patrick Cederberg還提到了一個有意思的細節(jié)——Sora真的很喜歡慢鏡頭。
他說：
我不知道為什么，但有很多鏡頭看上去都是0.5倍速和0.75倍速。因此我們需要對大量畫面進行調速，免得影片看上去像個大型慢動作項目。
那么，Sora生成的視頻素材有多少最終被用在了影片里?
“數(shù)學很差”的Patrick Cederberg估計了一下，大概是300:1。換而言之，300個片段只有1個能用的。
除了上述提及的問題外，在音頻方面，Sora目前還不能生成音效，因此旁白和音樂都是團隊自己加上去的。
版權爭議
為了不侵犯其他影視作品的版權，OpenAI給Sora上了一些安全護欄限制：
比如，你不能撰寫提示詞「35mm膠卷，未來宇宙飛船中，一名男子拿著光劍靠近」，那樣Sora大概率是會直接拒絕生成，因為這畫面光看文字就太像《星球大戰(zhàn)》的場景，“西半球最強法務”可不是鬧著玩的。
此外，包括像什么專有的導演風格「阿羅諾夫斯基式鏡頭」和「希區(qū)柯克變焦」等待，也是不行的。
但瑕不掩瑜地說，拋開外界輿情帶起的風波，Shy Kids團隊對于Sora視頻模型的整體表現(xiàn)還是很滿意的。畢竟，制作《氣球人》這樣一個高質量短片，最后只用了他們三個人大約1.5~2周的工作時間。
團隊認為，現(xiàn)在，對于專業(yè)的電影團隊來說，Sora當然還有很大進步空間，但對于大部分人而言，Sora已經足夠驚艷。
用Patrick Cederberg自己的話說：我覺得人們應該將Sora變成視頻創(chuàng)作工作流里的一部分。
不少網友對此表示認同，認為Sora這樣的視頻生成AI系統(tǒng)，是對現(xiàn)有的創(chuàng)作工作流很好的補充。
比如，Adobe就將Sora等視頻模型集成進Adobe Pr軟件里，就是一個很不錯的主意。但“我厭倦了OpenAI精美包裝的案例營銷”。
?相關閱讀：
Adobe重磅官宣：OpenAI視頻模型Sora與Premiere Pro合體，剪輯師喜獲最強AI工具
Adobe重磅官宣：包括Adobe Firefly自研模型，以及OpenAI Sora、Runway Gen-2、Pika一系列的第三方視頻模型，都將在Premiere Pro剪輯軟件上推出。
還有網友不滿的點在于，爆火的“人工智能生成視頻”背后，其實存在著大量的人類工作，他們投入了數(shù)百個小時的工作量，卻被“AI一句話生成”掩蓋了真實的價值。
相關文章
近期文章
更多
Altman
