2024-10-05 13:54
我們用豆包視頻大模型，生成了AI版的《紅樓夢》MV
要論最近最火的AI視頻生成模型，無疑就屬字節(jié)豆包了。
也就是字節(jié)一口氣亮出的PixelDance模型和Seaweed模型。
而且大家都說效果好，那這不就得親自測試一波嘍，而且是直接上難度的那種——
最近抖音里很多人都在模仿林黛玉哭泣，我們不妨用“全字節(jié)系的AI”來制作一支《紅樓夢》的MV。
然后啊，效果簡直就是一個大寫的萬萬沒想到！
話不多說，直接展示成果：
不論是生成的多人物、畫面的質(zhì)量，甚至是故事情節(jié)，豆包的視頻可以說是相當(dāng)有《紅樓夢》那味兒了。
而也正如剛才提到的，打造這支MV背后的AI，統(tǒng)統(tǒng)都是字節(jié)系。
現(xiàn)在我們就來一一拆解細(xì)節(jié)步驟。
第一步，用豆包查詢《紅樓夢》中的經(jīng)典片段原文，作為生成圖片的Prompt。
例如王熙鳳出場的名場面，豆包給出了這樣的答案：
第二步，我們直接用《紅樓夢》中的原文片段，“喂”給字節(jié)的即夢，讓它先生成一幅畫。
例如我們采用的Prompt是：
紅樓夢，只見一群媳婦丫鬟圍擁著一個人從后房門進(jìn)來。這個人打扮與眾姑娘不同，彩繡輝煌，恍若神妃仙子：頭上戴著金絲八寶攢珠髻，綰著朝陽五鳳掛珠釵；項(xiàng)上帶著赤金盤螭瓔珞圈;裙邊系著豆綠宮絳，雙衡比目玫瑰佩;身上穿著縷金百蝶穿花大紅洋緞?wù)桃\，外罩五彩刻絲石青銀鼠褂；下著翡翠撒花洋縐裙。一雙丹鳳三角眼，兩彎柳葉吊梢眉，身量苗條，體格風(fēng)騷，粉面含春威不露，丹唇未啟笑先聞。
所有生成的圖片如下所示：
第三步，將生成的圖片丟給豆包PixelDance模型，再附上一句Prompt，讓它生成視頻片段：
中間的女子開懷大笑，性情豪爽地往前走，旁邊眾人微笑慢慢低頭并為這個女子讓路。
(當(dāng)然，也可以繼續(xù)用《紅樓夢》的原文作為Prompt)
采用相同的方法，逐個生成其它視頻的片段。
再例如下面這個片段，Prompt是這樣的：
右邊女生默默哭泣，抬手捂住嘴。鏡頭切換，特寫女生的臉，眼睛里留下眼淚。鏡頭切換，近景，左邊人物癡癡看向女生，眼神中滿是憐愛。
第四步，用基于豆包音樂模型的海綿音樂，生成1分鐘的視頻BGM，而且Prompt極其簡單：
紅樓夢，悲傷，大氣。
一曲《夢斷紅樓殤》就誕生了：
第五步，將最終的6個視頻和BGM統(tǒng)統(tǒng)導(dǎo)入字節(jié)的剪映，對視頻做一個剪輯，就大功告成了!
不難看出，現(xiàn)在已經(jīng)是人人都可以打造MV了，并且步驟和方法也相當(dāng)簡單，只需聯(lián)動一下字節(jié)系的AI們：
豆包(豆包語言模型)、即夢(豆包文生圖模型)、豆包視頻生成模型PixelDance、海綿音樂(豆包音樂模型)、剪映。
而在整個過程中，視頻生成，無疑是最為關(guān)鍵的步驟。
但有一說一，AI版《紅樓夢》中的視頻片段，還并沒有完全展現(xiàn)豆包PixelDance模型的全部真實(shí)實(shí)力。
相關(guān)文章
近期文章
更多
Altman
Kardashian
