2023-11-03 12:42
“霉霉”“赫敏”10級中文采訪視頻全網(wǎng)刷屏！全世界都在說中國話：盤點4款超牛的AI翻譯+配音工具
最近，網(wǎng)上的營銷號全是“霉霉說中文”的視頻。
EVA感慨，實在太火了!
咱們先來重溫一下——
隨便打開一個抖音、微博都能刷到類似的段子。
不僅有泰勒·斯威夫特說中文，還有“赫敏”艾瑪·沃特森說中文。
感慨一下——到底是大明星啊，語言天分直線拉滿!
事實上，這都是AIGC技術(shù)在背后“搗鬼”。
馬上就到萬圣節(jié)了?，家人們可別被開口說中文的鬼怪給嚇到了。
除了上述兩位大美女，網(wǎng)上還流傳著美國前總統(tǒng)特朗普開口說中文、憨豆先生羅溫·艾金森開口說中文等等精彩的片段。
甚至還有每年春晚必刷的“毒舌女王”蔡明老師，都在吐槽大會上流利地講起了英文，直接就是一個“開口脆”!
?一起來看看整合的AI視頻合集——
對比原片，AI重新配音的視頻不僅完美進行了翻譯，而且連聲線和情緒都近乎擬真。難辨真假，令人嘆為觀止。
生成的視頻也不會出現(xiàn)往常AI視頻的那種卡卡掉幀的感覺。
嚇得網(wǎng)友都喊媽咪了：
AI實現(xiàn)了對外語視頻的翻譯并重新配音，且效果非常逼真。
我甚至懷疑，找來世界上最優(yōu)秀的人類配音演員都未必能實現(xiàn)如此接近本人的聲線，完全沒有“譯制腔”。
重點是，它省時省力呀!!
想要實現(xiàn)這種AI視頻+翻譯的效果，需要歷經(jīng)三步：
1??地道的口語翻譯
2??克隆說話者的聲線
3??替換說話者的嘴型以吻合翻譯的語言
完美實現(xiàn)這三步，并不容易。引發(fā)網(wǎng)友好奇要開盒背后的技術(shù)公司。
這個火遍全網(wǎng)的AI視頻生成工具，正是來自深圳的詩云科技開發(fā)的HeyGen。
HeyGen是一款基于生成式AI技術(shù)的視頻生成工具，可以幫助用戶快速制作高質(zhì)量的視頻，生成AI數(shù)字人。HeyGen可以根據(jù)用戶的需求，進行人物動作、表情和語音的模擬，生成逼真、生動的視頻。
如果你也想實現(xiàn)這種AI翻譯視頻，只需在HeyGen官網(wǎng)上傳你的視頻，再選擇要翻譯的語種——就這么簡單的兩步。
剩下就是端一杯?咖啡等待視頻導出!
但是，問題又來了，現(xiàn)如今HeyGen實在太火啦!
隨便一排隊就是幾萬個視頻——抖音、B站上這兩天隨處可見各色AI配音視頻。
EVA本文就給大家安利幾款HeyGen的平替AI翻譯+配音的工具。
https://elevenlabs.io/dubbing
這也是一款AI翻譯+配音的視頻一鍵生成工具。支持多語言語音合成、聲音克隆、文本和音頻處理技術(shù)，可以把任意一段音頻或者視頻，快速翻譯為包括中文、葡萄牙語、日語等在內(nèi)的29種語言，同時保留說話者的音色特征和情感。
使用方法也很簡單，訪問AI Dubbing官網(wǎng)，生成一個新項目，上傳視頻并選擇需要轉(zhuǎn)換語種的語言。
除了上傳視頻外，還可以粘貼Youtube、TikTok、X(推特)、Vimeo等平臺的鏈接。設(shè)置完成后，點擊最下方的Create按鈕，開始音頻克隆，完成后可以預覽看看效果。
https://www.lipdub.app/
LipDub目前支持28種語言的音色轉(zhuǎn)換，翻譯能力上基于GPT-4接口，并且可以識別說話者的唇部動作。
使用方法與上述的AI工具大同小異，都是傻瓜式操作。
LipDub的創(chuàng)始人曾表示：“我們最初認為這項技術(shù)需要10年時間才能夠?qū)崿F(xiàn)，但現(xiàn)在的技術(shù)發(fā)展實在太快了，幾乎每個月甚至每周都有新東西出現(xiàn)。”
https://verbalate.ai/
Verbalate也是一款AI翻譯+配音的視頻生成工具，但比較不一樣的是，相較于上述幾款工具只能生成幾十秒、頂多幾分鐘的視頻，Verbalate可以支持長達30分鐘的視頻配音。
除了EVA提及的以上AI翻譯+配音視頻生成工具之外。
目前還有知名的流媒體音樂平臺Spotify、谷歌旗下的YouTube平臺也開始涉足這一領(lǐng)域，計劃推出AI聲音克隆+視頻生成的相關(guān)工具。
新技術(shù)的快速突破，自然也引來了不少的爭議。
很快就有人提出了巨大的憂慮——許多聲優(yōu)CV藝人會不會就此下崗…?!
有不少網(wǎng)友表達了對于AI生成虛假信息以及詐騙視頻泛濫的擔憂：
EVA想說，科學技術(shù)永遠是一把“雙刃劍”。
好的技術(shù)推動社會快速邁向變革，也要求人們更快速地適應新的生活工作方式，以擁抱無法完全預測的AI時代降臨。
對此，藍星上的我們每一個人，都無法回避。
相關(guān)文章
Altman
