2024-04-28 10:49
阿里神級AI模型EMO上線通義APP：支持一張圖生成人物表情神態(tài)AI音樂MV，五音不全一鍵速成“唱跳RAP”
??AI小姐姐唱陶喆的《Melody》
以上AI生成視頻，經(jīng)由一張人像圖片與音樂合成，就能生成一則繪聲繪色的AI視頻MV。
AI在端掉人類網(wǎng)絡主播飯碗的道路上高歌猛進！
日前，阿里通義實驗室自研的人像視頻生成模型EMO上線通義千問APP，人人可玩，免費對外開放。
上傳一張圖就能掌握“唱跳RAP”的EMO模型怎么玩？
在通義千問APP內(nèi)，找到「全民舞臺」-「全民唱演」，就可以免費體驗這款新的大模型產(chǎn)品。
不信你點開看??，讓甄嬛唱歌?也是信手拈來：
用戶只需簡單三步操作：
選擇喜歡的模版、上傳一張肖像照片、點擊生成視頻。就可以實現(xiàn)讓照片中人物開口唱任意歌曲的神奇效果。
目前因為體驗的用戶過多，早期生成一則影片需要20分鐘左右，建議可以選擇凌晨等較少人的時段生成。
EMO模型是阿里通義實驗室精心研發(fā)的AI模型，其背后的肖像說話技術正是當前AIGC領域的熱門話題。
與傳統(tǒng)的“數(shù)字人說話”技術相比，阿里EMO模型采用了創(chuàng)新的「弱控制」設計，無需對人臉、人頭或身體部分進行繁瑣的3D建模，即可輕松驅(qū)動肖像開口說話。不僅大大降低了AI視頻生成的成本，還顯著提升了視頻的質(zhì)量。
其主要的創(chuàng)新在于，阿里EMO模型具備強大的學習能力，能夠編譯人類臉部情緒的能力。
與其他的視頻模型相比，阿里EMO可以將歌曲的韻律與人物表情、嘴型完美匹配，甚至還能賦予豐富的人物語氣特征和情緒色彩，細膩反映在人物的臉部微表情上，讓AI數(shù)字人的視頻惟妙惟肖，真假難辨！
通義千問APP首批上線了多達80款EMO模板，涵蓋了熱門歌曲、網(wǎng)絡熱梗等多種內(nèi)容。該模型目前仍在公測階段，暫不支持用戶自定義上傳音頻。
EVA曾經(jīng)在早前2月的時候，介紹過這款EMO模型，論文介紹可查看下方地址。??
?往期回顧：
開局一張圖，內(nèi)容AI編：阿里發(fā)布人物肖像神態(tài)表情AI短視頻生成模型EMO：AI小姐姐唱跳RAP，全由你做主
2月28日，阿里巴巴人工智能團隊發(fā)布了基于音頻驅(qū)動的肖像臉部表情神態(tài)動作視頻生成框架EMO（Emote Portrait Alive）。
自從阿里AI團隊發(fā)布相關論文以來，EMO模型便受到了廣泛關注。據(jù)阿里方面介紹，目前通義實驗室目前已接到大量企業(yè)客戶問詢這款視頻生成模型，未來有望在AI數(shù)字人生成、線上教育、影視制作、電商直播等領域發(fā)揮更大的價值。
相關文章
Kardashian
Altman
