2024-05-14 17:50
騰訊開源首個AI繪畫模型：混元文生圖大模型，國內(nèi)首個中英雙語DiT架構(gòu)文生圖模型，號稱超越SD
AI奇點網(wǎng)5月14日報道丨5月14日下午，騰訊發(fā)布今年第二季度業(yè)績財報，并宣布宣布旗下的混元文生圖AI大模型升級并對外正式開源，目前開源代碼已經(jīng)在 Hugging Face 及 Github 上發(fā)布，包含模型權(quán)重、推理代碼、模型算法等完整模型，可供企業(yè)與個人開發(fā)者免費商用。
升級后的混元文生圖大模型采用了與 Sora 一致的 DiT 架構(gòu)，騰訊表示，混元 DiT 是首個中英雙語 DiT 架構(gòu)。
混元 DiT 是一個基于 Diffusion transformer 的文本到圖像生成模型，此模型具有中英文細粒度理解能力，混元 DiT 能夠與用戶進行多輪對話，根據(jù)上下文生成并完善圖像。這也是業(yè)內(nèi)首個中文原生的 DiT 架構(gòu)文生圖開源模型，支持中英文雙語輸入及理解，參數(shù)量 15 億。
運行該模型需要支持 CUDA 的英偉達 GPU，單獨運行混元 DiT 所需的最低顯存為 11GB，同時運行 DialogGen（騰訊推出的文本轉(zhuǎn)圖像多模態(tài)交互式對話系統(tǒng)）和混元 DiT 則至少需要 32GB 的顯存，騰訊表示他們已經(jīng)在 Linux 上測試了英偉達的 V100 和 A100 GPU。
這是業(yè)內(nèi)首個中文原生的DiT架構(gòu)文生圖開源模型，支持中英文雙語輸入及理解，參數(shù)量15億。
評測數(shù)據(jù)顯示，最新的騰訊混元文生圖模型效果遠超開源的 Stable Diffusion 模型，是目前效果最好的開源文生圖模型；整體能力屬于國際領(lǐng)先水平。
升級后的騰訊混元文生圖大模型采用了全新的DiT架構(gòu)（DiT，即Diffusion With Transformer），這也是Sora和 Stable Diffusion 3 的同款架構(gòu)和關(guān)鍵技術(shù)，是一種基于Transformer架構(gòu)的擴散模型。
過去，視覺生成擴散模型主要基于 U-Net 架構(gòu)，但隨著參數(shù)量的提升，基于 Transformer 架構(gòu)的擴散模型展現(xiàn)出了更好的擴展性，有助于進一步提升模型的生成質(zhì)量及效率。
騰訊混元是業(yè)界最早探索并應(yīng)用大語言模型結(jié)合 DiT 結(jié)構(gòu)的文生圖模型之一。從 2023 年 7 月起，騰訊混元文生圖團隊就明確了基于DiT架構(gòu)的模型方向，并啟動了新一代模型研發(fā)。今年初，混元文生圖大模型已全面升級為DiT架構(gòu)。
在DiT架構(gòu)之上，騰訊混元團隊在算法層面優(yōu)化了模型的長文本理解能力，能夠支持最多 256 字符的內(nèi)容輸入。同時，在算法層面創(chuàng)新實現(xiàn)了多輪生圖和對話能力，可實現(xiàn)在一張初始生成圖片的基礎(chǔ)上，通過自然語言描述進行調(diào)整，從而達到更滿意的效果。
中文原生也是騰訊混元文生圖大模型的一大亮點，此前，像 Stable Diffusion 等主流開源模型核心數(shù)據(jù)集以英文為主，對中國的語言、美食、文化、習(xí)俗都理解不夠?；煸纳鷪D是首個中文原生的DiT模型，具備中英文雙語理解及生成能力，在古詩詞、俚語、傳統(tǒng)建筑、中華美食等中國元素的生成上表現(xiàn)出色。
評測結(jié)果顯示，新一代騰訊混元文生圖大模型視覺生成整體效果，相比前代提升超過 20%，在語義理解、畫面質(zhì)感與真實性方面全面提升，在多輪對話、多主體、中國元素、真實人像生成等場景下效果提升顯著。
相關(guān)文章
Altman
Kardashian
