2023-09-14 18:33
Stable Diffusion深度解析丨如何實現(xiàn)模特精準(zhǔn)換裝以及如何替換模特
一、前言
來了來了，之前給大家承諾的模特?fù)Q裝教程它來了!本篇教程主要運用StableDiffusion這個工具來進(jìn)行操作，下面會通過幾個小案例，給大家展示不同需求下，我們該如何使用StableDiffusion來輔助我們完成服裝效果展示。本教程適用于電商設(shè)計場景、攝影場景等多個運用人物設(shè)計的實戰(zhàn)中，全程干貨，需要大家慢慢吸收，學(xué)會后輕松拿捏模特?fù)Q裝，let’s go!
二、更換模特
2.1 不一樣的設(shè)計需求！
換個不一樣的需求單，簡單粗暴，直達(dá)靈魂最深處(本篇文章隨性而為?)
2.2 前期準(zhǔn)備
老樣子，我們先把模型以及素材準(zhǔn)備好：
1、Stable Diffusion 模型：majicMIX realistic 麥橘寫實_v6
2、controlnet插件模型以及黑白蒙版圖
在大模型選擇上，大家可以靈活點，用上一些主流的寫實模型即可，后續(xù)我給大家分享一下Stable Diffusion一些主流模型及下載地址，后續(xù)大家可以在我的小圈子中看到(看主頁)。
Controlnet插件一般用活菩薩秋葉的啟動包就會自帶，不過模型需要自己安裝一下，在往期文章我有專門介紹過Controlnet的插件安裝教程以及模型的下載方式，此處不多做說明。
圖中為【智設(shè)AIGC社區(qū)】，整理了AI繪畫的教程及其相關(guān)資源，本文所用到的模型素材都提供在里面。
準(zhǔn)備一張黑白蒙版圖片，注意以下幾點：
1、用PS把“假人模特”部分填充黑色(即后續(xù)需要生成真人模特部分)
2、等比縮放尺寸(與原圖比例一致)，把這張圖片的尺寸縮小，方便后續(xù)的操作;
3、白色區(qū)域為蒙版內(nèi)容，黑色為非蒙版內(nèi)容(SD內(nèi)的蒙版原理)
2.3 關(guān)鍵詞描述
正向關(guān)鍵詞：
Best quality,masterpiece,ultra high res,(photorealistic:1.4),raw photo,1girl,long hair,
最佳質(zhì)量，杰作，超高分辨率，(逼真度:1.4)，原始照片，1個女孩，長發(fā)，
反向關(guān)鍵詞(通用關(guān)鍵詞，哪哪都可用)：
(worst quality:2),(low quality:2),(normal quality:2),lowres,bad anatomy,bad hands,text,error,missing fingers,extra digit,fewer digits,cropped,jpeg artifacts,signature,watermark,username,blurry,bad_pictures,DeepNegativeV1.x_V175T,nsfw,
2.4 圖生圖-上傳重繪蒙版
重點來了，本案例的核心部分，就是使用圖生圖的【重繪蒙版】來進(jìn)行模特的重新繪制。
如圖所示，選擇【圖生圖】，把上述的模型以及關(guān)鍵詞加上，點擊【上傳重繪蒙版】，上傳原圖及蒙版圖。
注意：原圖及蒙版圖尺寸要一致哦~
下面的參數(shù)直接抄作業(yè)即可，說幾個重點參數(shù)：
1、蒙版邊緣模糊度需要調(diào)整為0.這個參數(shù)類似于PS的羽化，把蒙版邊緣進(jìn)行模糊度處理。這里我用ps經(jīng)過精準(zhǔn)的摳圖繪制成蒙版，所以不需要這個參數(shù)起作用，不然邊緣會有原圖的灰色在里面;
2、蒙版模式設(shè)置為【重繪非蒙版內(nèi)容】，前面說過白色區(qū)域為蒙版內(nèi)容，黑色為非蒙版內(nèi)容，大家靈活往里面帶入，黑白是可以切換的，后續(xù)調(diào)整【蒙版模式】即可;
3、重繪倍數(shù)選擇2倍放大，我測試1倍圖生成的效果不好，后期調(diào)整區(qū)間很大;
4、【重繪幅度】為0.5.太高會生成的亂七八糟。
2.5 初步跑圖（批量）
把上述的參數(shù)調(diào)整好了之后，我們就可以進(jìn)行初步的跑圖了，可以調(diào)整總批次數(shù)量(顯卡一般的控制在4左右)。
到這一步基本上就差不多了，挑選一張相對滿意的圖片，可以進(jìn)行細(xì)節(jié)上的優(yōu)化，比如手部及臉部等。
2.6 局部重繪細(xì)節(jié)處
把選中的圖片上傳到【局部重繪】中，用畫筆涂抹需要修改的地方，把下方的蒙版模式改為【重繪蒙版內(nèi)容】，點擊生成即可。
可以重復(fù)多次使用局部重繪功能，把臉部和手部分開重繪，效率會更高點，同時，也可以通過修改正向關(guān)鍵詞，來重繪涂抹地方，比如加上長發(fā)等等。
這個案例就說到這里，后期還有優(yōu)化空間，大家會這個操作方法才是本次案例的核心，來看看對比吧~
三、inpaint anything插件
上一個案例我們是ps手動繪制蒙版的，有沒有自動且更便捷的方式呢，當(dāng)然有，就是使用這個【inpaint anything插件】：
使用 Segment Anything，用戶可以通過簡單地指向所需區(qū)域來指定蒙版，而不是手動填充它們。這可以提高蒙版創(chuàng)建過程的效率和準(zhǔn)確性，從而可能獲得更高質(zhì)量的修復(fù)結(jié)果，同時節(jié)省時間和精力。
3.1 inpaint anything安裝
插件安裝方法一直都是如此，相信看到本篇教程的你也絕不是小白了，我就簡單帶過，另一種方法可以通過網(wǎng)址下載：https://github.com/Uminosachi/sd-webui-inpaint-anything
安裝完成后刷新【web-ui】即可看到這個插件，之后下載模型，這個插件就不做詳細(xì)介紹，看操作路徑即可。
3.2 生成蒙版圖
先準(zhǔn)備一張模特圖片，上傳到【Input image】中，點擊運行。
如圖所示，右側(cè)會出現(xiàn)【語義分割色塊圖】，按照下方步驟操作。
說明一下：我們選中的區(qū)域，它會給我們在下方高亮顯示，選中的部分在后面會給我們生成黑白遮罩圖。
之后在左側(cè)找到以下的選項，按步驟操作，你就會得到一張蒙版圖，最后發(fā)送到圖生圖中~
后面的操作是不是很熟悉了，就是第一個案例的操作，這個插件就是為我們生成蒙版圖。
3.3 換個模特吧
回到圖生圖，模型及關(guān)鍵詞用第一個案例的，無需做出任何改動，下方的參數(shù)也不需要動，只需要把尺寸調(diào)整下，與上傳圖片的尺寸一致即可。
搞定了，就這么簡單，有問題的地方發(fā)送到【局部重繪】中，修正調(diào)整即可。
來看一下對比：
我們還可以擴展一下，只能換人嗎?我們換個衣服試試。
3.4 換件衣服吧
上面是保持衣服不變，更換人物。生圖原理就是利用圖生圖蒙版功能，大家應(yīng)該知道怎么做了吧，我們只需要把蒙版模型改動一下即可。
我們先把正向關(guān)鍵詞改動下吧，把關(guān)于人物的描述刪掉，更換成【yellow clothes】黃色衣服試試：
Best quality,masterpiece,ultra high res,(photorealistic:1.4),raw photo,(((yellow clothes))),
下面參數(shù)有兩個點需要注意：
1、蒙版模式改為【重繪蒙版內(nèi)容】;
2、重繪幅度調(diào)大一點，之前是0.5.現(xiàn)在我們改成0.7.不然衣服顏色是黃色+紅色相結(jié)合的顏色。
然后生成一批圖試試~先埋個坑，哈哈哈!
怎么樣，還可以吧?，是不是發(fā)現(xiàn)這動作不對，胳膊亂飛~那咱們就繼續(xù)往下看。
3.5 Openpose姿勢控制
其實大家做圖的時候要靈活運用功能，就上述生成的姿勢是有問題的，解決這個問題方法就可以用openpose，提取原圖的姿態(tài)。
使用方法如下圖，沒什么難度，抄作業(yè)即可。
再次生成，模特的姿勢就成功的還原了，很完美!可以通過修改關(guān)鍵詞來調(diào)整衣服的顏色以及款式，完事~
四、自定義模特
換個一個場景，上面兩個案例都是有模特的素材，如果沒有模特只有一件服裝可以生成模特圖嗎，也是可以的，我們往下看：
4.1 準(zhǔn)備素材
當(dāng)我們有一張服裝圖時，還需要準(zhǔn)備兩張應(yīng)用在stablediffusion的素材圖：
1、一張服裝白底圖(應(yīng)用在controlnet上);
2、黑白蒙版圖(應(yīng)用在重繪蒙版上)。
注：黑白蒙版圖可以用上面提到的插件做哦，別忘記用了。
4.2 安裝3D 骨架模型編輯 (3D Openpose)
先說下思路，當(dāng)我們只有服裝時，我們需要在服裝基礎(chǔ)上創(chuàng)建一個人物，stablediffusion是無法精準(zhǔn)的基于服裝生成人物，所以我們需要使用【3D Openpose】這個插件來創(chuàng)建一個人物骨架圖，然后運用【controlnnet】插件來精準(zhǔn)控圖。
安裝插件跟上面一樣，在擴展中安裝即可，如果擴展安裝不了那就是用本地安裝，網(wǎng)址在這：
https://github.com/nonnonstop/sd-webui-3d-open-pose-editor/tree/main
安裝完成后，重啟【web-ui】即可在這看到【3D Openpose】，關(guān)于這個怎么用很簡單，大家嘗試著用用，熟悉一下即可(我個人覺得不是很好操作)
4.3 創(chuàng)建人物骨骼圖
進(jìn)入到【3D Openpose】，把原圖放進(jìn)來，然后調(diào)整骨架與圖片的對應(yīng)位置，可以根據(jù)自己的想法調(diào)整骨架姿勢，需要多嘗試用幾遍。注意：圖片尺寸一定要設(shè)置好，一定!
調(diào)整完之后，點擊【生成】，點擊【發(fā)送到controlnet】，點擊【發(fā)送到圖生圖】即可。
注意：基于寫本篇教程的sd版本，我們需要先到【圖生圖】模塊把controlnet先勾選啟用，發(fā)送才有效!
4.4 設(shè)置controlnet及重繪蒙版
回到【圖生圖】的controlnet中，我們需要使用兩個controlnet插件，第一個就是【openpose】，其次是【canny】。
1、【openpose】只需選擇該模型即可，預(yù)處理器不用選擇;
2、【canny】目的是控制服裝邊緣，上傳前面準(zhǔn)備的白底圖，如果你前面蒙版圖沒有摳細(xì)致，這一步很重要。
重繪蒙版與前面兩個案例一樣，包括模型與關(guān)鍵詞，一模一樣即可。
4.5 跑圖完成
上述參數(shù)設(shè)置完成后，跑圖即可，剩下的細(xì)節(jié)之處本教程就不做演示了，與第一個案例一樣，細(xì)節(jié)之處有問題的地方使用【局部重繪】修正即可，或者是PS處理下(話說PS Beta好像不能用了?)
怎么樣，應(yīng)該都看會了吧?又是一波收藏夾吃灰教程，來看看【智設(shè)AIGC社區(qū)】吧，全是超干教程及資源，免費分享給大家哦，主頁or評論區(qū)見~
五、總結(jié)
本教程詳細(xì)介紹了如何使用StableDiffusion實現(xiàn)模特精準(zhǔn)換裝以及換模特。通過幾個實際案例，展示了StableDiffusion在不同場景下的應(yīng)用，通過學(xué)習(xí)本教程，您可以輕松掌握模特?fù)Q裝的技巧，提高工作效率，完事了，下課，我們下期見(不要忘記來領(lǐng)xx哦)。
作者的公眾號二維碼丨掃一掃，關(guān)注我
我們是一支專注于AI繪畫領(lǐng)域的設(shè)計團隊
旨在成為AIGC教育領(lǐng)航者和設(shè)計行業(yè)變革者
由行業(yè)資深的UI設(shè)計師、UX設(shè)計師、動效設(shè)計師、品牌設(shè)計師以及三維設(shè)計師組成
期待與大家一起共同成長進(jìn)步
相關(guān)文章
近期文章
更多
Kardashian
Altman
