Stable Diffusion實戰(zhàn)教學丨多角色Lora同時出現應該怎么辦?
在Stable Diffusion中,想要實現畫面出現多人物是不難的,你只需要在提示詞中輸入2girls,或者3boys等數量詞,再加上一些各自的描述提示詞就可以了。如果嫌刷圖成功率不高,還可以配合openpose控制,做一個多人骨架,就可以生成一個多人物構圖了。
但是呢,同一個模型出來的人物,臉部還是太雷同了,想要區(qū)分人物還得使用不同的Lora。
接下來,我使用的兩個lora,分別來自最終幻想7中的人氣角色——蒂法和愛麗絲。
我們輸入一段提示詞:(2girl:1.2),absurdres,8k uhd,1girl,cute,red shoes,taut shirt,black skirt,,1girl,cropped jacket,hair bow,bracelet,pink dress,,garden background,flowers,magnolias,apple tree,close up portrait。
分別描述這兩個lora所對應的形象,但是結果卻發(fā)現人物的特征全部混合在了一起,說明單純靠提示詞這樣是行不通的。
這里我們需要用到一個分區(qū)控制的思路,我總共寫過兩篇可以用來分區(qū)繪圖的文章,分別是Multidiffusion和Latent Couple:
【Stable Diffusion】 超大尺寸繪制、分區(qū)控制,詳解Tiled Diffusion & VAE插件功能
【Stable Diffusion】手涂蒙版定位插件Latent Couple
#Multidiffusion
我們先來看看Multidiffusion的做法。
首先,啟用Tiled Diifusion,打開分區(qū)提示詞控制,創(chuàng)建一個文生圖畫布。
啟用區(qū)域1.作為背景,填寫關鍵詞:花園背景,鮮花,木蘭,蘋果樹
啟用區(qū)域2.作為前景,填寫關于蒂法的描述詞和lora。
啟用區(qū)域3.作為前景,填寫關于愛麗絲的描述詞和lora。
通過刷圖,我發(fā)現這樣幾乎很難生成兩個剛好在一起的人物。因為multidiffusion的分區(qū)原理是分圖層繪畫,然后通過邊緣羽化將圖層融合在一起,但是這樣的操作會導致畫面的連續(xù)性很低,兩個人物變得毫無關聯。
我們增加一個controlnet的openpose控制,來穩(wěn)定住兩個人物。
生成好了,我們來看一下。人物確實是分開了,但是lora的控制不是很強,特別是右邊的愛麗絲看起來不太像。不如剛才沒加controlnet之前愛麗絲的效果好,說明同時生成兩個lora人物對于Multidiffusion來說還是有難度的。
#Latent Couple+Composable Lora
我們再來看看Latent Couple的做法。
在我之前講解Latent Couple的文章中,我使用的是手繪蒙版的方式,進行的分區(qū),這次,我來換一種更精確的方式。
使用矩形進行分區(qū)。
為了看懂這個分區(qū)原理呢,我們需要做一點數學理解。這三串數字,分別代表著全圖、人物1和人物2.
1:1的含義就是將畫面分割成一行一列,等于就是沒有分割,所以背景就是一張完整的圖。
后面兩個人物的數值是1:2.即分為一行兩列;如果想做三個人物,就可以分三份,即1:3.
分區(qū)位置,因為是從0開始計數,所以我們在理解的時候需要給對應的數字加上1.比如我們的第一個人物坐標為0:0.那么她所在的位置就是第一行第一列,也就是畫面的左邊。
第二個人物坐標為0:1.那么她所在的位置就是第一行第二列,也就是畫面的右邊。
理解了這個之后,我們就可以自由地控制畫面中元素的位置了。比如說,你想把元素控制在圖中陰影的這個位置,你的分區(qū)方式就是3:3.你的分區(qū)位置就是1:2.
如果想把元素控制在圖中陰影范圍的話呢,你的分區(qū)方式就是3:3.你的分區(qū)位置就是1:1-3.(使用“-”符號來進行范圍控制)
我們可以用可視化預覽來驗證一下,算得對不對。
最后,還有一個權重控制,這個很好理解,根據你的需求進行調整就行了。注意背景權重不要太高,不然會影響你的主體人物。
當然,我們今天的這個案例不需要太復雜的參數設置,只要分成左右兩等分就可以了。這個矩形分區(qū)的好處就是,無論你后面的畫面尺寸怎么變,改成橫的還是豎的,這個比例分區(qū)都不會變。
同樣,我還是用openpose來控制一下人物的位置。(不要太指望AI的隨機抽卡,想要合適的動作可能要抽很久……)
最后,我們設置一下提示詞,使用AND語法引出兩個lora。
點擊生成,可以看到目前的lora還是一個混合的狀態(tài),我中有你,你中有我。
這個時候就需要祭出我們的最終武器——Composable Lora。
安裝方式就是在擴展面板中搜索composable lora,可以直接安裝。或者是將下載好的插件,放在這個路徑文件夾下“……\sd-webui-aki-v4\extensions”。
重啟就可以看到它,然后我們直接點擊啟用即可。
點擊生成,lora就完美地分開了,再也沒有互相污染的情況發(fā)生。
我們可以再使用一些不同的openpose來控制一下,看看其他的圖片怎么樣。
以上,就是精確控制畫面分區(qū)使用不同lora角色的方法,你心里有哪些難以割舍的CP,試試將他們組一組吧,可以磕到天荒地老。
掃一掃,關注作者公眾號
stable diffusion、Blender等學習心得分享
近期文章
更多