2024-01-25 14:47
深度解析丨ControlNet模型的工作原理與應(yīng)用場(chǎng)景（附案例解析）
大家好，我是言川。本期文章是2024年的第一篇文章，也是2023年農(nóng)歷的最后一篇文章。截至這篇文章完成時(shí)，距離春節(jié)也只有最后一周的時(shí)間了，我無(wú)法單獨(dú)向支持我的朋友們傳達(dá)祝福之意。所以在本篇文章的開(kāi)頭，向大家說(shuō)一些祝福之詞：
2024年，祝大家在新的一年里事業(yè)有成，大展宏圖，前程似錦。同時(shí)在事業(yè)之外，祝大家健康、快樂(lè)以及幸福。
2024年，辰龍年，祝大家龍飛鳳舞，事業(yè)騰飛;祝大家金龍獻(xiàn)瑞，好運(yùn)連連;祝大家龍年吉祥，幸福安康。
最后，新年快樂(lè)，準(zhǔn)備準(zhǔn)備回家吃餃子咯~
開(kāi)始我們本篇文章的主題吧。生成式AI開(kāi)始在國(guó)內(nèi)爆發(fā)的時(shí)間是2023年2月底(炒的最熱階段)，當(dāng)時(shí)是在的ChatGPT引領(lǐng)下，一眾AI生成式工具被我們所知曉。在圖像生成領(lǐng)域，最為出名的幾個(gè)工具是Midjourney、StableDiffusion和Dall -E3.
盡管當(dāng)時(shí)Midjourney V4版本模型生成的圖片質(zhì)量已經(jīng)是非常的驚艷，但是還遠(yuǎn)遠(yuǎn)沒(méi)有讓大多數(shù)設(shè)計(jì)師引起足夠的重視，原因也很簡(jiǎn)單，對(duì)于設(shè)計(jì)師來(lái)說(shuō)，可商業(yè)化的工作流才是核心。
直到在2023年3月中下旬時(shí)，StableDiffusion的教程開(kāi)始如雨后春筍般拔地而起，相信你一定看到過(guò)類似的教程：二次元線稿上色、模特?fù)Q裝、二維圖像轉(zhuǎn)三維等等。這相比于Midjourney給設(shè)計(jì)師們帶來(lái)的驚艷，StableDiffusion的這些操作可謂是震驚了設(shè)計(jì)圈，讓會(huì)AI和不會(huì)AI的設(shè)計(jì)師們都坐不住了，當(dāng)然也包括我。之后我也是趕緊開(kāi)始投入StableDiffusion的研究中。
而這一切都得益于一個(gè)插件：Controlnet。它可以對(duì)圖像進(jìn)行精準(zhǔn)控圖，相比于Midjourney，它似乎更適合大多數(shù)設(shè)計(jì)場(chǎng)景。
以上為個(gè)人觀點(diǎn)，不喜勿噴?
最近我們也是在研發(fā)專屬于設(shè)計(jì)師的AI商業(yè)課程，在StableDiffusion設(shè)計(jì)中幾乎每一個(gè)商業(yè)場(chǎng)景都離不開(kāi)Controlnet插件的加持，對(duì)此我想再寫一篇Controlnet詳細(xì)教程，本篇教程會(huì)詳細(xì)的介紹大部分常用的controlnet模型，如果你還不知道如何操作使用controlnet，我建議你看看我在2023年5月份寫的一篇《StableDiffusion丨姥姥看了都會(huì)的Controlnet插件教程》
1、電腦配置單
在正式開(kāi)始我們controlnet的講解之前，我為大家準(zhǔn)備了3套不同的電腦配置單。
之前也有大部分的朋友都來(lái)問(wèn)我，如何搭配一臺(tái)能玩StableDiffsion的電腦。所以在本篇文章中我就直接公布出來(lái)，只作為建議參考。
其實(shí)能穩(wěn)定的運(yùn)行StableDiffsion進(jìn)行生圖，最重要的配置就是顯卡顯存，我們?cè)谑褂胏ontrolnet的時(shí)候，也會(huì)加大顯存的占用，所以最核心的就是顯存。其他配置都是圍繞著該顯卡進(jìn)行搭配，畢竟要使顯卡能完美的發(fā)揮出它的性能，其他配置也得跟上。
2、官方模型
① 目前最新的controlnet模型分為ControlNet 1.1模型和ControlNet XL模型。
② ControlNet 1.1模型支持基于SD1.5、2.1訓(xùn)練的大模型上。而ControlNet XL模型支持基于SD XL訓(xùn)練的大模型上。
③ 它們雖然是屬于兩個(gè)不同版本的模型，但是使用方法和原理都是一樣的。所以本文只介紹ControlNet 1.1模型，Controlnet XL模型大家對(duì)應(yīng)著預(yù)處理器和模型看即可。
當(dāng)然如果大家現(xiàn)在還沒(méi)有ControlNet 1.1模型和ControlNet XL模型，我們?cè)谏鐓^(qū)中是給大家免費(fèi)提供了的，可以聯(lián)系我獲取哦~
目前ControlNet 1.1官方發(fā)布的模型有14個(gè)模型，其中包含11個(gè)完整模型以及3個(gè)測(cè)試模型。下面我就開(kāi)始詳細(xì)介紹一下這些模型的作用。
以下所有的模型演示案例，固定參數(shù)為：
1、負(fù)面關(guān)鍵詞用大家常用的模板即可;
2、迭代步數(shù)30、采樣方法DPM++ 2M Karras;
3、尺寸與上傳controlnet圖一致
2.1 ControlNet 1.1 Depth
? Stable Diffusion的深度圖
? 模型文件：control_v11f1p_sd15_depth.pth
介紹：生成一張立體深度圖，白色越亮的地方越靠前，越灰的地方越靠后，記錄原圖的空間信息，可作用在生成圖上，如下圖。
?實(shí)操案例：
大模型：AWPainting_v1.2.safetensors
正向關(guān)鍵詞：
((upper body portrait, An African black girl is happy and laughing:1.2)) ((pure blue background)),A delicate figure appears ethereal,with translucent wings and a gown reminiscent of frost. Her attire is a blend of innocence and otherworldliness,suggesting she may be a sprite or fairy from a winter realm,radiating a serene presence.,
上傳原圖，并且使用Depth midas預(yù)處理器，切換depth模型，保存默認(rèn)的controlnet設(shè)置，即可通過(guò)深度圖生成一張與原圖人物姿勢(shì)類似的圖。人物細(xì)節(jié)和圖片風(fēng)格可以通過(guò)大模型和關(guān)鍵詞控制。
2.2 ControlNet 1.1 Normal
? 使用法線圖控制Stable Diffusion
? 模型文件：control_v11p_sd15_normalbae.pth
介紹：與depth類似，預(yù)處理出來(lái)的圖片在3D里叫法線貼圖。通過(guò)凹凸的法線貼圖記錄空間信息，適合細(xì)節(jié)信息比較多的圖片。
?實(shí)操案例：
大模型：AWPainting_v1.2.safetensors
正向關(guān)鍵詞：
scenery,chair,(ocean:1.3),table,lamp,indoors,sky,plant,water,horizon,window,door,flower pot,potted plant,wooden floor,book,shelf,HDR,UHD,8K,best quality,highres,absurdres,masterpiece,Highly detailed,
上傳真實(shí)的室內(nèi)設(shè)計(jì)場(chǎng)景，通過(guò)Normal模型獲取原圖的空間信息和物體信息，用二次元風(fēng)格的大模型即可完成圖片風(fēng)格的次元轉(zhuǎn)換，Normal的控制效果可謂是非常精準(zhǔn)了。
2.3 ControlNet 1.1 Canny
? 使用Canny圖控制Stable Diffusion
? 模型文件：control_v11p_sd15_canny.pth
介紹：提取圖片中物體的輪廓線，AI根據(jù)提取的輪廓重新生成一張與原圖細(xì)節(jié)類似的圖片。
?實(shí)操案例：
大模型：disneyPixarCartoon_v10.safetensors
正向關(guān)鍵詞：
deer,outdoors,tree,blurry,grass,animal,nature,blurry background,antlers,day,animal focus,solo,horns,
HDR,UHD,8K,best quality,highres,absurdres,masterpiece,Highly detailed,
使用canny預(yù)處理器和模型，控制鹿的形體和身體細(xì)節(jié)之處，然后通過(guò)大模型和關(guān)鍵詞的配合，即可生成與上傳圖非常非常相似的鹿。還可以控制背景元素，這是我們?cè)谏鷪D中最常用的模型之一。
2.4 ControlNet 1.1 MLSD
? 使用M-LSD直線控制Stable Diffusion
? 模型文件：control_v11p_sd15_mlsd.pth
介紹：提取圖片中物體的直線條，彎曲線條不會(huì)被提取。適合做室內(nèi)設(shè)計(jì)和建筑設(shè)計(jì)這種直線結(jié)構(gòu)的圖。
?實(shí)操案例：
大模型：majicMIX realistic 麥橘寫實(shí)_v7.safetensors
正向關(guān)鍵詞：
couch,scenery,lamp,table,book,indoors,wooden floor,carpet,chair,plant,bookshelf,rug,shelf,ceiling light,door,
HDR,UHD,8K,best quality,highres,absurdres,masterpiece,Highly detailed,
MLSD模型在室內(nèi)設(shè)計(jì)中最為常用，上傳原始室內(nèi)圖，控制室內(nèi)空間內(nèi)的直線條，通過(guò)不同的關(guān)鍵詞和大模型即可完成相同空間內(nèi)不同風(fēng)格的室內(nèi)設(shè)計(jì)樣板圖。
2.5 ControlNet 1.1 Scribble
? 使用涂鴉控制Stable Diffusion
? 模型文件：control_v11p_sd15_scribble.pth
介紹：提取圖片中物體的大輪廓，不會(huì)像canny一樣提取精細(xì)化的線條，保留人物(物體)的外輪廓，細(xì)節(jié)會(huì)根據(jù)關(guān)鍵詞發(fā)生改變。
?實(shí)操案例（與canny模型一樣的案例）：
大模型：disneyPixarCartoon_v10.safetensors
正向關(guān)鍵詞：
deer,outdoors,tree,blurry,grass,animal,nature,blurry background,antlers,day,animal focus,solo,horns,
HDR,UHD,8K,best quality,highres,absurdres,masterpiece,Highly detailed,
相比于canny硬邊緣控制，scribbble相對(duì)比較柔和，在細(xì)節(jié)之處更多的是由AI來(lái)發(fā)揮生成，所以它的控制力不如canny，適合展現(xiàn)創(chuàng)造力的圖片?？聪旅嫔傻穆购捅尘?，只是控制了鹿的大概形體，其他地方則由AI發(fā)揮生成。
2.6 ControlNet 1.1 Soft Edge
? 使用柔和邊緣控制Stable Diffusion
? 模型文件：control_v11p_sd15_softedge.pth
介紹：提取圖片中物體的輪廓線，與canny不同的是他會(huì)首先提取物體大的輪廓線，然后其他地方會(huì)有細(xì)的線。相當(dāng)于canny與scribble的結(jié)合，粗粗細(xì)細(xì)的。
?實(shí)操案例：
大模型：majicMIX alpha 麥橘男團(tuán)_v2.0.safetensors
正向關(guān)鍵詞：
best quality,hyper quality,8k,ultra detail,realistic,RAW photo,dslr,soft lighting,film grain,Fujifilm XT3.Screen Space Refraction,high detailed skin,natural skin texture,Canon 5D,high details,(masterpiece),(best quality),ultra hi res,realistic,handsome male,young guy,asian male,blurry background,shirt,blurry,white shirt,1boy,male focus,hands in pockets,realistic,upper body,
與上面說(shuō)的一樣，它相當(dāng)于Canny與Scribble結(jié)合，能通過(guò)預(yù)處理精準(zhǔn)控制圖片中的物體，可以對(duì)比這幾個(gè)模型的預(yù)處理出來(lái)的草稿圖，他們對(duì)形體的控制力度會(huì)有區(qū)別，也是比較常用的模型。
2.7 ControlNet 1.1 Segmentation
? 使用語(yǔ)義分割控制Stable Diffusion
? 模型文件：control_v11p_sd15_seg.pth
介紹：設(shè)計(jì)中的語(yǔ)義分割圖，根據(jù)色塊生成不同的物體，識(shí)別物體對(duì)應(yīng)色塊進(jìn)行畫面的區(qū)分，然后根據(jù)關(guān)鍵詞的描述生成該物體在圖片中的樣子。
這個(gè)表格是用在“seg”這個(gè)模型上的，可以通過(guò)顏色來(lái)控制物體在畫面出現(xiàn)的區(qū)域，下面表格中的顏色都對(duì)應(yīng)著相關(guān)物體，我有這個(gè)表可以分享給大家，找我就行了下?
?實(shí)操案例：
大模型：majicMIX realistic 麥橘寫實(shí)_v7.safetensors
正向關(guān)鍵詞：
scenery,outdoors,ocean,sky,day,beach,shore,cloud,water,stairs,horizon,landscape,tree,
HDR,UHD,8K,best quality,highres,absurdres,masterpiece,
它的原理是把圖像中的物體，按照語(yǔ)義分割圖的規(guī)則分割成色塊，每個(gè)色塊都對(duì)應(yīng)著一個(gè)物體，比如青藍(lán)色是天空，草木是綠色，通過(guò)這樣的方式控制圖片中的元素，也是比較常用的模型。
2.8 ControlNet 1.1 Openpose
? 使用Openpose控制Stable Diffusion
? 模型文件：control_v11p_sd15_openpose.pth
介紹：識(shí)別人物的姿勢(shì)、面部、手臂，生成骨架圖，AI根據(jù)骨架圖可以很好的還原原圖上的人物形態(tài)。
?實(shí)操案例：
大模型：AWPainting_v1.2.safetensors
正向關(guān)鍵詞：
1girl,orange shoes,solo,sitting,sky,clouds,outdoors,black hair,bird,upward view,blue sky,white socks,daytime,orange jacket,building,long sleeves,leaves,long hair,stairs,red headband,pump Rope,headband,bangs,cloudy sky,from_below,wide_shot,
上傳人物圖，可以通過(guò)openpose控制生成人物骨架圖，通過(guò)不同的大模型和關(guān)鍵詞，生成與原圖人物姿勢(shì)一樣，但是風(fēng)格不一樣的圖片，做人物類的圖片少不了用它。
2.9 ControlNet 1.1 Lineart
? 使用線條藝術(shù)控制Stable Diffusion
? 模型文件：control_v11p_sd15_lineart.pth
介紹：精準(zhǔn)的控制物體的線條，并自動(dòng)對(duì)線條進(jìn)行藝術(shù)化處理，與canny類似，適合做一些偏藝術(shù)類的圖片，簡(jiǎn)單說(shuō)可以幫我們把圖片轉(zhuǎn)成手繪線稿圖。
?實(shí)操案例：
大模型：AWPainting_v1.2.safetensors
正向關(guān)鍵詞：
flower,white flower,no humans,bug,orange flower,red flower,butterfly,black background,leaf,pink flower,plant,daisy,fruit,yellow flower,lily (flower),purple flower,still life,HDR,UHD,8K,best quality,highres,absurdres,masterpiece,
這個(gè)模型提取出來(lái)的線條就類似我們手繪出來(lái)的線稿圖一樣，對(duì)于藝術(shù)類的圖片控制重繪的效果比較合適，可以看到下圖生成出來(lái)的效果是非常精準(zhǔn)的。
2.10 ControlNet 1.1 Anime Lineart
? 使用動(dòng)漫線條藝術(shù)控制Stable Diffusion
? 模型文件：control_v11p_sd15s2_lineart_anime.pth
介紹：專門做動(dòng)漫線稿上色的模型，提取圖片線稿，然后進(jìn)行上色處理，也可以直接上傳線稿上色。
?實(shí)操案例：
大模型：AWPainting_v1.2.safetensors
正向關(guān)鍵詞：
(masterpiece),(best quality:1.2),official art,(extremely detailed CG unity 8k wallpaper),(photorealistic:1.4),1girl,future technology,science fiction,future mecha,white mecha,streamlined construction,internal integrated circuit,upper body,driver's helmet,
把人物線稿上傳后，使用lineart進(jìn)行黑白反色處理，根據(jù)大模型風(fēng)格和關(guān)鍵詞描述，即可對(duì)手繪線稿上色，這也是最常用的線稿上色方式。
2.11 ControlNet 1.1 Shuffle
? 使用內(nèi)容洗牌控制Stable Diffusion
? 模型文件：control_v11e_sd15_shuffle.pth
介紹：風(fēng)格遷移，把原圖的顏色信息打亂，然后為生成圖片添加原圖的顏色信息。簡(jiǎn)單來(lái)說(shuō)就是讓AI學(xué)習(xí)原圖的風(fēng)格，然后賦予到新的圖片上。
?實(shí)操案例：
大模型：majicMIX realistic 麥橘寫實(shí)_v7.safetensors
正向關(guān)鍵詞：
crosswalk,city,night,real world location,street,crowd,road,6+boys,outdoors,scenery,people,building,neon lights,sign,cityscape,6+others,multiple boys,multiple others,multiple girls,english text,city lights,HDR,UHD,8K,best quality,absurdres,masterpiece,Highly detailed,
實(shí)測(cè)下來(lái)，不是特別理想。可能在一些小眾場(chǎng)景中可以用到。
2.12 ControlNet 1.1 Instruct Pix2Pix
? 使用指令式Pix2Pix控制Stable Diffusion
? 模型文件：control_v11e_sd15_ip2p.pth
介紹：指令性模型，與其他的模型都不一樣，它是上傳一張圖片后，給他發(fā)送一串指令關(guān)鍵詞。比如下面的圖片，給他發(fā)送：“讓它著火”，但是目前只支持一些簡(jiǎn)單的指令，還不成熟。
?實(shí)操案例：
大模型：majicMIX realistic 麥橘寫實(shí)_v7.safetensors
正向關(guān)鍵詞：
Set him on fire.
上傳圖片后，在正向關(guān)鍵詞中描述：讓它著火，就出現(xiàn)了如下的圖片，嘗試了更為復(fù)雜的指令，確實(shí)識(shí)別不出來(lái)，目前也就適合拿來(lái)玩一下。
2.13 ControlNet 1.1 Inpaint
? 使用修復(fù)控制Stable Diffusion
? 模型文件：control_v11p_sd15_inpaint.pth
介紹：與圖生圖的局部重繪類似，它會(huì)比局部重繪生成的圖與原圖更融合，且操作更簡(jiǎn)單。
?實(shí)操案例：
大模型：majicMIX alpha 麥橘男團(tuán)_v2.0.safetensors
正向關(guān)鍵詞：
1boy,male focus,solo,pants,facial hair,jewelry,shirt,realistic,bracelet,looking at viewer,tattoo,short hair,white shirt,blurry background,black hair,blurry,belt,necklace,beard,dark skin,white pants,
上傳圖片，按住S鍵放大原圖，然后用畫筆涂抹人物頭部區(qū)域，點(diǎn)擊生成就會(huì)給我們換頭處理。如下圖，我沒(méi)有開(kāi)高清修復(fù)和After Detailer，所以面部融合不是很自然。
開(kāi)啟高清修復(fù)和After Detailer后，頭部質(zhì)量明顯提升，而且融合的相對(duì)比較自然，實(shí)測(cè)比圖生圖中的重繪幅度好用很多。
2.14 ControlNet 1.1 Tile
? 使用瓷磚控制Stable Diffusion
? 模型文件：control_v11f1e_sd15_tile.pth
介紹：讓一張模糊的圖片變成高清的圖片，或者是讓一張不清晰的圖變成超多細(xì)節(jié)的圖?？勺饔糜诶险掌迯?fù)，圖片高清化處理，非常的強(qiáng)大。
?實(shí)操案例（老照片修復(fù)）：
大模型：RealisticVisionV2.0
圖生圖反推關(guān)鍵詞：
one family,dad,mom,the daughter sat on the bike,asiatic,
photo,shoot,(best quality:1.4),((absurdres)),(realistic:1.3),(masterpiece:1.3),Highly detailed,
啟用Tiled Diddusion和Tiled VAE，放大算法切換為R-ESRGAN 4X+，放大倍數(shù)2倍。
啟用controlnet，上傳老照片，使用tile模型，點(diǎn)擊生成即可得到一張修復(fù)后的高清大圖。
3、非官方發(fā)布模型
3.1 reference
? 使用參考圖控制Stable Diffusion
? 模型文件：無(wú)模型文件
介紹：可以理解為墊圖，AI會(huì)根據(jù)上傳的圖片進(jìn)行物體和風(fēng)格的參考進(jìn)行重新繪制，也可以通過(guò)關(guān)鍵詞描述改變物體動(dòng)作或形態(tài)。
?實(shí)操案例：
大模型：RealisticVisionV2.0
正向關(guān)鍵詞：
dog, on the grass, run
reference沒(méi)有模型，只有一個(gè)預(yù)處理器，上傳圖片后，在正向關(guān)鍵詞中輸入描述詞就可以生成與原圖類似風(fēng)格的圖片效果。
3.2 recolor
? 使用重上色控制Stable Diffusion
? 模型文件：ioclab_sd15_recolor
介紹：為照片重新上色，比如黑白照片上色，也可以通過(guò)關(guān)鍵詞指定顏色(下圖無(wú)關(guān)鍵詞)。
?實(shí)操案例：
大模型：RealisticVisionV2.0
正向關(guān)鍵詞：red
啟用controlnet，上傳黑白照片，在正向關(guān)鍵詞中輸入“紅色”關(guān)鍵詞，點(diǎn)擊生成之后，照片的整體色調(diào)就被賦予了紅色，如果想換成其他色調(diào)可通過(guò)調(diào)整關(guān)鍵詞切換。
以上就是本篇controlnet模型的全部拆解，不知道大家對(duì)每一個(gè)模型是否都了解了，下面我給大家演示一個(gè)通過(guò)controlnet插件完成背景生成的案例。
4.1 前期準(zhǔn)備
下面這個(gè)案例就是為二次元人物生成一個(gè)背景：
我們這個(gè)案例的思路就是通過(guò)圖生圖-上傳重繪蒙版功能生成背景，用controlnet控制背景生成的準(zhǔn)確度。在前期的素材準(zhǔn)備方面，準(zhǔn)備一張白底圖和黑白蒙版圖。
然后就是大模型和Lora，因?yàn)槲覀冎黧w是一個(gè)動(dòng)漫二次元人物，所以我們的大模型和lora也需要用到同一風(fēng)格的。
大模型：AWPainting_v1.2.safetensors丨Lora：新春龍年春節(jié)插畫 _v2.0
正向關(guān)鍵詞描述你想讓畫面出現(xiàn)的元素：
chunjieV2.scenery,lantern,outdoors,snow,architecture,east asian architecture,sky,day,paper lantern,building,blue sky,solo,winter,Spring Festival,Celebration,Chinese New Year,Celebration,Traditional Chinese architecture,scene,,
春節(jié)，風(fēng)景，燈籠，戶外，雪，建筑，東亞建筑，天空，天，紙燈籠，建筑，藍(lán)天，獨(dú)奏，冬天，春節(jié)，慶典，春節(jié)，慶典，中國(guó)傳統(tǒng)建筑，場(chǎng)景
Lora權(quán)重0.8.反向關(guān)鍵詞可自己選擇通用的。
4.2 基礎(chǔ)生圖
前期準(zhǔn)備工作完成后，就可以把這些素材填充到web-ui中了。
在上傳重繪蒙版這里，需要注意兩點(diǎn)：
1、蒙版模糊度10.蒙版模式為重繪非蒙版內(nèi)容;
2、重繪幅度為1.因?yàn)槲覀冃枰狝I 100%參與生成。
設(shè)置完上面一部分后，如果你點(diǎn)擊生成，那你的背景一定會(huì)有問(wèn)題，因?yàn)槲覀冎煌ㄟ^(guò)黑白蒙版是無(wú)法精準(zhǔn)控制整個(gè)畫面的，我們還需要使用controlnet進(jìn)一步控制：
單元一：設(shè)置lineart預(yù)處理器和模型，控制人物身體線稿，確保背景不會(huì)出現(xiàn)另外一個(gè)角色;
單元二：設(shè)置inpaint預(yù)處理器和模型，這個(gè)局部重繪會(huì)讓人物和背景更加融合(可以不上傳原圖)。
以上步數(shù)設(shè)置完成后，點(diǎn)擊生成，我們就為人物添加上了背景。
但是現(xiàn)在你會(huì)發(fā)現(xiàn)整張圖片的質(zhì)量并不高，人物在場(chǎng)景中沒(méi)有光影變化，所以我們還需進(jìn)行后續(xù)的修復(fù)：
我們可以批量生成8張圖，挑選一張你所滿意的圖片，發(fā)送到圖生圖。
4.3 后期修復(fù)
先把生成圖發(fā)送到圖生圖，然后重繪幅度設(shè)置為0.3.設(shè)置tiled diffusion和tiled VAE插件。
在controlnet這里設(shè)置tile模型進(jìn)行細(xì)節(jié)的修復(fù)，點(diǎn)擊生成之后我們就得到了一張高清修復(fù)后的圖片。
到此處你還會(huì)發(fā)現(xiàn)，生成后的人物主體發(fā)生了變化，那是因?yàn)槲覀兊闹乩L幅度0.3影響了人物主體。但是我們?nèi)绻O(shè)置更小的重繪幅度，整個(gè)場(chǎng)景包括人物的光影細(xì)節(jié)都不會(huì)有變化，所以我們可以讓SD休息會(huì)了，剩下的交給Photoshop來(lái)修復(fù)。
到PS中，我們就可以把原圖的人物覆蓋上去，然后各位就在PS中各顯神通，把原圖用圖層蒙版功能涂涂抹抹，最后我們就得到了一張高清的二次元新春圖了。
以上就是本教程的全部?jī)?nèi)容了，重點(diǎn)介紹了controlnet模型，當(dāng)然還有一些小眾的模型在本次教程中沒(méi)有出現(xiàn)，目前controlnet模型確實(shí)還挺多的，所以重點(diǎn)放在了官方發(fā)布的幾個(gè)模型上。
熟悉并掌握每個(gè)模型的作用后，你就可以靈活的在web ui中使用這些模型，還有各種模型之間的搭配。本教程的案例只是眾多商業(yè)化設(shè)計(jì)中的一個(gè)操作流程，之后我還會(huì)分享更多的商業(yè)設(shè)計(jì)工作流，你可以在我的主頁(yè)獲取鏈接?我的方式，期待與大家的交流。最后小聲的說(shuō)一下，我們的第一套AI設(shè)計(jì)商業(yè)化課程在節(jié)后上線，如果你看完了學(xué)不會(huì)可以化身“東北錘王”，捶我??
最后最后，新年快樂(lè)啦，發(fā)布上線本篇教程后，我就溜溜球了，放假放假~
近期文章
更多
