首页>文档>工单中心>sd入门到进阶:

需要支持?

如果通过文档没办法解决您的问题,请提交工单获取我们的支持!

sd入门到进阶:

如果你想深入了解chatgpt,这里整理了一份gpt课程合集资源,或许能解决你人工智能方面很多问题
素材收集自互联网
更新时间:2023/5/20,新增入门教程(文生图)

如何使用

1、网页版(免安装,点击即用)

点击访问-> https://shorturl.at/kvyNY
无需魔法,国内可用,注册后即可免费试用非常适合新手尝鲜(没有任何设备要求和安装过程,登录即可使用)
100%原版stable diffusionwebUI,目前网上有的插件,官方都会测试优化好后陆续添加进去,比如openpose3d,mov2mov等等,好处就是不需要自己部署和维护,随便到哪,甚至用手机和平板就可以畅享A10工业显卡级别的作图体验
里面已经有非常多的大模型和LORA模型,并且有程序员大大在进行BUG维护,各位同学有问题或想要官方增加一些模型的可以与我联系,当然你也可以自己上传模型使用。
如果有同学想要订阅会员的,可以输入下方的优惠码,这是我向官方争取的,可以让你省点钱(最近官方刚刚更新了微信支付的方式,对比MJ来说支付更为便捷,同级别价格可以作图数量是MJ20倍!
优惠码:BAILIAO10(5月底过期),优惠码使用说明:点击这里->Diffus购买与促销码使用说明

2、colab云端部署

可以免费白嫖谷歌云服务器部署使用stable diffusion WEBUI,在此向提供脚本的巴哈大师致敬。
这种方法需要魔法什么上网,好处是对电脑配置没要求,能打开网页就行
下面是部署方法,首先注册谷歌邮箱账户,然后谷歌浏览器登录账户
点击这个脚本:https://colab.research.google.com/drive/1piBCgnoPfiPn8alD6y3_O8mEIaj4d1q1?usp=sharing
然后依次执行所有代码块即可,点击代码块左边的播放按钮即可运行
全部执行完成后,会打印出webUI地址,这里我们选择下面这两个地址任意一个即可
这样,我们就完成了部署,可以访问webUI进行使用啦。
部署完成后,所有模型文件和生成出来的图片都会保存在你的谷歌账户的谷歌硬盘中:
地址:https://drive.google.com/
由于SD大模型的文件大小往往都是几个G,如果你通过huggingface下载到本地再上传到谷歌硬盘的话,那速度简直感人,这里提供一个脚本,直接将huggingface里的模型通过服务器下载到你的谷歌硬盘中,全程只需要几分钟。
脚本地址:https://colab.research.google.com/drive/1ViTfNzNzUP5DXGgu_XcUZ-qjHBuQ8JlR?usp=sharing
也是依次点击代码块执行即可,对应的地方填写地址和token即可,可以先尝试下,搞不懂的我后面有时间再补充详细教程或者你直接找我咨询也可以
好了至此colab云部署的方式就完成了,白嫖拥有15G显存的标准GPU资源。另外他还提供PLUS版,每个月9.9刀,提供高显存高性能显卡和RAM,需要的可以自行购买。由于是谷歌服务需要双币信用卡进行付款,或寻找代充服务。找不到代充的也可以咨询我。

3、本地部署(windows&MAC)

A卡部署(VLAD Diffusion
链接:https://avoid.overfit.cn/post/0caaa9f5c8af48619361a15308a6e146

Windows安装(N卡):

这种方式,无需魔法,但是对电脑的硬件要求比较高
建议显存8G以上,内存16G以上,SSD硬盘空间200G以上的配置进行使用
至于部署方法,无脑推荐秋叶大佬,秋叶大佬YYDS
或者你也可以通过我的百度云直接下载,不过教程还是要看上面秋叶大佬的视频的
链接: https://pan.baidu.com/s/19pYemrQ3tLzq6pPg-2zWwg?pwd=jxau 提取码: jxau

MAC安装:

diffusionBee提供了一个基于stable diffusion的应用程序,无需复杂部署,正常安装就可以使用,完全免费
官网地址:https://diffusionbee.com/
安装及使用流程参考:
https://github.com/divamgupta/diffusionbee-stable-diffusion-ui/blob/master/DOCUMENTATION.md
硬件要求参考:
1、建议:8GB M1 MacBook Air 以上
2、DiffusionBee 适用于基于 Intel 的机器。如果你没有专用的图形芯片,它与 M1 机器相比非常慢。
3、DiffusionBee 需要更高版本的 macOS 12.5.1。推荐使用 Apple 芯片的机器。

4、阿里云实验室(可白嫖)

免费赠送价值150元的调用额度,活动地址:https://developer.aliyun.com/adc/scenario/e71ae1062a4f405e8ed80c0dd0ea2156?spm=a2c6h.13858378.0.0.17e53d98pIoI8B
部署完成后,webUI是一样的,但这里只提供了一个模型,主要是用来体验一下。完整版本需要自行购买阿里云服务器进行部署

5、腾讯云部署

6、云部署服务器推荐

AUOTODL:https://www.autodl.com/home

入门教程

文生图

基础界面介绍
第一步选择主模型
每个主模型都有擅长绘画的类型,比如有的擅长绘画真人,有的擅长绘画漫画,有的擅长绘画动物等等。根据你想要的画面选择合适的大模型,模型的下载可以前往C站
举个例子:chilloutmix擅长画限制级真人美女,Counterfeit适合画动漫场景人物,DreamShaper适合画游戏/电源CG人物,有一定的真实感
第二步填写提示词
新手可以直接前往资料里的SD咒语网站,如:https://www.aigodlike.com/找到喜欢的图片风格,复制学习别人的咒语,再进行更改.
第三步调整一下图片宽高
主要参考你复制咒语的那张图片的宽高比例即可,最后点击生成就完成了文生图

SD咒语

基础使用说明(知乎@neyham)

基础(图片质量)

输入提示词的第一步不是要尝试画任何东西,而是定义提示词以提升图片质量。

基本吟唱魔法

起手式输入下述提示词,生成图片质量就会提高。
best quality, ultra-detailed, masterpiece, finely detail, highres, 8k wallpaper
比较输入质量提示词前后
1girl, magic Steps: 20, Sampler: Euler a, CFG scale: 7, Seed: 2785601337, Size: 512×512, Model hash: fc2511737a, Model: chilloutmix_NiPrunedFp32Fix
1girl, magic, best quality, ultra-detailed, masterpiece, finely detail, highres, 8k wallpaper Steps: 20, Sampler: Euler a, CFG scale: 7, Seed: 2785601337, Size: 512×512, Model hash: fc2511737a, Model: chilloutmix_NiPrunedFp32Fix

人物吟唱魔法

画人时添加下列提示词,可大幅提升人物细节精细度
beautiful detailed eyes highly detailed skin extremely delicate and beautiful girls
比较输入质量提示词前后
1girl, sailor dress Steps: 20, Sampler: Euler a, CFG scale: 7, Seed: 241507614, Size: 512×512, Model hash: a074b8864e, Model: CounterfeitV25_25>
1girl, sailor dress, beautiful detailed eyes, highly detailed skin, extremely delicate and beautiful girls Steps: 20, Sampler: Euler a, CFG scale: 7, Seed: 745832415, Size: 512×512, Model hash: a074b8864e, Model: CounterfeitV25_25

特定元素的质量改进魔法

同理,当您想要升级某些元素(背景、眼睛或衣服)的质感时,可添加以下提示词:
extremely detailed /* 某些单词 / beautiful detailed / 某种单词 */

使用负面提示词

使用负面提示词可以筛选掉不需要的画风、要素、或错误绘画结果。
mutated hands and fingers,text,title,deformed, bad anatomy, disfigured, poorly drawn face, mutation, mutated, extra limb, ugly, poorly drawn hands, missing limb, floating limbs, disconnected limbs, malformed hands, out of focus, long neck, long body
由于目前AI还不太会画手,以下为不画手提示词组合句
((poorly drawn hands)),more than 1 left hand, more than 1 right hand, short arm, (((missing arms))), bad hands,missing fingers,(extradigit),(fewer digits),mutated hands,(fused fingers),(too many fingers),sharp fingers,wrong figernails,long hand,double middle finger,index fingers together,missing indexfinger,interlocked fingers,pieck fingers,sharp fingernails,(steepled fingers),x fingers,((curled fingers)),(no finger gaps),interlocked fingers,fingers different thickness,cross fingers,poor outline,big fingers,finger growth,outline on body,outline on hair,out line on background,more than one hands,fuse arm,fuse elbow,more than two arm,more than two elbow

视角

  • dynamic angle
  • from above
  • from below
  • wide shot
  • Aerial View
best quality, ultra-detailed, masterpiece, finely detail, highres, 1girl, kimono, in shinto shrine, Aerial View Steps: 20, Sampler: Euler a, CFG scale: 7, Seed: 4093211569, Size: 512×512, Model hash:
主体远近的相关提示词
  • full body shot(全身)
  • cowboy shot ( 半身)
  • close-up shot (接近)
best quality, ultra-detailed, masterpiece, finely detail, highres, 1girl, extremely delicate and beautiful girls,cyberpunk, full body shot Steps: 20, Sampler: Euler a, CFG scale: 7, Seed: 923218373, Size: 512×512, Model hash: a074b8864e, Model: CounterfeitV25_25
best quality, ultra-detailed, masterpiece, finely detail, highres, 1girl, extremely delicate and beautiful girls,cyberpunk, cowboy shot Steps: 20, Sampler: Euler a, CFG scale: 7, Seed: 3024702595, Size: 512×512, Model hash: a074b8864e, Model: CounterfeitV25_25
best quality, ultra-detailed, masterpiece, finely detail, highres, 1girl, extremely delicate and beautiful girls,cyberpunk, close-up shot Steps: 20, Sampler: Euler a, CFG scale: 7, Seed: 1257468238, Size: 512×512, Model hash: a074b8864e, Model: CounterfeitV25_25

光线

光线 说明
cinematic lighting 电影光
cinematic lighting 动感光
volumetric lighting 体积光
Volumetric lighting 体积光
mood lighting 气氛光
bright 明亮
Soft illumination 柔光照明
soft lights 瑞光千条
rays of shimmering light 闪烁的光线
Crepuscular Ray 云隙光(耶稣光)
bioluminescence 生物发光
bisexual lighting 气氛光
红蓝双色光
Rembrandt Lighting 人物的45度角侧向光
Split Lighting 高对比的侧面光
front lighting 正面光顺光
Back lighting 逆光
clean background trending 斜逆光
satellite view 体积光
rim lights 边缘光
global illuminations 全局光
Warming lighting 暖光灯
Natural lighting 戏剧灯光

视线

  • looking at viewer
  • looking at another
  • looking away
  • looking back
  • looking up

画风

  • sketch, one-hour drawing challenge (手绘风)

身体指定

表情
  • blush(脸红)
  • wet sweat(大汗)
  • flying sweatdrops (飞汗 )

衣服指定

制服
  • china dress
  • sailor dress
  • school uniform
  • sailor senshi uniform
不多说了。。。

风景指定

  • underwater (水下)
  • shinto shrine (神社)

姿势指定

  • hands on 例hands on own face, hands on feet, hands on breast
  • kneeling
  • hand between legs
  • hair flip
  • skirt flip

其他技巧

使用括号

  • 如果你想变得提示词更强(x1.05):用 () 括起单词
  • 如果你想提示词变弱(/1.05):用 [] 括起单词

Seed 固定

使用固定的Seed号,再添加提示词,可以在原图上进行进一步修改(如上色,改变视角等)

PNG info

上传AI生成图查看相应的prompt信息

Prompt语法

权重

提示词权重很大程度会影响画面生成结果。按正确的语法调配提示词将极大的增强画面质量。

权重语法

分割符号

“,” 逗号 逗号用于分割词缀,且有一定权重排序功能,逗号前权重高,逗号后权重低
故而,咒语存在一定的语法,通常应该是:
图像质量+主要元素(人物,主题,构图)+细节元素(饰品,特征,环境细节)
组合符号

“()” 括号 增加权重,权重将会乘以1.1
“(())” 双括号 会叠加权重,在双括号的情况下,权重为1.21
:冒号 在括号中词缀后冒号加数字,代表该词缀的权重数值
(1girl:0.75) 单人女孩词缀,权重为0.75
大部分情况下,操作权重,用括号即可。
“[]” 中括号 减少权重,本身权重除以1.1
中括号中数字权重不起作用,若想百分比减少权重,应当使用()括号,外加小数代表权重
“AND” 词缀
“a1 AND b1 AND c1 AND” 功能类似逗号,但不会像逗号一样区分出前后权重,用于将多个词缀聚合于一个提示位。
“a1:0.5 AND b1:0.5 AND c1:1.1” 在使用and的提示位中,用AND链接的词缀可使用冒号标记其权重。
“and” 的作用类似 “[xx|xx|xx]” ,用于让多个词缀生成可控权重下的单个元素
“[xx|xx|xx]” 趋向于融合,AND趋向于特征明显的共存。
实例:”a girl, blue hair AND red hair, short hair” 生成一个蓝红混色染发的短发女孩

权重逻辑

若是想明确某主体,应当使其生成步骤向前,生成步骤数加大,词缀排序向前,权重提高。
画面质量→主要元素→细节
若是想明确风格,则风格词缀应当优于内容词缀
画面质量→风格→元素→细节
未证实:风格权重或许需要优于画面质量,从而不至于被画面质量污染特殊风格质感。
生成算法
[from:to:when]
画面生成的顺序
[元素1:元素2:步骤比例] 元素1与元素2互相叠加,可用于两个词条的融合
[male:female:0.2] 前20%画male,后80%画female
当when为小于1的值且不为负数时,则意味着参与总步骤数中的百分比
[male:female:20]前20步画male,而后所有的步骤用于生成female
当when为大于1的值,则意味着生成多少步,而不是总步骤数中的百分比
[to:when] 希望在某个步骤之后才开始生成某画面
[flower:0.5]希望在50%的步骤结束后,开始生成花朵
[from::when] 希望前某步骤生成某画面
[flower::0.2]希望前20%的步骤用于画花朵,后续步骤生成步骤中花朵不再干预生成过程。
[cow|horse]
某物与某物的交替演算,用于生成融合生物,句中词缀含义为融合牛与马。
[xx|xx|xx|xx|xx] 本质为一种在平等权重下融合词缀生成单个元素
[xx|xx|xx|xx|xx] 不限制混合元素的数量
实例:1girl,[blue|red]hair,short hair/生成一个蓝红混色染发的短发女孩
[cow|horse]in a field 括号外加词缀意味着融合过程中的共享元素,句中含义为,“田野里的牛”与“田野里的马”交替生成。

SD咒语网站推荐

二次元类社区

二次元元素法典

https://docs.qq.com/doc/DWHl3am5Zb05QbGVs

艺术风格

各种类型的SD咒语(比较全):

提示词工具

输入你想要的画面,点击submit,会为你生成精准的画面描述prompt
http://www.atoolbox.net/Tool.php?Id=1101
https://promptomania.com/

常用prompt推荐

正向提示词:
prompt 用途
HDR, UHD, 64K (HDR、UHD、4K、8K和64K)这样的质量词可以带来巨大的差异提升照片的质量
Highly detailed 画出更多详细的细节
Studio lighting 添加演播室的灯光,可以为图像添加一些漂亮的纹理
Professional 加入该词可以大大改善图像的色彩对比和细节
Vivid Colors 给图片添加鲜艳的色彩,可以为你的图像增添活力
Bokeh 虚化模糊了背景,突出了主体,像iPhone的人像模式
High resolution scan 让你的照片具有老照片的样子赋予年代感
Sketch 素描
Painting 绘画
反向提示词:
prompt 描述
mutated hands and fingers 变异的手和手指
deformed 畸形的
bad anatomy 解剖不良
disfigured 毁容
poorly drawn face 脸部画得不好
mutated 变异的
extra limb 多余的肢体
ugly 丑陋
poorly drawn hands 手部画得很差
missing limb 缺少的肢体
floating limbs 漂浮的四肢
disconnected limbs 肢体不连贯
malformed hands 畸形的手
out of focus 脱离焦点
long neck 长颈
long body 身体长
常用艺术风格:
艺术风格 艺术家 说明
Portraits Derek Gores, Miles Aldridge, Jean Baptiste-Carpeaux, Anne-Louis Girodet 肖像画
Landscape Alejandro Bursido, Jacques-Laurent Agasse, Andreas Achenbach, Cuno Amiet 风景画
Horror H.R.Giger, Tim Burton, Andy Fairhurst, Zdzislaw Beksinski 恐怖画
Anime Makoto Shinkai, Katsuhiro Otomo, Masashi Kishimoto, Kentaro Miura 动漫画
Sci-fi Chesley Bonestell, Karel Thole, Jim Burns, Enki Bilal 科幻画
Photography Ansel Adams, Ray Earnes, Peter Kemp, Ruth Bernhard 摄影
(Concept artists (video game)) Emerson Tung, Shaddy Safadi, Kentaro Miura 概念艺术
Digital painting \ 数字艺术风格
Concept art \ 2d插画风格
Ultra realistic illustration 画风真实和逼真,用于生成人物

prompt示例参考:

1、机车女孩
模型:darkSushiMixMix_brighterPruned
正向提示词:
War, apocalypse, abandoned cities, dark cities, collapsed buildings, masterpieces, best quality, (highest picture quality), (master work), (ultra fine), {highest quality}, 1 lady, dark blue long straight hair, red rider jacket, white T-shirt, jeans, black boots, riding a red BMW F1 motorcycle on the street, dodging the pursuit of dragon shaped monsters, facing the camera, city streets, evening, Sunset, movie lights, Kawasaki Ninja 650, speed and passion, red streamers, terrifying atmosphere, flames, explosions, monsters extending their claws, speed effects, panicked running crowds, slow<lora:conceptLoongChinaDragon_v10:0.5>
反向提示词:
NSFW,lowres,bad anatomy,bad hands, text, error, missing fingers,extra digit, fewer digits, cropped, worstquality, low quality, normal quality,jpegartifacts,signature, watermark, username,blurry,bad feet,sketches, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, bad anatomy,(long hair:1.4),DeepNegative,(fat:1.2),facing away, looking away,tilted head, lowres,bad anatomy,bad hands, text, error, missing fingers,extra digit, fewer digits, cropped, worstquality, low quality, normal quality,jpegartifacts,signature, watermark, username,blurry,bad feet,cropped,poorly drawn hands,poorly drawn face,mutation,deformed,worst quality,low quality,normal quality,jpeg artifacts,signature,watermark,extra fingers,fewer digits,extra limbs,extra arms,extra legs,malformed limbs,fused fingers,too many fingers,long neck,cross-eyed,mutated hands,polar lowres,bad body,bad proportions,gross proportions,text,error,missing fingers,missing arms,missing legs,extra digit, extra arms, extra leg, extra foot,black pants, (bad shadows),(bad-artist:1.0), (loli:1.2), (worst quality, low quality:1.4), bad-hands-5, deformed, bad anatomy, disfigured, poorly drawn face, mutation, mutated, extra limb, ugly, disgusting, poorly drawn hands, missing limb, floating limbs, disconnected limbs, malformed hands, blurry, watermark, watermarked, oversaturated, censored, (bloom:1.5),interlocked fingers
2、夏日女孩(动漫风)
模型:CounterfeitV25
正向提示词:full_moon, leaf, moon, plant, potted_plant, bamboo, 1girl, palm_tree, butterfly, bug, water, tanabata, branch, barefoot, night, lily_pad, tanzaku, soaking_feet,ankle cuff,vines, solo, outdoors, tree, sitting, long_hair, wet, flower, smile, ivy, azure_eyes,(silver hair), dress, lily_of_the_valley, sky, hair_ornament, bangs, blue_butterfly,bare_legs, looking_at_viewer, palm_leaf,(stars:1.2),(azure eyes:0.8),(pure white dress:1.2),hairs between eyes,(bare back:1.2),(bare shoulders:1.2),caustic,cinematic lighting, landscape, hdr, lens flare, dynamic angle,
反向提示词
EasyNegative,badv4,{Multiple people},lowres,bad anatomy,bad hands, text, error, missing fingers,extra digit, fewer digits, cropped, worstquality, low quality, normal quality,jpegartifacts,signature, watermark, username,blurry,bad feet,cropped,poorly drawn hands,poorly drawn face,mutation,deformed,worst quality,low quality,normal quality,jpeg artifacts,signature,watermark,extra fingers,fewer digits,extra limbs,extra arms,extra legs,malformed limbs,fused fingers,too many fingers,long neck,cross-eyed,mutated hands,polar lowres,bad body,bad proportions,gross proportions,text,error,missing fingers,missing arms,missing legs,extra digit,
狼人效果
模型:revAnimated_v11.safetensors
正向提示词:
Werewolves in animal skins, Black Forest background, moon, sky, night,male focus,solo,furry,green eyes,intricate detail,Sharp claw,Scar,clothes,fight,extremely detailed CG unity 8k wallpaper,masterpiece,best quality,original,artbook,analog style,weapon,depth of field,incredibly_absurdres,extremely detailed CG unity 8k wallpaper,official art,cinematic lighting,(ultra photorealistic:1.3)
反向提示词:
(original), (very detailed wallpaper), (masterpiece), photographic reality, realistic, very detailed illustrations, best illumination, best shadow, an extremely delicate and beautiful, Epic Light and Shadow, very wide shot, dynamic angle, dynamic pose, half body, medieval, beautiful detailed eyes and face, prefect body, panorama, 8K, (best quality)

SD模型介绍

二次元绘画大模型

1.abyssorangemix3AOM3_aom3a1
2.dalcefoPainting_v4
3.pastelMixStylizedAnime_pastelMixPrunedFP16
油画风格
4.threeDelicacyWonton_threeflavorwontonmixv
水墨风
5.revAnimated_v11
大场景必备
6.Counterfeit
非常优质的动漫模型
7.TMND-Mix
超级优秀的室内环境,适合大场景
8.animelike2D
动漫番剧画风(C站已下架)
9.cetusMix
优质融合模型
10.Color Box Model
特殊的美感
11.Night Sky YOZORA Style Model
精致

LORA

盲盒模型

基础参数
模型:revAnimated_V11
LORA: blindbox_V1Mix / 权重:0.8
VAE:animevae
采样迭代步数(steps):25 / 提示词相关性(CFG Scale):7 / 比例:728×728
通用词条(不包含辅助人物生成的词条,仅为风格词条):
正:
(masterpiece, best quality, absurdres, foreshortening), photo of a highly detailed,(full body:1.2), smile,cute face ,
,(studio background),(clean background),(blurry background),chibi, (beautiful detailed face), (beautiful detailed eyes),standing in chinese garden, rendered in blender
负:
(low quality:1.3), (worst quality:1.3),pointy ears, animal ears, watermark, logo, text, badhandv4,(naked/nude, )
正:(masterpiece, best quality, absurdres, foreshortening), photo of a highly detailed,(full body:1.2), smile,cute face ,(studio background),(clean background),(blurry background),chibi, (beautiful detailed face), (beautiful detailed eyes),Basketball court, 1girl,solo, colorful_hair,wearing red jersey, black shorts, medium chest, ((detailed face)), sport, sunshine,look at viewer,chibi, rendered in blender,<lora:blindbox_V1Mix:0.8>
负:(low quality:1.3), (worst quality:1.3),pointy ears, animal ears, watermark, logo, text, badhandv4,(naked/nude, ),mutated hands and fingers,text,title,deformed, bad anatomy, disfigured, poorly drawn face, mutation, mutated, extra limb, ugly, poorly drawn hands, missing limb, floating limbs, disconnected limbs, malformed hands, out of focus, long neck, long body

原神-八重神子

Realistic genshin lora

日漫风格

ReV Animated

室内场景

XSarchitectural-7Modern interior
更多LORA可前往C站搜索:https://civitai.com/

controlnet

ControlNet是Stable diffusion一个插件,简单的说,就是在AI产图之初就将一个型先印在最一开始的图中,再由AI去补剩下的东西,整体来说是个Game changer

1.插件安装

这是ControlNet的GIT,载下来然后丢到extensions资料夹里就好;不过如果你的Stable diffusion webui有更新的话,在Extensions页签应该是找得到的,在这边也能装

2.模组安装

ControlNet除了插件,同时也要抓他底下的计算Model,你需要在这里下载你需要用到的ControlNet Model(你没必要全抓),请把他们丢在extensions\sd-webui-controlnet-main\models

3.模组简述

模组 效果
Canny 会用演算法详细的抓图片的边缘线做为参考生成图片
mlsd 会尝试抓图片中明显的直线做为参考生成图片
hed 会尝试抓取图片中的特征做为参考生成图片
Scribbles 会尝试以提供的线条为结构做为参考生成图片
openpose 会尝试从图片中的人物生成骨架后做为参考生成图片
seg 会将图片用一个大略的色块取代后做为参考生成图片
depth 会尝试从图片中抓取图片的深浅远近做为参考生成图片
normal 与depth类似,也会尝试从图片中抓取图片的深浅远近做为参考生成图片
个人推荐尝试:Scribbles、openpose、normal,文中也会以这三个为范例,其他model的展示可以在这里看到

4.使用

插件安装完毕后,不管在txt2img还是img2img应该都能看到多了Controlnet(如果你发现你上方的介面不太一样,我建议你更新)
点开之后会看到这个画面
勾选enable,才会启动Controlnet
Scribbles mode是给Scribbles专用的,其他的模式请不要勾它
RGB to BGR反转红与蓝,我不确定这能干啥
low VRAM如果你显卡RAM不够请勾它
Guess Mode会让Controlnet完全去猜你丢进去的图适合哪种模式
Preprocessor 与Model就是选第三大项提到的模组
Preprocessor的意思是要先对图片做哪一种模式的预处里,选Scribbles就会抓线、选Openpose会抓肢体等等,不过如过你今天丢进去的是已经处理过的图片(如在其他地方抓来的Openpose图),这一项请选None
Model则是会已选定的模式去告诉AI该怎么画,原则上你Preprocessor选什么Model就选什么,除非你知道你自己丢进去的图片可以对应哪个Model
Weight是Controlnet的强度,不过太强的话还蛮容易画崩的
Resize mode用于设定Create blank canvas产生的画布大小(不设定不影响产图)
最下面的Create blank canvas则是在图片的地方生一个空白图片让你画(应该是给Scribbles用的?)
Preview annotator result是预览在这样的设定与输入的图片下会产生什么样的参考图/骨架/深浅(这对应你选的模式,一片黑就代表抓取失败,请换图片或换模式)
Preview annotator result是把前项的预览收起来
选择使用Model后会有像这样的bar条出现,是用于设定ControlNet判断图片读取的设定,但每个Model不一样,除了第一个bar条是设定取样精细度算是共通的外其他都不一样,请用Preview去看看产出的骨架/深浅图那些的是不是你想要的

5.使用成果示例(Scribbles、openpose与normal)

Scribbles
以及…产出的九个范例
从中可以看到大部分的情况AI会依照你给的东西尝试去画,仔细看的话你还是可以看到一开始给的线都嵌在图片中,不过AI会怎么补你给的线仍然是难以预测,画崩也是可以预料的事情,这个部分就只能靠关键词、嵌入档让AI画出更好的结果
openpose
openpose会从你给的图片中尝试去抓骨架,并以其为基底去画图,如果画崩的话通常是姿势太奇特(没错,大部分的jojo立会崩)
(猜猜看这谁的姿势?)
不过有些图片openpose没办法算出人物骨架,我不确定原因,反正产出时会有显示他的参照骨架,如果是一片黑就代表它抓不到骨架
ps.参照骨架应该会长这样
Normal
Normal会将输入的图片弄成一个型,接着AI会依据关键词去把人给画出来,而这不像img2img,原本图片的元素完全不会影响到你的产出,不会因为图片背景有森林而导致你不管怎么画都离不开那个森林

其他插件

locon

使WebUI可以使用LyCORIS模型(包含LoCon和LoHa)
到Extensions > 下載Extensions> 勾選locon開啟。(預設開啟)
LyCORIS的使用方法與LoRA相同。

localization_zh_TW

提供繁體中文翻譯介面。
到Extensions > 下載Extensions > 勾選localization_zh_TW開啟。(預設開啟)
到Settings > User Interface > Localization (requires restart) > zh_TW,
點選Apply Settings後重啟WebUI。

bilingual_localization

提供雙語介面。
到Extensions > 下載Extensions > 勾選bilingual_localization開啟。
Settings > Bilingual Localization > Localization file > zh_TW。
Settings > User Interface > Localization (requires restart) > None。

tag_complete

提供Danbooru tag建議。
到Extensions > 下載Extensions > 勾選tag_complete開啟。(預設開啟)

image_browser

提供生成圖片預覽。
到Extensions > 下載Extensions > 勾選image_browser開啟。(預設開啟)
Image Browser > 藍色圖示刷新頁面。
可以點選圖片導入到txt2img, img2img, Extras。

Civitai_Helper

提供Civitai模型管理工具。
到Extensions > 下載Extensions > 勾選Civitai_Helper開啟。(預設開啟)
抓取模型資訊:
到Civitai Helper>Scan model。
點選右上角粉紅色小卡圖示,
將游標移到模型卡片上,
四個圖示由左至右分別代表:
  • 更換預覽圖
  • 開啟模型的Civitai網址
  • 添加模型的trigger word
  • 使用模型預覽圖的prompt
(剛Scan完模型請按Refresh顯示預覽圖)
(有時候圖示會跑掉,請按Refresh Civitai Helper)
對於抓不到資訊的模型,
也可以手動給Civitai網址獲得模型資訊。

tunnels

到Extensions > 下載Extensions > 勾選tunnels開啟。(預設開啟)
tunnels提供多種tunneling方法。

cutoff

cutoff可以用來限制token作用範圍。
到Extensions > 下載Extensions > 勾選cutoff開啟。
勾選Enabled並輸入想要限制的token。(通常是顏色)
以下是enable cutoff前後的對照圖。

controlnet

提供多種控制姿勢構圖方法。
到Extensions > 下載Extensions > 勾選control_net開啟。
到Extensions > 下載ControlNet模型 > 勾選想要使用的ControlNet模型。
多重ControlNet請到Settings > ControlNet > Multi ControlNet設置。
這邊以調整姿勢的openpose為例
需要給一張參考圖(真人圖比較容易抓到)
勾選enable,選擇Preprocessor和對應Model後生成圖片。
Preprocessor和Model的對照表:
一些姿勢相關網站:

openpose_editor

對於Openpose Preprocessor產出的骨架圖不滿意?
使用OpenPose Editor微調骨架圖。
到Extensions > 下載Extensions > 勾選openpose_editor開啟。
可參考下圖調整keypoints。

posex

另一款編輯openpose骨架extension。
到Extensions > 下載Extensions > 勾選posex開啟。
勾選Send this image to ControlNet以顯示介面。
滑鼠左鍵控制3D旋轉、滾輪控制人物大小、滑鼠右鍵控制平移。

depth_lib

使用Depth Library編輯手勢。
到Extensions > 下載Extensions > 勾選depth_lib開啟。
可以跟openpose搭配使用。

latent_couple & composable_lora

latent_couple提供分割繪製多個主題或人物方法。
composable_lora使用AND分割LoRA作用範圍。
到Extensions > 下載Extensions > 勾選開啟。
用小畫家初步構圖並填上色塊。
為各個色塊分別填上Prompt。
如果有使用LoRA記得Enable Composable Lora。
接著就能開始產圖了。

lora_block_weight

調整LoRA區塊權重。
到Extensions > 下載Extensions > 勾選lora_block_weight開啟
使用方式有兩種:
<lora:”lora name”:1:1,0,0,0,0,0,0,0,0,1,1,1,1,1,0,0,0,0>
<lora:”lora name”:1:OUTD>
數字代表各區塊權重。
也可以使用xyz plot來評估各種權重組合的效果。
以角色LoRA去除畫風來說,以OUTD為基礎效果最好。

大厂AI绘画资料

暂时无法在飞书文档外展示此内容
暂时无法在飞书文档外展示此内容
暂时无法在飞书文档外展示此内容
0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
有新私信 私信列表
搜索