所有分类
  • 所有分类
  • 英文字体
  • 平面图片
  • 视频素材
  • 音乐特效
  • 网页源码
  • 办公文档
  • 软件插件

controlnet是什么?controlnet模型下载地址官方正版

ControlNet是Stable Diffusion的一个控制插件,核心作用就一句话:让AI画图时严格按你给的参考图来,不能随便改构图和结构。没有它,你写“一个人双手举杯”,AI大概率画出六根手指;有了它,给一张线稿或姿态骨架,AI只能上色和换风格,物体位置、人体姿势、轮廓一点都不能动。

它是怎么干活的

原生SD只听文字提示,自由发挥空间太大。ControlNet的做法是把参考图先过一遍预处理器,提取出纯结构信息——边缘线、深度图、人体骨架、语义分割,丢掉色彩和光影,只留空间关系。然后把这个结构图喂给对应的ControlNet模型,编码成结构特征向量,在SD去噪的每一轮循环里同步注入,强制画面贴合参考结构。

底层用了一个叫“零卷积”的技巧:注入层初始权重全是零,训练开始时等于什么都不做,不会破坏SD原本的能力,只逐步学会往你要的方向偏。所以ControlNet是即插即用的,不用重训底模,一个SD可以挂几十种不同控制类型的ControlNet。

一个关键点:预处理器和模型必须一一配对。canny模型只认canny线稿,depth模型只认深度图,拿错等于拿错钥匙开锁,调再参也白费。

常用模型和预处理器对应关系

做效果图最常碰到的就这几组,文件名里中段那个词就是它认领的任务,等于自带说明书:

Canny:预处理器选canny,模型是control_v11p_sd15_canny,控制边缘轮廓,适合线稿上色

Depth:预处理器选depth(MiDaS/LeReS/Zoe任一),模型是control_v11f1p_sd15_depth,控制前后层次和景深,适合室内重绘

OpenPose:预处理器选openpose_full,模型是control_v11p_sd15_openpose,锁人物姿态

MLSD:预处理器选mlsd,模型是control_v11p_sd15_mlsd,专管直线和几何结构,建筑、室内线稿首选

Scribble:预处理器scribble,模型control_v11p_sd15_scribble,手绘草图转成图

SoftEdge:预处理器softedge,模型control_v11p_sd15_softedge,柔化边缘,比canny保留更多细节

Normal Map:预处理器normal_bae,模型control_v11p_sd15_normalbae,控制表面凹凸质感

Lineart:预处理器lineart,模型control_v11p_sd15_lineart,正式线稿转插画

Segmentation:预处理器seg,模型control_v11p_sd15_seg,按物体类别锁定区域范围

官方正版下载地址

ControlNet的作者是斯坦福的张吕敏(Lvmin Zhang),所有官方模型都放在HuggingFace上,认准作者名lllyasviel就不会下错。

主模型下载页(v1.1版本,目前最稳定):

https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main

这一页里每个模型约1.45GB,文件名带”p”的是production正式版(比如control_v11p_sd15_canny.pth),带”e”的是experimental实验版,带”f1″是修过bug的版本。

fp16轻量版(每个约700MB,显存友好,效果几乎无损):

https://huggingface.co/comfyanonymous/ControlNet-v1-1_fp16_safetensors/tree/main

WebUI专用的裁剪版safetensors(去掉了内嵌的SD底模,体积小很多):

https://huggingface.co/webui/ControlNet-modules-safetensors/tree/main

原始1.0版本(含完整SD权重,体积大,一般不用下):

https://huggingface.co/lllyasviel/ControlNet

作者GitHub仓库(源码和文档):

https://github.com/lllyasviel/ControlNet

下载和安装步骤

第一步,装插件本体。 打开AUTOMATIC1111 WebUI,进入Extensions标签 → Install from URL,填入 https://github.com/Mikubill/sd-webui-controlnet.git,点Install,等5秒装完,重启WebUI(终端也要关掉重开)。

第二步,下模型文件。 去上面那个v1.1下载页,点每个文件右边的下载箭头图标,下载以”.pth”结尾的文件。注意:一定要点HuggingFace页面上那个下载箭头,不要右键另存为——右键保存到的是HTML网页文件,不是模型,这是新手最常见的坑。

第三步,放到正确目录。 把下载好的.pth文件放进:

stable-diffusion-webui\extensions\sd-webui-controlnet\models

新版插件的yaml配置文件已内置,只需要pth就行。

第四步,验证。 重启WebUI后刷新模型列表,在txt2img页面下方应该能看到ControlNet折叠面板,展开后Model下拉框里能看到你刚放的模型名,就说明装好了。

容易踩的坑

模型和yaml文件名必须一致。 如果你从CivitAI等第三方下载,文件名可能被改过,导致yaml对不上,模型会出现异常行为(shuffle尤其明显)。最稳妥的办法是只从官方HuggingFace下,保持原始文件名不动。

预处理器和模型别搞混。 WebUI里的Preprocessor下拉框选什么,取决于你要用哪种控制方式,选完后Model下拉框会自动过滤出兼容的模型,跟着选就行。

权重别一上来就拉满。 默认从0.7起步,觉得结构锁得不够再往上加。权重超过1.2画面容易僵死,衣服褶皱、材质细节全被抹掉,只剩硬描边。

显存不够8GB的话勾Low VRAM。 8G以下显卡跑ControlNet容易爆显存,在插件面板勾上Low VRAM模式能缓解。

给效果图场景一个直接建议:先只下载canny、mlsd、depth这三个,足够覆盖从CAD线稿到室内效果的九成需求,其他用到再补。

预览中的照片/图标/矢量图等通常并不包含,部分字体需要软件支持 OpenType。版权归原作者,仅供个人学习参考,请勿直接商用。详见协议
0
分享海报
©资料由用户发布,仅供个人参考学习。版权归原作者所有,使用者须知晓并承担责任,与本站无关。若无意侵犯您的权益,请联系删除。
没有账号?注册  忘记密码?

社交账号快速登录

微信扫一扫关注
如已关注,请回复“登录”二字获取验证码