再战ComfyUI(1) 工作流 model简介和环境搭建|超牛链AI

再战ComfyUI(1) 工作流 model简介和环境搭建

2025年初，随着AI绘画的火爆，ComfyUI这个开源的、模块化的图形化界面工具，我用了1周实践，眼高手低开始上手Flux.1模型，而10G 3080显卡压根跑不起来，于是乎，1周时间，热情消退。

20251022111752

2025年秋，西安业已秋雨连绵38天多, 于是乎，在秋雨绵绵中，捡起来ComfyUI，步步为营、稳打稳拿： 1. B站视频，学习秋叶大佬无私奉献的教程，反复看，反复练习workflow 2. 动手DIY：AI文生图、AI图生图 workflow 3. ComfyUI环境搭建：local、lilib、autodl

术语

ComfyUI: 把SD WebUI拆分为乐高积木式的节点，用户可以拖拽节点，拼接成自己想要的. ComfyUI还可以用API访问闭源模型
workflow：工作流 .json文件，可复用性强
model: 大模型、base model (开源2G~22GB), .safetensors 或 .ckpt 文件, 决定了画风、世界知识，最核心的。
KSample：采样器画图的核心节点包含采样器、step、CFG、seed(AB测试很有用)
LoRA: Low-Rank Adaptation, base model的微调模型，.safetensors文件, 体积小(几十MB~几百MB)，可叠加。私人定制的小模型
ControlNet: 目前核心赚钱的工具，.safetensors文件, 体积中等(几百MB~1GB)，可叠加。如老照片修复、高清放大

给 AI 加“导轨”：上传一张边缘图、深度图或姿势图，让生成结果精准跟着你的结构走。
Latent：潜空间, AI空间内的图像，我们肉眼可见的是Pixel空间的图像（如png、jpg），Latent空间的图像需要通过VAE解码器转换为Pixel空间的图像

也叫底图，size、batch参数
CLIP：prompt 提示词地方，SD 工作流提示词有positive、negative两种。Flux 工作流提示词有CLIP_i关键词提示词、t5_xxl描述性提示词.

AI一句话总结： ComfyUI 把“底模 + LoRA + ControlNet”装进 workflow，用 CLIP 翻译你的 prompt，在 KSample 节点里对 Latent 去噪，最后解码成图。

history

在AI时代，history都非常短, 如同美国的建国历。

大名鼎鼎Stability AI公司的SD1.5（Stable Diffusion），2022年10月发布，才3岁。同时也提供了WebUI是SD的图形化界面。

SD是全民开源模型的“军火商”, 大家都在玩模型
而后起之秀，ComfyUI(Comfy Org)，2022年12月发布，才2岁。【ComfyUI的核心团队是从SD团队离职的，后来创建了新公司】

节点式“乐高”界面，让 SD 变成可拖拽的工作流，玩工作流 ComfyUI没有提供model，仅仅是个工作流界面（一堆python code）
AI绘图开源Flux模型（Black Forest Labs 成立），2024年8月发布, 才1年。【Flux的核心团队是从SD团队离职的】

16G显卡从Flux.1.dev.fp8入手（还有Flux.1.Krea.fp8) 文生图图生图 32G显卡从Flux.1.full.fp16入手（还有Flux.1.Krea.fp16) 文生图图生图

AI一句话总结： Stability AI 负责“造引擎”，但 CEO 刚跑路；ComfyUI 负责“做方向盘”，团队刚脱离老东家自己开公司——两家都把“开源”当信仰，一个烧算力，一个烧创意。

model分类

ComfyUI本身不提供model, 需要用户自行下载、配置。model决定了workflow的目的。

model文件大小，近似于GPU显存大小！！！

任务场景	模型家族	推荐文件名（放对文件夹即可）	大小	一句话备注
文生图	SD 1.5	`v1-5-pruned-emaonly.safetensors`	4.0 G	社区 LoRA 最多、速度最快【新手入门科目一】
	SDXL	`sd_xl_base_1.0.safetensors`	6.9 G	原生 1024 px，需配 `sdxl_vae.safetensors`
	Flux.1	`flux1-dev.safetensors`	23.8 G	当前开源天花板，需配 `ae.safetensors` + `t5xxl_fp8_e4m3fn.safetensors`
图生图/局部重绘	SDXL	`cosxl_edit.safetensors`	6.9 G	Instruct-Pix2Pix 风格，一句话改图
	Flux.1-Fill	`flux1-fill-dev.safetensors`	23.8 G	官方「扩图+去水印」专用
	Qwen-Image-Edit	`qwen_image_edit_fp8_e4m3fn.safetensors`	20.4 G	阿里通义千问，中文提示词友好
视频生成	WAN 2.1 文生视频	`wan2.1_t2v_14B_fp8_e4m3fn.safetensors`	14 B→28 GB	阿里开源 720 p，配 `wan_2.1_vae.safetensors`
	WAN 2.1 图生视频	`wan2.1_i2v_720p_14B_fp8_e4m3fn.safetensors`	同上	首帧可控，适合做 MV/广告
	LTX-Video（实时）	`ltx-video-2b-v0.9.5.safetensors`	2.0 GB	768×512\@24 fps，生成速度>播放速度
换脸/ID 保持	PuLID-FLUX	`pulid_flux_v0.9.0.safetensors`	0.8 GB	一张参考图保持五官
	PuLID-SDXL	`ip_adapter_pulid_sdxl_fp16.safetensors`	0.7 GB	SDXL 版，一样即插即用
抠图	BiRefNet	`General-Lite-2K.safetensors`	176 M	0 背景素材神器，商用可
姿势控制	DWPose	`dw-ll_ucoco_384_bs5.torchscript.pt`	130 M	OpenPose 升级版，手指稳
景深/法线	Depth-Anything-V2	`depth_anything_v2_vitl.pth`	1.3 GB	一键出深度，ControlNet 通用

model文件夹结构：

ComfyUI/models/checkpoints/ ← SD 1.5 / SDXL / Flux 主模型 ComfyUI/models/diffusion_models/ ← Flux、Qwen、WAN 等新架构（DiT） ComfyUI/models/vae/ ← ae.safetensors / sdxl_vae / wan_2.1_vae ComfyUI/models/clip/ ← clip_l.safetensors / t5xxl_fp8_e4m3fn ComfyUI/models/loras/ ← 自己下载的 LoRA、PuLID ComfyUI/models/controlnet/ ← DWPose、Depth-Anything 等控制模型

ComfyUI环境搭建

20251022110146 ComfyUI本质上，是个Python程序包，绿色包，直接运行。

官方直接下载 https://www.comfy.org/download

难点在于Node Manager，model文件夹的下载

芯片制裁，对程序员没有本质影响，笔记本、手机5年不升级照样工作

google、github、AI时代的https://civitai.com https://huggingface.co 网速，极大的影响AI学术程序员的心情

国内镜像版下载模型: https://modelscope.cn https://www.liblib.art/models

ComfyUI官方说明的是6G显卡即可开玩，说的是SD 1.5模型，而Flux.1模型需要16G显卡起步。炼丹LoRA同步需要烧显卡

所以，本地有个8G显卡，SD 1.5模型可以玩，Flux.1模型不行，所以需要两条路 1. 升级显卡到16G 4090系列，成本5k左右

本地运行，速度快，可控性强。

用lilib、autodl 云GPU显卡，成本按小时计费（2元/小时）

ROI最高，workflow + 模型，1小时就可以完成调参、出图网速、抢GPU显卡开机是个硬伤

最好的办法是本地配置好workflow，云GPU跑模型模式。

多看B站，整理适合自己的custom node (python代码库), github上找node代码，直接放到ComfyUI/custom_nodes/文件夹即可--easy。

开始，workflow先手工搭建，为了熟能生巧，了解step、了解流程后面workflow存储起来。

ComfyUI经验和坑

ComfyUI推荐用英文界面，好搜索，减少中英文信息割裂
liblib ComfyUI界面，对比原生ComfyUI界面，搜索是硬伤。liblib成本很低，生一次图才几分钱，但是人多时候，卡死了。 liblib好处是，开箱即用，非常便捷--适合新手
model、workflow、loRA、ControlNet，版本兼容性问题，尽量不要混用
AB测试,记录好参数和output图，方便复盘
Prompt CLIP，正向、负向提示词，反复调试【很核心，毕竟model是人为训练出来的，素材集合有偏向性】
学习以费曼学习法为主，强调产出和目的，完成一个高清放大workflow，可以解决自己手机里面照片的刚需问题。

20251022111948