如何使用ComfyUI:工作流、模型与设置
ComfyUI是一款免费应用,可在本地机器上生成AI图像和视频。它适合希望获得比普通提示生成工具更多控制权的用户,让您能够查看和调整生成过程的每个部分。这种灵活性也伴随着学习曲线,因此本指南将帮助您入门,从安装到运行和修改第一个工作流。
开始之前需要准备什么
ComfyUI需要一台具有足够GPU资源的计算机,以运行您想要的模型和工作流。更大的模型和更复杂的工作流通常需要更多的显存。
您还需要工作流所使用的模型文件。根据模型的不同,这些文件可能包括检查点、扩散模型、VAE、文本编码器、LoRA或其他组件。这些文件通常存储在ComfyUI/models目录下。
如果本地没有合适的GPU,您也可以在远程GPU驱动的桌面上运行ComfyUI。这样可以将生成工作负载转移到远程GPU,同时允许您从普通计算机访问该桌面。
安装ComfyUI
对于Windows和macOS,ComfyUI建议新用户使用其桌面应用。还有其他安装方式,包括手动安装和ComfyUI命令行工具。合适的方法取决于您的操作系统和配置。
安装ComfyUI后,启动应用并打开界面。您会看到工作流画布,以及用于创建和管理工作流的工具。
为什么ComfyUI工作流很重要
ComfyUI工作流定义了图像或视频的生成方式。它控制用于产生最终结果的模型、设置和处理步骤。
这比简单的提示框提供了更多的控制。您可以更换模型、添加LoRA、使用输入图像、调整生成设置、放大结果,或添加其他处理步骤。
工作流还可以保存并重复使用。您不必每次都重新搭建相同的设置,可以保留一个能产生满意结果的工作流,并在需要时更改单个设置。您也可以下载其他用户创建的工作流,并根据自己的配置进行调整。
理解ComfyUI工作流
工作流由相互连接的节点组成。每个节点处理生成过程的特定部分,连接则决定信息如何在节点之间流动。
一个基本的文生图工作流可能包含用于加载模型、输入提示、创建初始图像数据、生成图像、解码结果和保存图像的节点。
- 模型加载器:加载用于生成的模型。
- 文本编码器:将提示转换为模型可以使用的信息。
- 采样器:使用所选设置运行生成过程。
- VAE:在潜空间数据和图像之间进行转换。
- 保存图像:将生成的图像写入磁盘。
您不需要从头构建每个工作流。ComfyUI提供了工作流模板,许多社区工作流也可以直接下载并打开。
加载现有工作流
使用现有工作流通常是最简单的入门方式。ComfyUI为不同模型和任务提供了示例工作流,社区网站也提供了更多内容。
许多工作流图像在其元数据中包含工作流数据。您可以将图像拖入ComfyUI,或使用工作流→打开来加载它。工作流将出现在画布上,其节点和设置已经配置好。
加载工作流后,请检查它需要哪些模型。如果缺少必需文件,对于受支持的工作流模板,ComfyUI可以识别缺失的模型。其他工作流可能需要您自行查找并安装模型。
为ComfyUI查找模型
可以在Hugging Face和Civitai等仓库以及模型本身的项目页面上找到模型。关键是找到与您要使用的工作流兼容的模型。
不要假设任何模型文件都可以加载到任何工作流中。不同的模型架构可能需要不同的加载器和支持文件。
下载模型之前,请检查:
- 模型架构和版本
- 所需的ComfyUI工作流
- 模型文件格式
- 推荐的显存和硬件
- 任何必需的VAE、文本编码器、LoRA或其他支持文件
- 模型的许可证和使用限制
ComfyUI支持多种类型的模型文件。文件夹取决于所安装模型的类型。例如,检查点可以放在models/checkpoints中,LoRA放在models/loras中,VAE放在models/vae中。一些较新的模型使用models/diffusion_models和models/text_encoders等文件夹。
安装模型
下载模型后,将其放在工作流期望的目录中。然后您可以在相应的模型加载器中选择它。
例如,检查点可能存储在:
ComfyUI/models/checkpoints/
LoRA则可能存储在:
ComfyUI/models/loras/
如果新模型没有出现在模型列表中,请刷新界面或重启ComfyUI。
安装自定义节点
许多高级ComfyUI工作流会使用标准安装中未包含的自定义节点。如果未安装这些依赖项,工作流可能会显示缺失节点。
ComfyUI提供了一个管理器用于安装自定义节点。也可以手动安装节点,方法是将其仓库放在custom_nodes目录中,并安装所需的依赖项。
只安装来自可信来源的自定义节点。自定义节点可能包含可执行代码,并可能有自己的依赖项和安全考量。
运行和修改工作流
安装所需模型和自定义节点后,检查工作流中的重要设置。从模型、提示、图像尺寸和采样设置开始。
一切就绪后,使用队列按钮运行工作流。ComfyUI会逐步处理,并生成工作流定义的输出。
然后您可以修改工作流的各个部分,而无需重新构建。添加LoRA、连接输入图像、更换采样器、添加放大器,或调整其他设置以改变结果。
保存工作流
保存您打算重复使用的工作流。工作流包含节点图及其设置,但不一定包含模型文件本身。请记录工作流需要哪些模型和自定义节点。
当将工作流迁移到另一台计算机或云桌面时,这一点尤其重要。您可能需要安装相同的模型和自定义节点,工作流才能正确运行。
在DaDesktop上试用ComfyUI
您不必为了运行ComfyUI而购买新GPU。如果您当前的计算机没有足够的GPU资源,可以在云桌面上运行ComfyUI,并在需要时使用。
DaDesktop提供具有专用GPU资源的云桌面,适用于AI图像和视频生成等工作负载。您可以安装ComfyUI、下载想要的模型,并构建自己的工作流,而无需为本地计算机添加专用GPU。
详细了解在DaDesktop上进行AI图像和视频生成。您也可以查看可用的GPU,并根据要运行的模型和工作流选择配置。