如何使用ComfyUI:工作流、模型与设置

ComfyUI是一款免费应用,可在本地机器上生成AI图像和视频。它适合希望获得比普通提示生成工具更多控制权的用户,让您能够查看和调整生成过程的每个部分。这种灵活性也伴随着学习曲线,因此本指南将帮助您入门,从安装到运行和修改第一个工作流。

开始之前需要准备什么

ComfyUI需要一台具有足够GPU资源的计算机,以运行您想要的模型和工作流。更大的模型和更复杂的工作流通常需要更多的显存。

您还需要工作流所使用的模型文件。根据模型的不同,这些文件可能包括检查点、扩散模型、VAE、文本编码器、LoRA或其他组件。这些文件通常存储在ComfyUI/models目录下。

如果本地没有合适的GPU,您也可以在远程GPU驱动的桌面上运行ComfyUI。这样可以将生成工作负载转移到远程GPU,同时允许您从普通计算机访问该桌面。

安装ComfyUI

对于Windows和macOS,ComfyUI建议新用户使用其桌面应用。还有其他安装方式,包括手动安装和ComfyUI命令行工具。合适的方法取决于您的操作系统和配置。

安装ComfyUI后,启动应用并打开界面。您会看到工作流画布,以及用于创建和管理工作流的工具。

为什么ComfyUI工作流很重要

ComfyUI工作流定义了图像或视频的生成方式。它控制用于产生最终结果的模型、设置和处理步骤。

这比简单的提示框提供了更多的控制。您可以更换模型、添加LoRA、使用输入图像、调整生成设置、放大结果,或添加其他处理步骤。

工作流还可以保存并重复使用。您不必每次都重新搭建相同的设置,可以保留一个能产生满意结果的工作流,并在需要时更改单个设置。您也可以下载其他用户创建的工作流,并根据自己的配置进行调整。

理解ComfyUI工作流

工作流由相互连接的节点组成。每个节点处理生成过程的特定部分,连接则决定信息如何在节点之间流动。

一个基本的文生图工作流可能包含用于加载模型、输入提示、创建初始图像数据、生成图像、解码结果和保存图像的节点。

  • 模型加载器:加载用于生成的模型。
  • 文本编码器:将提示转换为模型可以使用的信息。
  • 采样器:使用所选设置运行生成过程。
  • VAE:在潜空间数据和图像之间进行转换。
  • 保存图像:将生成的图像写入磁盘。

您不需要从头构建每个工作流。ComfyUI提供了工作流模板,许多社区工作流也可以直接下载并打开。

加载现有工作流

使用现有工作流通常是最简单的入门方式。ComfyUI为不同模型和任务提供了示例工作流,社区网站也提供了更多内容。

许多工作流图像在其元数据中包含工作流数据。您可以将图像拖入ComfyUI,或使用工作流→打开来加载它。工作流将出现在画布上,其节点和设置已经配置好。

加载工作流后,请检查它需要哪些模型。如果缺少必需文件,对于受支持的工作流模板,ComfyUI可以识别缺失的模型。其他工作流可能需要您自行查找并安装模型。

为ComfyUI查找模型

可以在Hugging Face和Civitai等仓库以及模型本身的项目页面上找到模型。关键是找到与您要使用的工作流兼容的模型。

不要假设任何模型文件都可以加载到任何工作流中。不同的模型架构可能需要不同的加载器和支持文件。

下载模型之前,请检查:

  • 模型架构和版本
  • 所需的ComfyUI工作流
  • 模型文件格式
  • 推荐的显存和硬件
  • 任何必需的VAE、文本编码器、LoRA或其他支持文件
  • 模型的许可证和使用限制

ComfyUI支持多种类型的模型文件。文件夹取决于所安装模型的类型。例如,检查点可以放在models/checkpoints中,LoRA放在models/loras中,VAE放在models/vae中。一些较新的模型使用models/diffusion_models和models/text_encoders等文件夹。

安装模型

下载模型后,将其放在工作流期望的目录中。然后您可以在相应的模型加载器中选择它。

例如,检查点可能存储在:

ComfyUI/models/checkpoints/

LoRA则可能存储在:

ComfyUI/models/loras/

如果新模型没有出现在模型列表中,请刷新界面或重启ComfyUI。

安装自定义节点

许多高级ComfyUI工作流会使用标准安装中未包含的自定义节点。如果未安装这些依赖项,工作流可能会显示缺失节点。

ComfyUI提供了一个管理器用于安装自定义节点。也可以手动安装节点,方法是将其仓库放在custom_nodes目录中,并安装所需的依赖项。

只安装来自可信来源的自定义节点。自定义节点可能包含可执行代码,并可能有自己的依赖项和安全考量。

运行和修改工作流

安装所需模型和自定义节点后,检查工作流中的重要设置。从模型、提示、图像尺寸和采样设置开始。

一切就绪后,使用队列按钮运行工作流。ComfyUI会逐步处理,并生成工作流定义的输出。

然后您可以修改工作流的各个部分,而无需重新构建。添加LoRA、连接输入图像、更换采样器、添加放大器,或调整其他设置以改变结果。

保存工作流

保存您打算重复使用的工作流。工作流包含节点图及其设置,但不一定包含模型文件本身。请记录工作流需要哪些模型和自定义节点。

当将工作流迁移到另一台计算机或云桌面时,这一点尤其重要。您可能需要安装相同的模型和自定义节点,工作流才能正确运行。

在DaDesktop上试用ComfyUI

您不必为了运行ComfyUI而购买新GPU。如果您当前的计算机没有足够的GPU资源,可以在云桌面上运行ComfyUI,并在需要时使用。

DaDesktop提供具有专用GPU资源的云桌面,适用于AI图像和视频生成等工作负载。您可以安装ComfyUI、下载想要的模型,并构建自己的工作流,而无需为本地计算机添加专用GPU。

详细了解在DaDesktop上进行AI图像和视频生成。您也可以查看可用的GPU,并根据要运行的模型和工作流选择配置。

立即開始免費試用

透過雲端實驗室運行無縫虛擬IT培訓,無停機時間,靈活擴展學習。