前言

对 AIGC 技术感兴趣,加个关注,保持联系:

ComfyUI 是 Stable Diffusion 的一个基于节点组装绘图流程的图形用户界面(GUI)。通过将不同的 节点 连接在一起,你可以在 ComfyUI 中构建图像生成 工作流 。一个完整的工作流看起来像下面这样:

ComfyUI 工作流的样子

我们的 ComfyUI 入门系列教程已经发了 2 篇:

  • [ComfyUI 入门教程(1):安装 ComfyUI]

  • [ComfyUI 入门教程(2):从文本生成图像的流程]

这篇教程我们来继续介绍使用 ComfyUI 来进行图生图。

本文涉及的工作流和插件,需要的朋友请扫描免费获取哦~

1、使用 ComfyUI 进行图生图

1.1、下载并加载图生图工作流

要进行图生图,你可以直接下载官方提供的 img2img 工作流来使用:https://comfyanonymous.github.io/ComfyUI_examples/img2img/img2img_workflow.png

下载完成后,将此工作流图像拖放到 ComfyUI 中加载。它长这样:

img2img workflow

1.2、操作使用图生图工作流

图生图工作流与文生图工作流的比较类似,差别就是就是增加了图片作为输入之一,同提示词一起来指引主模型生成新的图像。所以我们这里就不详细介绍与文生图中同样的步骤了。

要使用此 img2img 工作流生成图像,你可以进行如下最简操作:

  • 1、在 Load Checkpoint 节点选择 Checkpoint 主模型。

  • 2、在两个 CLIP Text Encode 节点分别修改正向提示词和负向提示词。

  • 3、调整 KSampler 节点中的 denoise 字段的数值来调整降噪强度。这一步是可选,你也可以不调整,使用默认值。

  • 4、点击 Queue Prompt 启动生成。

2、图生图工作流的差异部分

图像生成图像(img2img)的工作流是 Stable Diffusion 中的另一个主要工作流,它根据输入的 提示词 图像 两个主要要素来生成图像。在这两个主要要素中,你可以调整降噪(denoise)参数的数值来控制 Stable Diffusion 应该在多大程度上遵循输入图像的指引。

与上一篇介绍的文生图工作流对照来看,图生图工作流中增加了一个 Load Image 节点和一个 VAE Encode 节点,替换掉了文生图工作流中的 Empty Latent Image 节点。

2.1、Load Image 节点

Load Image 节点

Load Image 节点的功能很简单,就是让你来选择一张图片来作为图像生成流程的输入。

你可能注意到这个节点的输出点有两个模式: IMAGE MASK ,它们的区别如下:

  • IMAGE :输出图像作为图像使用。

  • MASK :输出图像作为蒙版使用。在后面的一些工作流中,我们会用到这种模式,这里就先不介绍了。

2.2、VAE Encode 节点

VAE Encode 节点

我们在上一篇教程中介绍过 VAE(Variational Auto Encoder),它用于在像素和潜在空间之间进行图像转换。

我们这里用到的是 VAE 的编码器, VAE Encode 节点的作用就是将图像从像素(pixels)转换到潜在空间(LATENT)以在后面的生成流程中使用。

到这里,我们就介绍完了使用 ComfyUI 的图生图工作流来生成一幅图像的流程,以及其中涉及到的理论知识。

为了帮助大家更好地掌握 ComfyUI,我在去年花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了 选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。

由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取

一、 ComfyUI配置指南

  • 报错指南
  • 环境配置
  • 脚本更新
  • 后记

二、ComfyUI基础入门

  • 软件安装篇
  • 插件安装篇

三、 ComfyUI工作流节点/底层逻辑详解

  • ComfyUI 基础概念理解
  • Stable diffusion 工作原理
  • 工作流底层逻辑
  • 必备插件补全

四、ComfyUI节点技巧进阶/多模型串联

  • 节点进阶详解
  • 提词技巧精通
  • 多模型节点串联

五、ComfyUI遮罩修改重绘/Inpenting模块详解

  • 图像分辨率
  • 姿势

六、ComfyUI超实用SDXL工作流手把手搭建

  • Refined模型
  • SDXL风格化提示词
  • SDXL工作流搭建

由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取

# 人工智能
GitHub 加速计划 / co / ComfyUI
44.41 K
4.72 K 最强大且模块化的具有图形/节点界面的稳定扩散GUI。 最近提交 (Master分支:1 个月前 )
1c08bf35 - 2 个月前
2a02546e * add type hints to folder_paths.py * replace deprecated standard collections type hints * fix type error when using Python 3.8 2 个月前
Logo

旨在为数千万中国开发者提供一个无缝且高效的云端环境,以支持学习、使用和贡献开源项目。

  • 浏览量 1420
  • 收藏 0
  • 0

所有评论(0)