안녕하세요,
지난 포스팅에서는 ComfyUI를 활용한 이미지 생성 방법에 대해 소개했습니다. ComfyUI는 직관적인 인터페이스와 강력한 기능을 갖춘 이미지 생성 도구로, 창의적인 작업에 큰 도움이 됩니다. 그러나 생성된 이미지에서 특정 부분만 수정하거나 변경하고 싶을 때는 어떻게 해야 할까요? 예를 들어, 인물의 얼굴 표정을 바꾸거나 배경의 일부를 다른 스타일로 바꾸고 싶을 때, 이런 세부적인 작업이 필요합니다. 이번 포스팅에서는 "Differential Diffusion" 노드를 활용한 "Soft Inpaint" 기능을 통해 이러한 문제를 해결하는 방법을 알아보겠습니다. "Soft Inpaint"는 이미 생성된 이미지의 특정 부분만 자연스럽게 수정할 수 있는 기능입니다. 이제, Soft Inpaint 기능의 기본 개념부터 활용법까지 차근차근 살펴보겠습니다.
Differential Diffusion이란
Differential Diffusion은 이미지 생성과 편집을 위한 강력한 도구로, 기존의 Diffusion 모델을 개선하여 더욱 정밀한 이미지 변형을 가능하게 합니다. 이 모델은 사용자가 생성된 이미지의 특정 부분만 선택적으로 수정할 수 있게 해주며, 다른 부분은 그대로 유지할 수 있도록 설계되었습니다.
기존의 이미지 생성 방식에서는 전체 이미지를 새로 생성해야 하는 경우가 많았지만, Differential Diffusion은 이미지의 원하는 부분만 수정할 수 있는 기능을 제공합니다. 이를 통해 이미지를 부분적으로 편집하거나 디테일을 추가하는 작업이 훨씬 효율적이고 유연하게 이루어질 수 있습니다.
Differential Diffusion은 특히 “Soft Inpaint”와 같은 기능을 지원하여, 특정 영역의 이미지를 자연스럽게 보완하거나 변형할 수 있습니다. 이러한 접근 방식은 창의적인 콘텐츠 제작과 이미지 편집 작업에 강력한 도구가 됩니다.
- Differential Diffusion 깃허브 : https://differential-diffusion.github.io/
Differential Diffusion: Giving Each Pixel Its Strength
Diffusion models have revolutionized image generation and editing, producing state-of-the-art results in conditioned and unconditioned image synthesis. While current techniques enable user control over the degree of change in an image edit, the controllabi
differential-diffusion.github.io
목차
1. ComfyUI 사용 노드
2. 실행 환경
3. 필요 노드 설치
4. 필요 모델 설치
5. 노드 구성
6. 실행 (이미지 수정)
1. ComfyUI 사용 노드
- Differential Diffusion
- ComfyUI Essentials
- ComfyUI Impact Pack
2. 실행 환경
- 운영체제 : Windows 11
- ComfyUI : 0.2.2
- Python : 3.10.14
- torch : 2.3.1 + cu121
- xformers : 0.0.27
- GPU : NVIDIA GeForce RTX 4060 Ti
3. 필요 노드 설치
ComfyUI와 ComfyUI-Manager를 설치하기 전에, 필요한 노드들을 설치해야 합니다. 아직 ComfyUI가 설치되지 않았다면, 아래의 포스팅을 참고해 주세요.
- ComfyUI 설치하기: [이미지 생성 AI] [로컬 환경] ComfyUI 이용하여 이미지 생성하기 1탄
- ComfyUI-Manager 설치하기: [이미지 생성 AI] [로컬 환경] ComfyUI 이용하여 이미지 생성하기 2탄 : ComfyUI-Manager
1) Differential Diffusion
이 노드는 ComfyUI의 최신 버전으로 업데이트하면 사용 가능합니다. 현재 ComfyUI의 최신 버전은 0.2.2입니다.
- ComfyUI 깃허브 : https://github.com/comfyanonymous/ComfyUI/releases
2) ComfyUI Essentials 노드
ComfyUI Manager를 통해 설치할 수 있습니다. 먼저 ComfyUI를 실행한 다음, Manager 창을 열어주세요. 그런 다음 Custom Nodes Manager를 실행하고 "ComfyUI Essentials"를 검색하여 설치하면 됩니다.
3) ComfyUI Impact Pack 노드
ComfyUI Impact Pack 노드 설치는 ComfyUI Essentials 노드를 설치한 것과 동일한 방식으로 진행됩니다. ComfyUI Manager에서 "ComfyUI Impact Pack"을 검색하고 설치하면 됩니다.
4. 필요 모델 설치
이번 포스팅에서 이미지를 생성할 때는 Checkpoint 모델과 VAE 모델이 필요합니다.
1) Checkpoint 모델
Checkpoint 모델은 CIVITAI에서 다운로드할 수 있습니다. 이번 포스팅에서 사용한 모델은 "majicMIX realistic" 모델입니다. 이미 다른 Checkpoint 모델을 가지고 계신 분들은 해당 모델을 사용하셔도 무방합니다.
- CIVITAI (majicMIX realisiti 모델) : https://civitai.com/models/43331?modelVersionId=176425
2) VAE 모델
VAE 모델은 stabilityai에서 배포한 "vae-ft-mse-840000-ema-pruned" 모델을 사용합니다.
- stabilityai 허깅페이스 (vae 모델) : https://huggingface.co/stabilityai/sd-vae-ft-mse-original/tree/main
5. 노드 구성
ComfyUI의 노드 구성은 다음과 같습니다. ComfyUI 기본 구성에서 "Load Image 노드", "Gaussian Blur Mask 노드", "InpaintModelConditioning 노드", "Differential Diffusion 노드"의 네 가지 노드를 추가해야 합니다. 각 노드 간의 연결 방법은 아래 이미지를 참고해 주세요. 이미 구성된 노드를 사용하고 싶으신 분들은 아래의 JSON 파일을 다운로드하여 Load 기능을 통해 쉽게 불러올 수 있습니다.
ComfyUI Inpaint 노드 구성 파일
6. 실행 (이미지 수정)
위에서 구성한 ComfyUI 노드를 사용하여 Inpaint 기능을 실제로 활용해 보겠습니다. 제가 사용할 이미지는 AI로 생성한 이미지입니다.
위 이미지에서 ComfyUI의 Inpaint 기능을 사용해 마스크를 벗은 모습을 자연스럽게 수정해 보겠습니다. 먼저, "Load Image 노드"에서 이미지 파일을 추가한 후, 수정하고 싶은 부분을 Mask로 지정해 줍니다. 이를 위해 "Load Image 노드"에서 마우스 우클릭을 한 뒤, "Open in MaskEditor"를 선택하여 실행합니다.
마스크 부분만 수정할 계획이므로, 필요한 영역만 Masking 한 후 "Save to node"를 클릭합니다. 이 작업을 완료하셨다면 간단하게 프롬프트를 작성해줍니다. 그리고 해당 노드를 실행시켜줍니다.
아래는 ComfyUI의 Inpaint 기능을 사용해 수정하기 전과 수정한 후의 이미지입니다.
이번 포스팅에서는 ComfyUI의 Inpaint 기능을 활용해 이미지의 특정 부분을 자연스럽게 수정하는 방법을 살펴보았습니다. ComfyUI는 직관적인 UI와 강력한 노드 기반의 이미지 편집 기능을 통해, 단순히 이미지를 생성하는 것뿐만 아니라 정교한 이미지 수정 작업도 손쉽게 수행할 수 있습니다.
Inpaint 기능을 통해 우리는 이미지의 일부를 선택적으로 변경하거나 보완할 수 있으며, 이는 창의적인 작업을 하는 데 큰 도움이 됩니다. 예를 들어, 인물의 얼굴 표정을 바꾸거나 배경의 세부 요소를 추가하는 등의 작업이 가능한데, 이 모든 과정을 간편하고 빠르게 처리할 수 있습니다.
ComfyUI와 그 다양한 기능을 적극 활용하여 여러분만의 고유한 스타일과 아이디어를 이미지로 구현해 보세요. 앞으로도 더욱 창의적이고 강력한 기능을 활용한 다양한 작업 방법을 소개할 예정이니, 많은 관심 부탁드립니다.
'ComfyUI > 이미지 생성' 카테고리의 다른 글
| [이미지 생성 AI] [로컬 환경] ComfyUI 이용하여 이미지 생성하기 6탄 : PuLID-Flux (0) | 2024.11.06 |
|---|---|
| [이미지 생성 AI] [로컬 환경] ComfyUI 이용하여 이미지 생성하기 5탄 : FLUX.1 AI 활용하기 (저사양 버전) (2) | 2024.09.21 |
| [이미지 생성 AI] [로컬 환경] ComfyUI 이용하여 이미지 생성하기 4탄 : FLUX.1 AI 활용하기 (1) | 2024.09.18 |
| [이미지 생성 AI] [로컬 환경] ComfyUI 이용하여 이미지 생성하기 2탄 : ComfyUI-Manager (0) | 2024.08.05 |
| [이미지 생성 AI] [로컬 환경] ComfyUI 이용하여 이미지 생성하기 1탄 (1) | 2024.07.17 |
