안녕하세요,
최근 온라인 커뮤니티와 SNS를 중심으로 “GPT로 만든 지브리 스타일 이미지”가 큰 인기를 끌었습니다. 따뜻한 색감과 부드러운 터치, 감성적인 장면 연출이 돋보이는 이 스타일은, AI 이미지 생성 기술이 단순한 실험을 넘어 창의적인 표현 도구로 자리 잡고 있음을 보여주는 대표적인 사례입니다.
최근에는 GPT나 Gemini보다도 뛰어난 성능을 보여주는 이미지 편집 도구인 ICEdit가 등장했습니다. ICEdit는 텍스트 지시문만으로 원본 이미지를 유지한 채 원하는 부분만 자연스럽게 수정할 수 있는 이미지 편집 프레임워크입니다. 이번 글에서는 ICEdit의 개념과 특징을 간단히 살펴보고, ComfyUI를 통해 실제로 이미지를 수정하는 방법을 단계별로 소개해드리겠습니다.
ICEdit란
ICEdit는 텍스트 지시문만으로 이미지를 정밀하게 편집할 수 있는 이미지 편집 프레임워크로, 기존의 이미지 생성 모델과는 달리 원본 이미지를 그대로 유지한 상태에서 자연어 지시만으로 원하는 수정을 정확하고 자연스럽게 반영할 수 있다는 점이 큰 특징입니다. Gemini나 GPT-4o와 같은 상용 모델에 비해 처리 속도가 빠르고 비용 부담이 적으며, 인물 ID 보존이나 지시문 해석 정확도 측면에서도 더욱 우수한 성능을 보여줍니다.
- ICEdit 프로젝트 페이지 : https://river-zhang.github.io/ICEdit-gh-pages/
주요 특징
- 효율성: 전체 모델 파라미터의 1%만 학습하며, 기존 방법 대비 0.1%의 데이터(약 5만 장)로 훈련되어도 높은 성능을 보입니다.
- 성능: Gemini, GPT-4o와 같은 상용 모델보다 빠르고 저렴하며, ID 보존 및 지시문 이해 측면에서 우수한 결과를 보여줍니다.
- 저사양 지원: ComfyUI-nunchaku를 활용하면 4GB VRAM의 GPU로도 실행이 가능하여, 개인 사용자도 쉽게 접근할 수 있습니다.
성능
ICEdit는 텍스트 지시문에 따라 이미지를 정확하고 자연스럽게 편집할 수 있는 모델입니다. 상용 모델인 Gemini나 GPT-4o와 비교했을 때, 전반적인 편집 성능에서 동등하거나 더 뛰어난 결과를 보여줍니다. 특히 지시문 이해도, 스타일 표현력, 인물의 ID 보존 측면에서 높은 수준의 성능을 발휘하며, 한 장의 이미지를 약 9초 만에 처리할 수 있을 정도로 빠른 속도도 갖추고 있습니다. 오픈소스 기반으로 제공되면서도 상용 모델에 뒤지지 않는 우수한 품질을 제공한다는 점이 큰 장점입니다.
- 첫 번째 예시에서는 "핑크색 선글라스를 씌워달라"는 지시문에 대해, ICEdit는 실제 안경처럼 자연스럽고 현실감 있는 결과를 생성하였습니다. 반면 Gemini와 GPT-4o는 선글라스 색상이 과장되었거나 얼굴과 어울리지 않아 다소 어색하게 표현되었습니다.
- 두 번째 예시인 "수채화처럼 표현해달라"는 지시에서는, ICEdit가 수채화 특유의 번짐 효과와 붓 터치 질감을 섬세하게 살려낸 반면, 다른 모델들은 단순히 색감만 변경하거나 배경을 바꾸는 수준에 그쳤습니다.
- 세 번째 예시인 "머리카락을 어둡게 바꾸고 체크무늬 옷을 입혀달라"는 복합 지시에서도, ICEdit는 인물의 얼굴 특징을 그대로 유지하면서 머리 색과 의상 패턴을 정확하게 반영하였습니다. GPT-4o는 해당 작업을 수행하지 못했으며, 다른 모델들은 얼굴 형태가 변형되는 현상이 나타났습니다.
- 네 번째 예시인 "왕관을 씌워달라"는 지시에서는, ICEdit가 왕관의 형태와 조명을 인물의 머리와 자연스럽게 어우러지도록 합성해냈습니다. 일부 모델은 왕관의 위치나 연결감이 부자연스러웠고, GPT-4o는 이 작업을 지원하지 않았습니다.
- 마지막 예시인 "빨간 로브와 검정 바지를 입혀달라"는 복합 지시에서는, ICEdit가 두 조건을 모두 충실히 반영하면서 스타일 또한 다양하게 구현하였습니다. 상용 모델들은 일부 요소만 반영하거나 복장을 정확하게 표현하지 못하는 경우가 많았습니다.
사전 준비 사항
이 포스팅은 ComfyUI에서 ICEdit를 활용하여 이미지 수정 방법에 대한 내용입니다. 본문을 읽기 전에 아래 항목들을 미리 설치해 주시기 바랍니다.
[Stabiliy Matrix&ComfyUI 설치하기] (포스팅에서 사용한 방식)
- ComfyUI 설치: [Marcus' Story] - [ComfyUI] 초보자도 쉽게 따라하는 Stability Matrix 활용하기
- ComfyUI-Manager 설치: [Marcus' Story] - [ComfyUI] Stability Matrix에 ComfyUI-Manager 설치하기
[로컬에 직접 ComfyUI 설치하기]
- ComfyUI 설치: [Marcus' Story] - [ComfyUI] [로컬 환경] ComfyUI 로컬 환경에 설치 및 실행 방법
- ComfyUI-Manager 설치: [Marcus' Story] - [ComfyUI] [로컬 환경] ComfyUI 관리 도구, ComfyUI-Manager 설치하기
목차
1. 실행 환경
2. ComfyUI 사용 노드
3. 다운로드 및 위치 설정
4. 이미지 수정 및 결과 확인
1. 실행 환경
- 운영체제 : Windows 11
- ComfyUI : 0.3.34
- ComfyUI-Manager : V3.30
- torch : 2.7.0 + cu128
- GPU : NVIDIA GeForce RTX 4060 Ti
2. ComfyUI 사용 노드
아래는 이번 포스팅에서 사용된 ComfyUI 커스텀 노드입니다. 모델 실행에 필수적인 노드를 "필수"로 표기하였으며, 사용에 필수적이지 않은 노드는 "선택사항"으로 표기하였습니다.
- ICEdit : ICEdit 모델을 ComfyUI에서 손쉽게 활용할 수 있도록 구성된 공식 워크플로우 및 노드 세트입니다. 텍스트 지시문만으로 이미지의 특정 부분을 자연스럽게 편집할 수 있으며, LoRA 기반의 경량화 모델을 통해 빠르고 정밀한 편집이 가능합니다. 특히 이미지의 ID 보존력과 지시문 해석 정확도에서 뛰어난 성능을 보여줍니다. (필수)
- ComfyUI-Easy-Use : ComfyUI의 사용 편의성을 높이기 위해 다양한 유틸리티 기능과 직관적인 인터페이스 요소를 제공하는 커스텀 노드 세트입니다. 복잡한 노드 연결 없이도 빠르게 워크플로우를 구성할 수 있어, 초보자부터 고급 사용자까지 효율적인 이미지 생성 작업이 가능합니다. 본 포스팅에서 소개하는 워크플로우에도 해당 노드를 함께 사용하였습니다. (선택사항)
- ComfyUI_essentials : ComfyUI를 실행하고 기본적인 이미지 생성 작업을 수행하기 위해 필요한 핵심 노드들을 모아둔 필수 패키지로, 모델 로딩, 이미지 입출력, 업스케일링, 프롬프트 처리 등 다양한 기본 기능을 안정적으로 제공합니다. 대부분의 커스텀 워크플로우에서 기반 노드로 활용되며, ICEdit를 포함한 다양한 기능 연동 시 반드시 필요합니다. (필수)
3. 다운로드 및 위치 설정
ICEdit는 FLUX 모델과 ICEdit 전용 LoRA 모델을 함께 사용하여 이미지 편집을 수행합니다. 여기서 LoRA(Low-Rank Adaptation) 모델은 FLUX의 핵심 구조를 그대로 유지하면서, 이를 다르게 학습된 방향으로 유도해주는 역할을 합니다. 즉, 원본 모델을 새로 훈련하지 않고도 특정한 스타일에 맞는 이미지를 생성하게 해줍니다. 아래에서는 두 모델의 다운로드 방법과 저장 위치에 대해 안내드리겠습니다.
1) ComfyUI Workflow
ICEdit 커스텀 노드를 설치하면, 함께 제공되는 예제 워크플로우 파일을 통해 쉽게 사용을 시작할 수 있습니다. 아래 경로를 참고하시거나, 경로를 찾기 어려우신 경우에는 아래에서 직접 워크플로우 파일을 다운로드하여 사용하셔도 됩니다.
- ICEdit 예제 워크플로우 위치 : StabilityMatrix\Data\Packages\ComfyUI\custom_nodes\ICEdit-ComfyUI-official\example_workflow
※ 만약 StabilityMatrix를 사용하지 않고 로컬에 ComfyUI를 직접 설치하신 경우에는, [StabilityMatrix → Data → Packages] 경로는 생략하시고, 바로 ComfyUI 폴더 내의 모델 디렉토리로 이동하시면 됩니다. - ICEdit 워크플로우 파일 다운로드:
2) 모델 파일 다운로드
아래 허깅페이스 링크에서 모델 파일을 다운로드합니다. Diffusion 모델은 사용자의 환경에 맞는 버전을 선택해 다운로드하시면 되고, Text Encoder 모델은 제공되는 4가지 파일 모두 다운로드하셔야 합니다.
| 모델 종류 | 파일명 | 허깅페이스 주소 |
| Unet 모델 (영상 생성 모델) |
flux1-fill-dev.safetensors | https://huggingface.co/black-forest-labs/FLUX.1-Fill-dev/tree/main |
| LoRA 모델 | pytorch_lora_weights.safetensors | https://huggingface.co/RiverZ/normal-lora/tree/main |
| text_encoder 모델 | clip_l.safetensors t5xxl_fp16.safetensors |
https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main |
| vae 모델 | as.safetensors | https://huggingface.co/black-forest-labs/FLUX.1-Fill-dev/tree/main |
| Upscale 모델 | 4xNomos8kDAT.safetensors | https://huggingface.co/Phips/4xNomos8kDAT/tree/main |
3) 모델 위치 이동
위 모델 파일을 모두 다운로드하셨으면, 각 모델을 아래 폴더로 이동시켜줍니다.
- flux1-fill-dev.safetensors 파일 : StabilityMatrix → Data → Packages → ComfyUI → models → unet
- LoRA 모델 : StabilityMatrix → Data → Packages → ComfyUI → models → loras
- text_encoder 모델 : StabilityMatrix → Data → Packages → ComfyUI → models → text_encoders
- vae 모델 : StabilityMatrix → Data → Packages → ComfyUI → models → vae
- Upscale 모델 : StabilityMatrix → Data → Packages → ComfyUI → models → upscale_models
※ 만약 StabilityMatrix를 사용하지 않고 로컬에 ComfyUI를 직접 설치하신 경우에는, [StabilityMatrix → Data → Packages] 경로는 생략하시고, 바로 ComfyUI 폴더 내의 모델 디렉토리로 이동하시면 됩니다.
4. 이미지 수정 및 결과 확인
이번에는 ICEdit를 활용하여 실제로 이미지를 수정해보았습니다. 이미지 생성에는 약 13.3GB의 VRAM이 사용되었으며, 처리 시간은 약 1분 정도 소요되었습니다.
아래와 같이 텍스트 프롬프트를 작성하여 이미지 수정 작업을 수행하였습니다.
[사용 프롬프트]
- What if it looks like watercolor painting?
- Make her hair red and her clothes checked
첫 번째 이미지는 원본 이미지이며,
두 번째 이미지는 첫 번째 프롬프트를 적용한 결과,
세 번째 이미지는 두 번째 프롬프트를 적용한 결과입니다.
수정된 이미지는 모두 원본 인물과 전체적인 구도를 거의 그대로 유지하면서도, 각 텍스트 지시문에 따라 색감, 질감, 스타일 등이 자연스럽고 정교하게 반영된 모습을 확인할 수 있었습니다. 특히 얼굴의 특징이나 배경 구성은 크게 변형되지 않은 채, 원하는 요소만 정확하게 수정되어 원본의 일관성을 유지하면서도 시각적으로 뚜렷한 변화를 효과적으로 구현한 점이 매우 인상적이었습니다.
무엇보다 생성 속도도 빠른 편이었습니다. GPT-4o의 경우 이미지 생성에 최대 2분 이상 소요되는 반면, ICEdit는 그보다 낮은 컴퓨팅 사양에서도 약 1분 만에 이미지를 수정할 수 있어 성능 대비 효율성 면에서 굉장히 놀라웠습니다.
이처럼 ICEdit는 텍스트 지시만으로도 정밀하고 자연스러운 이미지 수정을 가능하게 해주는 강력한 도구입니다. FLUX 기반 모델과 LoRA의 조합을 통해 원본 이미지를 훼손하지 않으면서도 원하는 스타일과 요소를 유연하게 반영할 수 있으며, ComfyUI 환경에서도 손쉽게 활용할 수 있어 접근성과 실용성 모두를 갖추고 있습니다.
다만, 현재 사용된 FLUX 모델은 개발(Dev) 버전으로, 라이선스상 상업적 사용이 제한된다는 점은 아쉬운 부분입니다. AI 이미지 편집에 관심이 있거나, 로컬 환경에서 고품질의 편집 작업을 직접 시도해보고 싶은 분들께 ICEdit는 충분히 실용적인 도구가 될 것입니다.
앞으로 다양한 스타일과 프롬프트를 조합하여 보다 창의적인 실험을 이어가시길 바랍니다.
감사합니다. 😊
