포토샵처럼 이미지 수정하는 AI, OmniGen2를 소개합니다. | ComfyUI | 오픈소스 | 로컬환경

안녕하세요,

최근 포토샵 수준의 이미지 편집이 가능한 오픈소스 이미지 생성 AI 모델 OmniGen2가 공개되었습니다. 이 모델은 텍스트 한 줄만으로 고품질 이미지를 생성할 수 있으며, 자연어 지시만으로 인물, 배경, 질감 등을 자유롭게 수정할 수 있어 디자인, 콘텐츠 제작, 개인 프로젝트 등 다양한 분야에서 활용할 수 있습니다.

이번 글에서는 OmniGen2의 설치 방법부터 로컬 환경에서 직접 이미지를 생성하고 수정하는 과정을 소개해드리겠습니다.

---

반응형

OmniGen2 란

OmniGen2는 VectorSpaceLab에서 개발한 오픈소스 멀티모달 생성 모델로, 텍스트-이미지 생성, 이미지 편집, 시각적 이해, 인컨텍스트 생성 등 다양한 작업을 하나의 통합 프레임워크에서 처리할 수 있도록 설계되었습니다. Qwen‑VL‑2.5를 기반으로 하며, 텍스트와 이미지 각각에 특화된 독립적인 디코딩 경로와 분리된 이미지 토크나이저를 사용함으로써, 각 모달리티의 생성 및 편집 성능을 최적화하는 동시에 기존 멀티모달 언어 모델의 텍스트 처리 능력을 그대로 유지합니다.

 

• OmniGen2 프로젝트 페이지 : https://omnigen2.net/

OmniGen2 AI: Advanced Multimodal Generation & Image Editing

 

 

주요 특징

1. 이중 디코딩 경로 (Dual Decoding Pathways) : OmniGen2는 텍스트와 이미지를 각각 다른 방식으로 처리합니다. 글자는 글자에 맞는 방식으로, 이미지는 이미지에 맞는 방식으로 따로 처리하기 때문에, 더 정확하고 자연스러운 결과를 만들어낼 수 있습니다.
2. 디커플드 이미지 토크나이저 : 이미지를 읽고 처리하는 도구를 글자용 도구와 따로 사용합니다. 이렇게 나눠서 처리하면, 그림을 더 정밀하게 만들 수 있고, 복잡한 장면도 잘 표현할 수 있습니다.
3. 멀티모달 성능 : OmniGen2는 문장을 보고 이미지를 만드는 것은 물론, 문장대로 이미지를 고치거나, 여러 요소(사람, 배경, 물건 등)를 조합해 자연스럽고 일관된 장면을 만들어내는 데에도 뛰어난 성능을 보여줍니다.
4. 반사 메커니즘 (Reflection Mechanism) : OmniGen2는 자기가 만든 결과가 잘 나왔는지 스스로 평가하고, 필요한 경우 더 나은 방향으로 바꾸는 기능도 갖추고 있습니다. 그래서 더 정확하고 자연스러운 결과를 얻을 수 있습니다.
5. 효율성과 확장성 : 고성능 컴퓨터가 없어도 사용할 수 있도록 만들어졌습니다. 메모리를 아끼는 기술도 함께 적용되어, 적은 자원으로도 빠르게 작동합니다.
6. OmniContext 벤치마크 : OmniGen2가 얼마나 정확하게 다양한 요소를 조합해 이미지를 만드는지 평가하기 위해 만든 기준이 있습니다. 이 기준에 따라 테스트한 결과, 사람이나 물건이 장면 안에서 잘 어울리게 표현된다는 점에서 높은 점수를 받았습니다.

 

 

사전 준비 사항

이 포스팅은 ComfyUI에서 OmniGen2를 활용하여 이미지 수정 방법에 대한 내용입니다. 본문을 읽기 전에 아래 항목들을 미리 설치해 주시기 바랍니다.

[Stabiliy Matrix&ComfyUI 설치하기] (포스팅에서 사용한 방식)

• ComfyUI 설치: [Marcus' Story] - [ComfyUI] 초보자도 쉽게 따라하는 Stability Matrix 활용하기
• ComfyUI-Manager 설치: [Marcus' Story] - [ComfyUI] Stability Matrix에 ComfyUI-Manager 설치하기

[로컬에 직접 ComfyUI 설치하기]

• ComfyUI 설치: [Marcus' Story] - [ComfyUI] [로컬 환경] ComfyUI 로컬 환경에 설치 및 실행 방법
• ComfyUI-Manager 설치: [Marcus' Story] - [ComfyUI] [로컬 환경] ComfyUI 관리 도구, ComfyUI-Manager 설치하기

 

목차
1. 실행 환경
2. 다운로드 및 위치 설정
3. 이미지 생성
4. 이미지 수정

---

1. 실행 환경

• 운영체제 : Windows 11
• ComfyUI : 0.3.44
• ComfyUI-Manager : V3.30
• torch : 2.7.1 + cu128
• GPU : NVIDIA GeForce RTX 4060 Ti

 

 

2. 다운로드 및 위치 설정

OmniGen2는 현재 ComfyUI에서 공식적으로 지원되고 있어, 별도의 복잡한 설정 없이도 쉽게 사용할 수 있습니다. 설치 후에는 ComfyUI 내에서 OmniGen2 모델을 불러와 바로 이미지 생성 테스트를 진행할 수 있으며, 원하는 생성 유형(텍스트 기반 이미지 생성, 이미지 편집 등)에 맞게 다양한 노드를 조합하여 활용할 수 있습니다.

 

1) ComfyUI Workflow

OmniGen2를 사용하기 위한 기본 워크플로우가 ComfyUI에서 공식적으로 제공되고 있습니다. 아래 링크를 통해 워크플로우 파일을 다운로드 없이 바로 가져올 수 있습니다. 아래 예시 이미지와 같이 ComfyUI에서 제공하는 워크플로우 이미지를 마우스로 드래그하여 ComfyUI 실행 화면에 끌어다 놓으면 자동으로 불러와집니다.

• ComfyUI OmniGen2 워크플로우 : https://docs.comfy.org/tutorials/image/omnigen/omnigen2#1-download-workflow-file

워크플로우 불러오기

 

2) 모델 파일 다운로드

아래 허깅페이스 링크에서 모델 파일을 다운로드합니다. Diffusion 모델은 사용자의 환경에 맞는 버전을 선택해 다운로드하시면 되고, Text Encoder 모델은 제공되는 4가지 파일 모두 다운로드하셔야 합니다.

모델 종류	파일명	허깅페이스 주소
diffusion 모델	omnigen2_fp16.safetensors	https://huggingface.co/Comfy-Org/Omnigen2_ComfyUI_repackaged/tree/main/split_files/diffusion_models
text_encoder 모델	qwen_2.5_vl_fp16.safetensors	https://huggingface.co/Comfy-Org/Omnigen2_ComfyUI_repackaged/tree/main/split_files/text_encoders
vae 모델	as.safetensors	https://huggingface.co/Comfy-Org/Lumina_Image_2.0_Repackaged/tree/main/split_files/vae

 

3) 모델 위치 이동

위 모델 파일을 모두 다운로드하셨으면, 각 모델을 아래 폴더로 이동시켜줍니다.

• diffusion 모델 : StabilityMatrix → Data → Packages → ComfyUI → models → diffusion_model
• text_encoder 모델 : StabilityMatrix → Data → Packages → ComfyUI → models → text_encoders
• vae 모델 : StabilityMatrix → Data → Packages → ComfyUI → models → vae

※ 만약 StabilityMatrix를 사용하지 않고 로컬에 ComfyUI를 직접 설치하신 경우에는, [StabilityMatrix → Data → Packages] 경로는 생략하시고, 바로 ComfyUI 폴더 내의 모델 디렉토리로 이동하시면 됩니다.

 

 

4. 이미지 생성

이번에는 OmniGen2 모델을 활용하여 실제 이미지 생성 작업을 진행해보았습니다. 약 14.5GB의 VRAM 환경에서 작동했으며, 한 장의 이미지를 생성하는 데 약 80초 정도가 소요되었습니다.

 

아래와 같이 텍스트 프롬프트를 작성하여 이미지 수정 작업을 수행하였습니다.

 

[사용 프롬프트]

• 긍정 프롬프트 : A cat with a crown lounging on a velvet throne, royal atmosphere, luxurious fabric texture, regal pose, detailed fur, ornate crown, dramatic lighting
• 부정 프롬프트 : blurry, low quality, distorted, ugly, bad anatomy, deformed, poorly drawn

OmniGen2 이미지 생성

 

OmniGen2 모델은 입력한 프롬프트를 매우 정확하게 반영하여 이미지를 생성하였습니다. 사용자가 원하는 장면이나 스타일이 이미지에 자연스럽게 구현되었고, 세부 표현도 정교하게 표현되었습니다. 특히 인상 깊었던 점은 고퀄리티의 이미지를 비교적 짧은 시간 안에 빠르게 생성했다는 점으로, 실제 활용성 측면에서도 매우 만족스러운 결과를 보여주었습니다.

 

 

5. 이미지 수정

이번에는 OmniGen2 모델을 활용하여 기존 이미지를 수정하는 작업을 진행하였습니다. 약 14.0GB의 VRAM 환경에서 실행되었으며, 한 장의 이미지를 완성하는 데에는 약 2분 40초가 소요되었습니다. 텍스트 프롬프트를 입력하여 이미지의 재질과 분위기를 변경하는 방식으로 작업을 수행하였으며, 아래와 같이 긍정 프롬프트와 부정 프롬프트를 함께 활용하여 원하는 결과를 유도하였습니다.

 

아래와 같이 텍스트 프롬프트를 작성하여 이미지 수정 작업을 수행하였습니다.

 

[사용 프롬프트 1 - 수정1]

• 긍정 프롬프트 : Transform character into crystal material, transparent crystal texture, sparkling surface, prismatic light effects, magical appearance, elegant translucent look
• 부정 프롬프트 : deformed, blurry, over saturation, bad anatomy, disfigured, poorly drawn face, mutation, mutated, extra_limb, ugly, poorly drawn hands, fused fingers, messy drawing, broken legs censor, censored, censor_bar

[사용 프롬프트 2 - 수정2]

• 긍정 프롬프트 : Change hair color to deep red, vivid red hair, natural lighting, realistic texture
• 부정 프롬프트 : deformed, blurry, over saturation, bad anatomy, disfigured, poorly drawn face, mutation, mutated, extra_limb, ugly, poorly drawn hands, fused fingers, messy drawing, broken legs censor, censored, censor_bar

OmniGen2 이미지 수정 (원본 / 수정1 / 수정2)

 

한 장의 원본 이미지를 바탕으로 두 가지 방식의 이미지 생성 작업을 진행해보았습니다. 첫 번째는 인물의 주요 특징을 유지한 채 전체 스타일을 크리스탈 재질로 변환한 초현실적인 스타일링이었고, 두 번째는 머리카락 색상만 붉게 변경한 간단한 편집 작업이었습니다.

두 작업 모두 OmniGen2가 입력된 프롬프트를 매우 정밀하게 반영하였으며, 생성된 이미지의 품질 또한 뛰어났습니다. 복잡한 재질 표현부터 세부 속성 변경까지 빠르게 처리되었고, 시각적 완성도 역시 높은 수준을 유지했습니다.

전체적으로 볼 때, OmniGen2는 프롬프트에 담긴 요소들을 균형 있게 반영하면서도 안정적이고 고품질의 결과물을 생성해냈으며, 세부 묘사와 지시문 이해 측면에서 매우 우수한 성능을 보여주었습니다.

 

---

 

종합적으로 볼 때, OmniGen2는 자연어 프롬프트를 기반으로 한 이미지 생성 및 편집 작업에서 높은 정확성과 표현력을 보여주었습니다. 특히 복잡한 재질 변환이나 시각 효과도 정교하게 반영하며, 부정 프롬프트를 통한 품질 제어 역시 안정적으로 작동하였습니다.

이번 테스트를 통해 OmniGen2는 단순한 이미지 생성 도구를 넘어, 사용자의 의도를 시각적으로 충실히 구현할 수 있는 멀티모달 생성 모델임을 확인할 수 있었습니다. AI를 활용한 이미지 생성 작업에 관심이 있는 사용자라면, OmniGen2는 매우 유용한 도구가 될 수 있습니다.

 

감사합니다. 😊