안녕하세요,
최근 AI를 활용해 이미지를 생성하는 일이 점점 더 쉬워지고 있지만, 원하는 이미지를 정확하게 표현해내는 것은 여전히 어려운 작업입니다. 원하는 이미지를 제대로 만들어내기 위해서는 적절한 프롬프트 작성이 필수적이지만, 이는 많은 시간과 노력이 필요할 수 있습니다. 이번 글에서는 이러한 어려움을 해결하기 위해 ComfyUI에서 제공하는 두 가지 커스텀 노드인 Flux Prompt Generator와 Florence2를 사용하여 효율적으로 프롬프트를 생성하는 방법을 소개하겠습니다. 이 두 커스텀 노드를 사용하면 프롬프트 작성 과정을 간소화하고 이미지 생성 결과의 품질을 높일 수 있습니다.
Flux Prompt Generator와 Florence2
ComfyUI에서 제공하는 두 가지 강력한 커스텀 노드를 사용해 프롬프트를 간편하게 생성하고 이미지 생성 과정을 더욱 효과적으로 만들 수 있습니다. Flux Prompt Generator는 사용자가 직접 프롬프트를 작성하지 않고 옵션을 선택해 최적의 프롬프트를 자동으로 생성해주며, Florence2는 이미지를 분석해 해당 이미지의 주요 특징을 프롬프트로 변환해 줍니다.
Flux Prompt Generator 커스텀 노드
Flux Prompt Generator는 사용자가 직접 프롬프트를 작성하지 않고 간단한 옵션 선택만으로 자동으로 프롬프트를 생성할 수 있는 편리한 노드입니다. 이 노드는 다양한 설정을 기반으로 사용자가 원하는 스타일이나 테마에 맞는 프롬프트를 쉽게 생성하도록 도와줍니다. 사용자는 감성, 색감, 혹은 특정 스타일을 선택하면 이에 맞는 최적의 프롬프트가 자동으로 생성되어 이미지 생성에 사용됩니다.
- 사용 예시: 예를 들어, "우울한 느낌의 풍경"을 선택하면 Flux Prompt Generator는 이에 적합한 문장을 자동으로 생성해 이미지 생성 모델에 입력합니다. 이렇게 하면 사용자는 복잡한 프롬프트 작성의 부담을 덜고, 원하는 결과물을 손쉽게 얻을 수 있습니다.
Florence2 커스텀 노드
Florence2는 이미지 입력을 통해 해당 이미지의 주요 특징을 분석하고 이를 텍스트 프롬프트로 변환해주는 커스텀 노드입니다. 즉, 특정 이미지에서 느껴지는 분위기나 색감, 디테일한 요소들을 프롬프트로 추출해 이를 바탕으로 유사한 스타일의 이미지를 생성할 수 있습니다.
- 사용 예시: 사용자가 특정 이미지의 분위기와 구도를 유지하면서 새로운 요소를 추가하고 싶을 때, Florence2를 사용해 원본 이미지의 특징을 프롬프트로 추출할 수 있습니다. 이렇게 추출된 프롬프트를 통해 원본 이미지의 감성을 유지하면서도 새로운 창작을 할 수 있습니다.
사전 준비 사항
이 포스팅은 ComfyUI에서 Flux 모델을 활용하는 방법에 대한 내용입니다. 따라서 본문을 읽기 전에 ComfyUI와 ComfyUI-Manager를 미리 설치해 주시기 바랍니다.
- ComfyUI 설치 방법 : [Macus' Story] - [이미지 생성 AI] [로컬 환경] ComfyUI 이용하여 이미지 생성하기 1탄
- ComfyUI-Manager 설치 방법 : [Marcus' Story] - [이미지 생성 AI] [로컬 환경] ComfyUI 이용하여 이미지 생성하기 2탄 : ComfyUI-Manager
목차
1. ComfyUI 사용 노드
2. 실행 환경
3. Flux Prompt Generator 노드 구성
4. Florence2 노드 구성
1. ComfyUI 사용 노드
아래는 ComfyUI에서 사용할 수 있는 주요 커스텀 노드들에 대한 간단한 설명입니다. 각 노드는 이미지 생성 작업을 보다 쉽게 수행할 수 있도록 다양한 기능을 제공합니다.
- Flux Prompt Generator for ComfyUI : 원하는 이미지의 특징들을 옵션 형태로 설정할 수 있게 해주는 노드로, 스테이블디퓨전과 같이 프롬프트를 작성이 힘든 경우에 사용하면 유용한 노드 (필수)
- Searge-LLM for ComfyUI v1.0 : ComfyUI용 프롬프트 생성기 또는 프롬프트 개선 노드는 언어 모델의 기능을 활용하여 제공된 텍스트-이미지 프롬프트를 보다 상세하고 개선된 프롬프트로 전환합니다. (필수)
- ComfyUI-Florence2 : 이미지에서 프롬프트를 생성해주는 커스텀 노드 (필수)
- pythongosssss/ComfyUI-Custom-Scripts : ComfyUI의 기능을 확장하고 사용자 경험을 향상시키기 위해 개발된 다양한 커스텀 스크립트와 도구들을 제공. (선택사항)
2. 실행 환경
- 운영체제 : Windows 11
- ComfyUI : 0.2.2
- Python : 3.10.0
- torch : 2.3.1 + cu121
- xformers : 0.0.27
- GPU : NVIDIA GeForce RTX 4060 Ti
3. Flux Prompt Generator 노드 구성
Florence2 노드는 입력한 이미지를 기반으로 프롬프트를 생성합니다. Flux Prompt Generator에서 생성한 이미지를 사용해 프롬프트 생성 및 이미지 생성을 진행해보겠습니다.
이 ComfyUI 노드 구성은 Load Diffusion Model 노드를 통해 기본적인 딥러닝 모델을 불러오고, DualCLIPLoader에서 두 개의 CLIP 텍스트 인코더를 로드해 텍스트 프롬프트를 이해하고 반영합니다. Load VAE는 변형 자동인코더(VAE)를 로드해 이미지 디코딩 과정에서 활용됩니다. Flux Prompt Generator는 프롬프트의 각 요소를 옵션 형태로 상세하게 설정할 수 있도록 하며, 이를 통해 생성될 이미지의 세부적인 내용을 프롬프트 형태로 정의해줍니다. CLIPTextEncodeFlux 노드는 텍스트를 인코딩해 모델이 이해할 수 있는 형태로 변환하고, KSampler 노드는 생성된 잠재 이미지를 샘플링해 최종 이미지로 변환합니다. 마지막으로 VAE Decode 노드는 잠재 이미지를 최종 이미지로 디코딩하고, Save Image를 통해 생성된 이미지를 저장합니다. 이러한 노드들이 연결되어 텍스트 프롬프트를 바탕으로 이미지를 생성하는 과정을 완성합니다.
아래 첨부파일을 통해 Flux Prompt Generator 구성 파일을 다운받으실 수 있습니다.
4. Florence2 노드 구성
Florence2 노드는 입력한 이미지를 기반으로 프롬프트를 생성합니다. Flux Prompt Generator에서 생성한 이미지를 사용해 프롬프트 생성 및 이미지 생성을 진행해보겠습니다.
이 ComfyUI 노드 구성은 Load Diffusion Model을 통해 기본 모델을 로드하고, DualCLIPLoader는 CLIP 텍스트 인코더를 사용해 텍스트 프롬프트를 이해합니다. Load VAE는 이미지를 디코딩하는 역할을 합니다. Empty Latent Image와 Load Image는 잠재 이미지 생성과 외부 이미지 로드를 처리합니다. DownloadAndLoadFlorence2Model 및 Florence2Run 노드는 Florence2 모델을 사용해 입력한 이미지의 자세한 프롬프트를 생성합니다. 그리고 Show Text 노드를 통해 해당 이미지로부터 생성된 프롬프트를 확인할 수 있습니다. CLIPTextEncodeFlux는 텍스트를 인코딩하고, KSampler는 잠재 이미지를 최종 이미지로 변환합니다. VAE Decode는 잠재 이미지를 최종 이미지로 디코딩하고, Save Image는 이를 저장합니다. Show Text 노드는 이미지에 대한 설명을 텍스트로 표시합니다. 전체 과정은 이미지를 생성하고 설명을 생성하는 흐름으로 구성되어 있습니다.
아래 첨부파일을 통해 Florence2 구성 파일을 다운받으실 수 있습니다.
Flux Prompt Generator와 Florence2는 ComfyUI에서 이미지 생성 작업을 더 창의적이고 직관적으로 만들어 줄 수 있는 강력한 도구입니다. Flux Prompt Generator는 프롬프트 작성의 어려움을 줄여주고, Florence2는 이미지에서 직접 영감을 받아 새로운 창작을 가능하게 합니다. 이 두 노드를 함께 사용함으로써 사용자들은 더욱 풍부하고 개인화된 이미지 생성 경험을 할 수 있습니다.
감사합니다. 😊
'ComfyUI' 카테고리의 다른 글
| ComfyUI 자주 사용하는 노드 (0) | 2024.08.11 |
|---|---|
| Stable Diffusion과 ComfyUI 기본 가이드: 용어 설명 (0) | 2024.08.07 |
