안녕하세요,
여러분이 AI 이미지 생성에 관심이 있으시다면, 지난번에 소개해드린 FLUX.1 AI 모델을 기억하실 겁니다. 이번 포스팅에서는 그 FLUX.1 AI 모델을 ComfyUI에서 어떻게 활용할 수 있는지 알려드리려고 합니다. 누구나 쉽게 따라할 수 있는 단계별 설명을 준비했으니, 함께 AI 이미지 생성을 시작해 보세요!
FLUX.1 AI 란
FLUX.1 AI 모델은 Black Forest Labs에서 개발한 AI 이미지 생성 모델로, 세 가지 버전(FLUX.1 [pro], FLUX.1 [dev], FLUX.1 [schnell])으로 제공됩니다. 각 버전은 성능, 사용 목적, 라이선스에 따라 차별화되어 있지만, 모두 고성능 이미지 생성과 다양한 스타일을 지원합니다. FLUX.1 [pro]는 상업용에 적합하며, FLUX.1 [dev]는 비상업용에 적합하고, FLUX.1 [schnell]은 개인 개발 용도로 최적화되어 있습니다.
FLUX.1 AI 모델에 대해 추가적인 궁금증이 있으신 분들은 아래 포스팅을 참고해주시기 바랍니다.
[이미지 생성 AI] 무료 이미지 생성 AI, FLUX.1 에 대해 소개합니다.
안녕하세요,AI 이미지 생성 기술의 경쟁이 치열해지는 가운데, FLUX.1 AI가 등장했습니다. FLUX.1 AI는 텍스트를 기반으로 뛰어난 품질의 이미지를 생성하는 차세대 AI로, MidJourney나 Stable Diffusion과 비
marcus-story.tistory.com
사전준비사항
- ComfyUI 설치 방법 : [Macus' Story] - [이미지 생성 AI] [로컬 환경] ComfyUI 이용하여 이미지 생성하기 1탄
- ComfyUI-Manager 설치 방법 : [Marcus' Story] - [이미지 생성 AI] [로컬 환경] ComfyUI 이용하여 이미지 생성하기 2탄 : ComfyUI-Manager
목차
1. ComfyUI 사용 노드
2. 실행 환경
3. 설치
4. 노드 구성
5. 실행 (이미지 생성)
1. ComfyUI 사용 노드
추가로 설치해야 할 필수 커스텀 노드는 없습니다. 하지만 ComfyUI를 더욱 편리하게 사용할 수 있는 노드들을 정리한 내용이 있습니다. 아래 링크를 참고해 주세요.
- Custom Node 설치 : [Marcus' Story] - ComfyUI 자주 사용하는 노드
2. 실행 환경
- 운영체제 : Windows 11
- ComfyUI : 0.2.2
- Python : 3.10.14
- torch : 2.3.1 + cu121
- xformers : 0.0.27
- GPU : NVIDIA GeForce RTX 4060 Ti
3. 설치
1) FLUX.1 모델 다운로드 및 디렉토리 설정
먼저 FLUX.1 모델을 다운로드합니다. 다운로드 링크는 아래와 같습니다.
- FLUX.1-dev 모델 : https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main
- FLUX.1-schnell 모델 : https://huggingface.co/black-forest-labs/FLUX.1-schnell/tree/main
(※ FLUX.1-dev 모델은 상업적 이용이 불가능하며, 연구용으로만 사용 가능합니다. 이 점 참고해 주시기 바랍니다.)
다운로드한 모델 파일은 아래 경로의 unet 폴더로 이동시켜 주세요.
(ComfyUI 폴더) → (models 폴더) → (unet 폴더)
2) VAE 모델 다운로드 및 디렉토리 설정
다음으로 FLUX.1 모델에 맞는 VAE 모델을 다운로드해야 합니다. VAE 모델은 앞서 방문한 Hugging Face 페이지의 VAE 폴더에 있습니다. FLUX.1-dev 모델과 FLUX.1-schnell 모델은 동일한 VAE 모델을 사용하므로, VAE는 하나만 다운로드하시면 됩니다.
다운로드한 모델 파일은 아래 경로의 vae 폴더로 이동시켜 주세요.
(ComfyUI 폴더) → (models 폴더) → (vae폴더)
3) CLIP 모델 다운로드 및 디렉토리 설정
CLIP 모델도 마찬가지로 FLUX.1 모델에 맞는 CLIP 모델을 다운로드해야 합니다. 다운로드 링크는 아래와 같습니다.
- FLUX.1 CLIP 모델 : https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main
다운로드한 모델 파일은 아래 경로의 clip 폴더로 이동시켜 주세요.
(ComfyUI 폴더) → (models 폴더) → (clip폴더)
4. 노드 구성
1) FLUX.1-dev 노드 구성
FLUX.1-dev 모델을 사용하기 위한 노드 구성을 ComfyUI 제작자가 제공하는 깃허브 페이지에서 다운로드할 수 있습니다.
- ComfyUI 예제 페이지 (깃허브) : https://comfyanonymous.github.io/ComfyUI_examples/flux/?ref=blog.comfy.org
위 링크에 접속하면 Flux Dev에 대한 설명이 있습니다. 그곳에서 제공하는 이미지를 마우스 왼쪽 버튼으로 클릭한 상태에서, 현재 실행 중인 ComfyUI 창으로 드래그하면 FLUX.1-dev를 실행하기 위한 노드들이 자동으로 구성됩니다.
2) FLUX.1-schnell 노드 구성
ComfyUI 예제 페이지에서는 FLUX.1-schnell 모델을 사용하기 위한 노드 구성 또한 다운로드할 수 있습니다.
- ComfyUI 예제 페이지 (깃허브) : https://comfyanonymous.github.io/ComfyUI_examples/flux/?ref=blog.comfy.org
ComfyUI 예제 페이지에서 Flux Dev 아래에 Flux Schnell에 대한 설명이 있습니다. 위와 같은 방식으로, 그곳에서 제공하는 이미지를 마우스 왼쪽 버튼으로 클릭한 상태에서, 현재 실행 중인 ComfyUI 창으로 드래그하면 FLUX.1-schnell을 실행하기 위한 노드들이 자동으로 구성됩니다.
위의 방법대로 노드를 구성했는데, 빨간색으로 표시되는 노드가 있다면 ComfyUI를 최신 버전으로 업데이트해 보세요.
5. 실행 (이미지 생성)
모든 준비가 완료되었으니, 이제 FLUX 모델을 사용하여 이미지를 생성해보겠습니다.
1) FLUX.1-dev 이미지 생성
- FLUX.1-dev 모델 선택 : (Load Diffusion Model 노드)에서 "flux1-dev.safetensors" 모델을 선택합니다.
- CLIP 모델 선택 : (DualCLIPLoader) 노드에서 [clip_name1 옵션]은 "t5xxl_fp16.safetensors" 모델을, [clip_name2 옵션]은 "clip_l.safetensors" 모델을 선택합니다.
- VAE 모델 선택 : (Load VAE 노드)에서 "diffusion_pytorch_model.safetensors" 모델을 선택합니다.
아래 이미지는 참고용입니다.
설정을 완료하셨으면 Queue Prompt 버튼을 통해 이미지 생성을 시작해줍니다.
해당 모델을 처음 실행할때는 모델의 가중치와 파라미터를 메모리에 불러와야 하므로 시간이 소요됩니다. 저의 경우 첫 이미지 생성까지 약 35분 정도 소요됐습니다. 하지만 그 다음부터는 이미지 한장을 생성하는데 1분 정도 소요됐습니다.
2) FLUX.1-schnell 이미지 생성
- FLUX.1-schnell 모델 선택 : (Load Diffusion Model 노드)에서 "flux1-schnell.safetensors" 모델을 선택합니다.
- CLIP 모델 선택 : (DualCLIPLoader) 노드에서 [clip_name1 옵션]은 "t5xxl_fp16.safetensors" 모델을, [clip_name2 옵션]은 "clip_l.safetensors" 모델을 선택합니다.
- VAE 모델 선택 : (Load VAE 노드)에서 "diffusion_pytorch_model.safetensors" 모델을 선택합니다.
아래 이미지는 참고용입니다.
설정을 완료하셨으면 Queue Prompt 버튼을 통해 이미지 생성을 시작해줍니다.
FLUX.1-schnell 모델은 FLUX.1-dev 모델에 비해 비교적 빠르게 이미지가 생성되었습니다. 약 20초 가량 소요되었고, 두 퀄리티는 FLUX.1-dev 모델이 뛰어나나, FLUX.1-schnell 모델의 퀄리티가 크게 떨어진다는 느낌은 없었습니다.
결과 비교
이렇게 해서 FLUX.1 AI 모델을 ComfyUI에서 사용하는 방법을 알아보았습니다. FLUX 모델을 실행하기 위해서는 생각보다 높은 사양의 PC가 필요합니다. RAM 용량이나 GPU의 성능이 중요합니다. 현재 이를 보완하기 위해 낮은 VRAM에서도 사용할 수 있는 FLUX 모델이 있다고 합니다. 그 내용은 다음 포스팅에서 다뤄보도록 하겠습니다. 궁금한 점이나 도움이 필요하시면 언제든지 댓글로 남겨주세요.
감사합니다 😊
'ComfyUI > 이미지 생성' 카테고리의 다른 글
| [이미지 생성 AI] [로컬 환경] ComfyUI 이용하여 이미지 생성하기 6탄 : PuLID-Flux (0) | 2024.11.06 |
|---|---|
| [이미지 생성 AI] [로컬 환경] ComfyUI 이용하여 이미지 생성하기 5탄 : FLUX.1 AI 활용하기 (저사양 버전) (2) | 2024.09.21 |
| [이미지 생성 AI] [로컬 환경] ComfyUI 이용하여 이미지 생성하기 3탄 : ComfyUI + Differential Diffusion (5) | 2024.09.07 |
| [이미지 생성 AI] [로컬 환경] ComfyUI 이용하여 이미지 생성하기 2탄 : ComfyUI-Manager (0) | 2024.08.05 |
| [이미지 생성 AI] [로컬 환경] ComfyUI 이용하여 이미지 생성하기 1탄 (1) | 2024.07.17 |
