안녕하세요,
2024년은 AI의 시대라고 해도 과언이 아닙니다. AI는 이제 이미지 생성뿐만 아니라 음성, 음악, 심지어 영상 제작까지 그 영역을 확장하고 있습니다. 그러나 AI 기술은 단순히 콘텐츠를 생성하는 데 그치지 않고, 사용자가 원하는 결과물을 더욱 정밀하고 고품질로 만드는 방향으로 지속적으로 발전하고 있습니다. 오늘 소개할 주제는 바로 '이미지 업스케일링'입니다.
이미지 업스케일링이란 저해상도 이미지를 고해상도로 변환하는 과정을 의미합니다. 해상도가 낮아 선명하지 않거나 크기 제한으로 인해 아쉬웠던 이미지를 고해상도로 개선하여 품질을 높이는 작업입니다. 특히 AI로 생성된 이미지의 디테일을 향상시키기 위해 업스케일링 기술이 중요한 역할을 하고 있습니다.
이번 포스팅에서는 이미지 생성 AI로 잘 알려진 Flux 모델의 업스케일러 버전을 이용해 업스케일링을 수행하는 방법을 다룰 것입니다. 이를 위해 ComfyUI라는 직관적인 도구를 사용하여 로컬 환경에서 어떻게 효율적으로 이미지를 수정하고, Flux-Upscaler를 활용해 고해상도 이미지를 얻을 수 있는지 단계별로 설명드리겠습니다. Flux 모델의 강력한 성능과 ComfyUI의 간편한 인터페이스를 결합하면 놀라운 업스케일링 결과를 얻을 수 있습니다.
그럼 지금부터 Flux-Upscaler와 ComfyUI를 이용한 이미지 업스케일링 방법에 대해 알아보겠습니다.
Flux.1-dev-Controlnet-Upscaler
허깅페이스의 Jasper 연구팀이 미세 조정한 모델로, Flux 모델을 이용해 저해상도 이미지를 고해상도로 업스케일하는 작업을 돕는 모델입니다. 이번 포스팅에서는 이 모델을 사용하여 업스케일링하는 방법을 자세히 살펴보겠습니다.
사전 준비 사항
이 포스팅은 ComfyUI에서 Flux 모델을 활용하는 방법에 대한 내용입니다. 따라서 본문을 읽기 전에 ComfyUI와 ComfyUI-Manager를 미리 설치해 주시기 바랍니다.
- ComfyUI 설치 방법 : [Macus' Story] - [이미지 생성 AI] [로컬 환경] ComfyUI 이용하여 이미지 생성하기 1탄
- ComfyUI-Manager 설치 방법 : [Marcus' Story] - [이미지 생성 AI] [로컬 환경] ComfyUI 이용하여 이미지 생성하기 2탄 : ComfyUI-Manager
목차
1. ComfyUI 사용 노드
2. 실행 환경
3. 다운로드 모델 및 설정
4. 노드 구성
5. 결과 비교
1. ComfyUI 사용 노드
이번 Upscale 기능을 사용하기 위해 추가적으로 설치한 커스텀 노드입니다. 커스텀 노드는 ComfyUI-Manager, Custom Nodes Manager를 통해 설치하실 수 있습니다. 아래의 커스텀 노드를 설치해주시기 바랍니다.
- ComfyUI-Florence2 : 이미지에서 프롬프트를 생성해주는 커스텀 노드 (필수)
- rgthree's ComfyUI Nodes : 이미지 생성 및 편집 작업을 보다 쉽게 수행할 수 있도록 다양한 기능을 제공하는 커스텀 노드 (선택사항)
2. 실행 환경
- 운영체제 : Windows 11
- ComfyUI : 0.2.2
- Python : 3.11.9
- torch : 2.3.1 + cu121
- xformers : 0.0.27
- GPU : NVIDIA GeForce RTX 4060 Ti
3. 다운로드 모델 및 설정
1) FLUX.1 모델 다운로드 및 디렉토리 설정
이미지를 생성해줄 FLUX.1 모델을 아래 링크에서 다운받습니다. VRAM이 충분하신 분들은 FLUX.1-dev 모델을 사용해도 무방하나, VRAM이 12GB 이하이신 분들은 FLUX.1-dev-fp8 모델을 사용하길 권장드립니다. 아래 이미지에서 FLUX.1-dev-fp8 모델이 두 가지 있는데, 성능은 비슷한 것으로 보입니다. 둘 중에 하나만 다운로드하시면 됩니다.
- FLUX.1-dev 모델 : https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main
- FLUX.1-dev-fp8 모델 : https://huggingface.co/Kijai/flux-fp8/tree/main
(※ FLUX.1-dev 모델은 상업적 이용이 불가능하며, 연구용으로만 사용 가능합니다. 이 점 참고해 주시기 바랍니다.)
다운로드가 완료되셨으면, 해당 파일을 아래 경로의 unet 폴더로 이동시켜 주세요.
(ComfyUI 폴더) → (models 폴더) → (unet 폴더)
2) VAE 모델 다운로드 및 디렉토리 설정
FLUX.1 모델에 맞는 VAE 모델을 아래 링크를 통해 다운로드합니다.
다운로드가 완료되셨으면, 해당 파일을 아래 경로의 vae 폴더로 이동시켜 주세요.
(ComfyUI 폴더) → (models 폴더) → (vae 폴더)
3) CLIP 모델 다운로드 및 디렉토리 설정
FLUX.1 모델에 맞는 CLIP 모델을 아래 링크를 통해 다운로드합니다.
- FLUX.1 CLIP 모델 : https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main
다운로드가 완료되셨으면, 해당 파일을 아래 경로의 clip 폴더로 이동시켜 주세요.
(ComfyUI 폴더) → (models 폴더) → (clip 폴더)
4) Upscaler 모델 다운로드 및 디렉토리 설정
이미지를 업스케일 모델 jasper Flux.1-dev-Controlnet-Upscaler를 아래 링크를 통해 다운로드받습니다.
- Flux Upscaler 모델 허깅페이스 : https://huggingface.co/jasperai/Flux.1-dev-Controlnet-Upscaler
모델 파일을 다운로드가 완료되셨으면, 해당 파일을 아래 경로에 있는 controlent 폴더로 이동시켜 주세요.
(ComfyUI 폴더) → (models 폴더) → (controlent 폴더)
4. 노드 구성
노드 구성은 아래와 같이 이루어집니다. 이를 간단히 설명하자면, 입력 이미지(Load Image)를 받아 Dual CLIP Text Encoding을 통해 텍스트 임베딩을 생성하고, Florence2Run 노드에서 텍스트와 이미지를 결합하여 더 세밀한 이미지를 생성합니다. 이후 Upscale Image By 노드를 사용하여 이미지를 3배로 확대하며, 최종적으로 KSampler와 VAE Decode를 통해 이미지의 디테일을 추가적으로 향상시킵니다.
아래 첨부파일을 통해 구성 파일을 다운받으실 수 있습니다.
5. 결과 비교
위에서 생성한 노드 구성을 통해 이미지 생성 결과를 비교해보겠습니다.
업스케일한 이미지는 원본보다 선명도가 훨씬 뛰어나며, 디테일이 더 풍부해졌습니다. 또한, 픽셀 크기와 이미지 해상도 역시 설정한 대로 3배 증가하여 더 큰 화면에서도 선명하게 사용할 수 있게 되었습니다. Flux 업스케일 모델은 저해상도 이미지의 품질을 크게 향상시킬 수 있는 효과적인 도구로, 저화질의 이미지를 개선하고 싶을 때 특히 유용합니다. 이를 통해 이미지의 디테일을 극대화하고, 더 생동감 있고 높은 품질의 결과물을 얻을 수 있습니다. 저해상도 사진이나 더 나은 품질이 필요한 프로젝트가 있다면, Flux 업스케일 모델을 활용해 고화질로 변환해보시기를 적극 추천드립니다.
감사합니다. 😊
'ComfyUI > 이미지 수정' 카테고리의 다른 글
| [이미지 생성 AI] [로컬 환경] ComfyUI 이용하여 이미지 수정하기 3탄 : Outpainting (Flux + SDXL) (0) | 2024.11.18 |
|---|---|
| [이미지 생성 AI] [로컬 환경] ComfyUI 이용하여 이미지 수정하기 2탄 : Flux Inpainting (1) | 2024.10.23 |
