[영상 생성 AI] [로컬 환경] ComfyUI 이용하여 영상 생성하기 6탄 : LTX-Video AI

안녕하세요,

오늘은 누구나 손쉽게 고품질의 비디오를 제작할 수 있게 도와주는 'LTX-Video AI'를 소개하려고 합니다. 텍스트나 이미지에서 멋진 비디오를 만들어낼 수 있다면 어떨까요? 게다가 그 과정이 간단하고 누구나 쉽게 접근할 수 있다면 정말 매력적이겠죠. 이번 포스팅에서는 LTX-Video AI를 직접 다운로드하고 설치하는 방법부터 실제로 영상을 만들어보는 과정까지 자세히 안내해 드리겠습니다.

---

반응형

LTX-Video AI

LTXV-Video는 Lightricks에서 개발한 최첨단 생성형 AI 비디오 모델로, 텍스트/이미지/비디오 입력을 통해 고품질 영상을 생성합니다. GPU와 TPU 시스템에 최적화되어 있어 빠른 속도로 영상을 생성하면서도 높은 시각적 품질을 유지합니다. 이 모델은 프레임 간 학습을 통해 장면 내 일관성을 유지하며, 깜박임이나 불일치와 같은 문제를 최소화합니다. 즉, 단순히 한 장면을 랜더링하는 것에 그치지 않고, 전체 비디오가 매끄럽게 연결되도록 훈련되어 결과물의 품질을 한 단계 끌어올립니다. 이는 특히 자연스러운 움직임이 중요한 비디오 콘텐츠 제작에서 중요한 요소로 작용합니다.

 

LTXV-Video 모델은 현재 오픈 소스로 공개되어 있으며, GitHub, Hugging Face, ComfyUI 등 다양한 플랫폼에서 접근이 가능합니다. 이러한 접근성 덕분에 연구자와 개발자들이 쉽게 모델을 활용하고 자신만의 프로젝트에 통합할 수 있습니다. 또한, Lightricks는 텍스트-투-비디오 생성, 파인 튜닝, 그리고 다양한 응용 프로그램 통합에 대한 가이드와 코드 예제, 그리고 엔터프라이즈 배포 모범 사례 등을 제공하여 사용자의 경험을 더 쉽게 만들어줍니다.

 

• LTXV 공식페이지 : https://www.lightricks.com/

Lightricks

 

이 모델은 해상도가 32의 배수이고 프레임 수가 8+1의 배수(예: 257)인 경우에 작동합니다. 해상도나 프레임 수가 이러한 조건을 만족하지 않을 경우, 입력 데이터를 -1로 패딩한 뒤 원하는 해상도와 프레임 수로 조정합니다. 이 모델은 720 x 1280 이하의 해상도와 257 이하의 프레임 수에서 최상의 성능을 발휘합니다.

 

 

 

사전준비사항

이 포스팅은 ComfyUI에서 LTXV-Video 모델을 활용하는 방법에 대한 내용입니다. 따라서 본문을 읽기 전에 ComfyUI와 ComfyUI-Manager를 미리 설치해 주시기 바랍니다.

• ComfyUI 설치 방법 : [Macus' Story] - [이미지 생성 AI] [로컬 환경] ComfyUI 이용하여 이미지 생성하기 1탄
• ComfyUI-Manager 설치 방법 : [Marcus' Story] - [이미지 생성 AI] [로컬 환경] ComfyUI 이용하여 이미지 생성하기 2탄 : ComfyUI-Manager

 

 

목차
1. 실행 환경
2. ComfyUI 사용 노드
3. 모델 다운로드 및 위치 설정
4. 노드 구성
5. 실행 (영상 생성)

---

728x90

1. 실행 환경

• 운영체제 : Windows 11
• ComfyUI : 0.2.7
• ComfyUI-Manager : V2.51.9
• Python : 3.10.0
• torch : 2.3.1 + cu121
• GPU : NVIDIA GeForce RTX 4060 Ti

 

 

2. ComfyUI 사용 노드

아래는 이번 포스팅에서 사용된 ComfyUI 커스텀 노드입니다. 모델 실행에 필수적인 노드를 "필수"로 표기하였으며, 사용에 필수적이지 않은 노드는 "선택사항"으로 표기하였습니다.

• ComfyUI LTXV : ComfyUI에서 LTXV-Video 모델을 활용해 텍스트 프롬프트만으로 고품질 영상을 생성할 수 있도록 지원하는 커스텀 노드입니다. (필수 - 설치 방법: 별도 안내 )
• ComfyUI-VideoHelperSuite: ComfyUI에서 비디오 워크플로우를 지원하는 노드 모음입니다. 비디오 로드, 이미지 시퀀스 처리, 비디오 결합 등 다양한 기능을 제공하여 효율적인 비디오 편집과 제작에 유용합니다. (필수)

 

 

3. 모델 다운로드 및 위치 설정

ComfyUI에서 영상을 생성을 위한 LTXV-Video 모델과 커스텀 노드 파일을 다운받습니다.

 

1) LTXV-Video 모델 파일 다운로드

아래 ComfyUI 허깅페이스 페이지에서 "ltx-video-2b-v0.9.safetensors"모델을 다운로드합니다.

• Lightricks 허깅페이스 : https://huggingface.co/Lightricks/LTX-Video/tree/main

출처: Lightricks 허깅페이스

 

모델 파일 다운로드가 완료되면 해당 모델 파일을 checkpoints 폴더로 이동시켜줍니다.

 

(ComfyUI 폴더) → (models 폴더) → (checkpoints 폴더)

 

 

2) text encoder 모델 파일 다운로드

아래 PixArt-alpha 허깅페이스 페이지에서 모델을 다운로드합니다.

• PixArt-alpha 허깅페이스 : https://huggingface.co/PixArt-alpha/PixArt-XL-2-1024-MS/tree/main

출처: PixArt-alpha

 

모든 파일 구성을 다운로드하고, 폴더 구성도 동일하게 유지해야합니다. 다운로드가 완료되면 해당 모델 파일을 text_encoders / PixArt-alpha 폴더로 이동시켜줍니다.

 

(ComfyUI 폴더) → (models 폴더) → (text_encoders 폴더) → (PixArt-alpha 폴더)

 

3) 커스텀 노드 파일 다운로드

아래 깃허브 페이지에서 코드 파을 다운받습니다.

• Lightricks 깃허브 : https://github.com/Lightricks/ComfyUI-LTXVideo

출처: Lightricks 깃허브

 

코드 파일 다운로드가 완료되면 해당 파일의 압축을 풀고 custom_nodes 폴더로 이동시켜줍니다.

 

(ComfyUI 폴더) → (custom_nodes 폴더) → (ComfyUI-LTXV-Video 폴더)

 

 

 

4) 필요 패키지 파일 다운로드

아래 명령어를 통해 필요한 패키지 파일들을 다운 받습니다.

# Windows PowerShell
cd custom_nodes/ComfyUI-LTXVideo  # 다운받은 커스텀 파일 위치로 이동
pip install -r requirements.txt  # 필요 패키지 다운로드

 

 

4. 노드 구성

ComfyUI에서 LTXV-Video 모델을 사용하기 위한 노드 구성은 Lightricks 깃허브에서 제공합니다.

• Lightricks 깃허브 : https://github.com/Lightricks/ComfyUI-LTXVideo

출처: Lightrics 깃허브

 

5. 실행 (영상 생성)

위에서 준비한 모델을 사용하여 영상을 생성해보았습니다. 처음 모델을 로드하는데 약간의 시간이 소요됐으나, 실제로 영상을 생성하는데는 금방 생성되었습니다. Vram도 약 8GB 정도만 소모하는 것으로 보였습니다. (768x512 pixel, 50 step)

 

사용 프롬프트

• 긍정 프롬프트 : A group of colorful hot air balloons take off at dawn.
  Dozens of balloons in various bright colors and patterns slowly rise into the pink and orange sky. Below them, the unique landscape of Cappadocia unfolds, with its distinctive "fairy chimneys" — tall, cone-shaped rock formations scattered across the valley. The rising sun casts long shadows across the terrain, highlighting the otherworldly topography.
• 부정 프롬프트 : worst quality, inconsistent motion, blurry, jittery, distorted, watermarks

 

---

 

생성된 영상에서 보이는 디테일은 일부 어색한 부분이 있을 수 있지만, 전체적인 퀄리티는 기대 이상입니다. 특히 배경은 매우 정교하게 표현되었고, 카메라의 자연스러운 움직임은 실제 촬영과 비슷한 수준을 보여줍니다. 무엇보다도 놀라웠던 점은 높은 컴퓨팅 스펙이 필요하지 않음에도 이 모델이 원활히 작동한다는 점입니다.

 

LTX-Video AI는 단순히 기술적인 도구를 넘어 누구나 창의적인 비디오를 쉽게 제작할 수 있도록 돕는 강력한 도구입니다. 텍스트나 이미지를 기반으로 영상을 제작해 보고 싶으신 분이라면, 이 모델을 꼭 한 번 체험해 보시길 추천드립니다. 앞으로도 이런 혁신적인 기술이 더 많은 가능성을 열어주기를 기대하며, 이번 포스팅을 마치겠습니다.

 

 

감사합니다. 😊