[오픈 소스 AI] 배경 없이 객체만 그려주는 AI, TransPixar를 소개합니다.

안녕하세요,

요즘 영상 생성 AI는 더 이상 낯선 기술이 아닙니다. 하지만 오늘 소개할 AI는 한층 진화된 기술력으로 주목받고 있습니다. 단순히 영상을 생성하는 데 그치지 않고, 투명한 배경 위에 객체만을 정교하게 만들어내어 활용도를 극대화할 수 있는 혁신적인 도구입니다. 이 AI는 영화 제작, 광고, 교육 콘텐츠 등 다양한 분야에서 새로운 가능성을 열어주며, 상상 속 아이디어를 현실로 구현하는 데 큰 도움을 줍니다. 이제, 이 놀라운 AI에 대해 자세히 소개해드리겠습니다.

---

반응형

TransPixar란

TransPixar는 Adobe와 홍콩과학기술대학교(HKUST)가 공동 개발한 혁신적인 AI 기반 비디오 생성 기술입니다. 텍스트 입력을 기반으로 투명한 배경을 포함한 RGBA(Red, Green, Blue, Alpha) 비디오를 생성하며, 시각 효과(VFX) 및 영상 제작 작업에 적합한 도구로 설계되었습니다.

 

• TransPixar 프로젝트 페이지 : https://wileewang.github.io/TransPixar/
• TransPixar 깃허 페이지 : https://github.com/wileewang/TransPixar

출처: TransPixar 프로젝트 페이지

 

TransPixar 모델은 현재 Huggingface Space에서 별도의 로컬 설치 없이 체험해볼 수 있습니다. 다만, 사용 횟수에 제한이 있어 많은 영상을 생성하기에는 어려움이 있습니다. 로컬 설치 없이 간단히 체험해보고자 하신다면, 아래의 TransPixar + CogVideoX-5B Huggingface Space를 이용해보시길 추천합니다.

• TransPixar + CogVideoX-5B Huggingface Space : https://huggingface.co/spaces/wileewang/TransPixar

 

 

주요 특징

1. 투명 배경 비디오 생성 : RGBA 형식으로 투명한 배경을 가진 고품질 비디오 제작.
2. 텍스트 기반 생성 : 텍스트 입력만으로 비디오 생성 가능.
3. 정교한 알파 채널 조정 : 투명도 세부 조정을 통해 자연스럽고 정밀한 비디오 제작.
4. VFX 작업 최적화 : 투명 배경 비디오를 활용해 시각 효과 및 편집 작업 간소화.
5. 확산 트랜스포머(DiT)와 LoRA 기반 기술 : RGB와 알파 채널을 동시에 일관성 있게 생성하며 품질 향상.

 

 

라이선스

TransPixar의 Adobe Research License는 비독점적이고 전 세계적으로 적용되며 로열티가 없는 취소 가능한 라이선스입니다. 이 라이선스는 사용자에게 연구 자료(Licensed Materials)를 비상업적 연구 목적으로만 복제, 사용, 수정 및 공개적으로 표시할 권한을 부여합니다. 또한, 수정된 자료나 파생 작업을 포함하여 이를 비상업적 연구 목적으로 재배포할 수 있습니다. 단, 재배포 시 본 라이선스 사본을 함께 제공해야 합니다.

 

 

필요 하드웨어

TransPixar를 실행하려면 고성능 하드웨어가 필수적입니다. 공식 문서나 라이선스 정보에 메모리 요구 사항이 명시되어 있지는 않지만, TransPixar는 CogVideoX-5B 모델을 기반으로 하며, 이 모델은 약 24GB의 VRAM을 필요로 합니다. 따라서, 시스템 RAM도 이에 상응하는 용량이 필요할 것으로 예상됩니다.

 

목차
1. 실행 환경
2. TransPixar 설치
3. TransPixar 실행

---

실행 환경

• 운영체제 : Windows 11
• Python : 3.10.0
• torch : 2.3.1 + cu121
• GPU : NVIDIA GeForce RTX 4060 Ti

 

 

TransPixar 설치

1) 깃허브 코드 다운로드

아래 TransPixar 깃허브 페이지에서 코드를 다운받습니다.

• TransPixar 깃허브 페이지 : https://github.com/wileewang/TransPixar

출처: TransPixar 깃허브 페이지

 

해당 코드를 다운로드 하셨으면 압축을 풀어줍니다.

 

2) 가상 환경 생성 (선택 사항)

아래 명령어를 사용하여 conda 가상 환경을 생성할 수 있습니다. conda가 설치되지 않았거나 설치를 원하지 않는 경우, 이 단계를 건너뛰어도 무방합니다.

# Windows PowerShell
conda create -n TransPixar python=3.10
conda activate TransPixar

 

3) 필수 패키지 다운로드

아래 명령어를 사용하여 필수 패키지를 설치합니다. 실행 전에 TransPixar 깃허브에서 다운로드한 파일의 폴더로 이동한 후 명령어를 실행해야 합니다.

# Windows PowerShell
cd E:\ai_model\TransPixar # 깃허브에서 다운받은 폴더 경로
pip install -r requirements.txt

 

4) 모델 다운로드 및 실행

아래 명령어를 사용하여 TransPixar를 실행시켜줍니다. 이 명령어를 실행하면 영상 생성에 필요한 모델들을 다운받게 됩니다.

# Windows PowerShell
python app.py

 

 

TransPixar 실행

위 명령어를 통해 모델 다운로드가 완료되면 TransPixar가 실행됩니다. 아래 이미지는 정상적으로 실행된 결과를 보여줍니다. 실행이 완료되면 Local URL이 출력되며, 해당 주소로 접속하면 TransPixar를 사용할 수 있습니다.

 

아래는 로컬 환경에서 TransPixar를 실행한 화면입니다. Prompt에 원하는 영상 내용을 입력하면 비디오를 생성할 수 있습니다. 실제로 실행해본 결과, 컴퓨팅 성능이 부족해 5분이 지나도 1 step조차 진행되지 않았습니다. 이로 보아, 원활한 실행을 위해 훨씬 더 높은 성능의 컴퓨팅 환경이 필요할 것으로 판단됩니다.

 

아래 영상은 Huggingface Space에서 생성한 영상입니다. 이때 사용한 프롬프트는 "Cola with ice"입니다.

TransPixar 생성 영상

 

간단한 프롬프트라 퀄리티 좋은 영상은 생성되지 않았으나, 주변 배경없이 콜라만 생성된 영상입니다.

 

---

 

TransPixar는 혁신적인 기능을 통해 텍스트를 기반으로 고품질 RGBA 비디오를 생성할 수 있는 도구로, 다양한 창작 및 편집 작업에 새로운 가능성을 열어줍니다. 하지만 높은 컴퓨팅 성능을 요구하므로 로컬 환경에서 원활히 실행하려면 강력한 하드웨어가 필요합니다. 이러한 한계를 극복하기 위해, 충분한 자원을 갖춘 환경에서 사용해야할 것으로 보입니다. 앞으로 TransPixar와 같은 모델들이 더욱 발전하고, 다양한 환경에서 손쉽게 활용될 수 있을 뿐만 아니라 오픈 소스로 공개되어 더 많은 사람들이 이를 활용할 수 있기를 기대합니다.

 

 

감사합니다. 😊