[영상 생성 AI] [로컬 환경] 오픈 소스 ToonCrafter를 소개합니다.

안녕하세요

 

디지털 시대에 우리는 점점 더 많은 시간을 온라인에서 보내며, 영상 콘텐츠의 중요성은 날로 커지고 있습니다. 특히, 만화와 애니메이션 팬들에게는 자신만의 독창적인 영상을 만드는 것이 큰 꿈일 것입니다. 이러한 꿈을 실현시켜 줄 수 있는 도구가 있습니다. 바로 ToonCrafter입니다. ToonCrafter는 두 장의 이미지를 입력하면 그 두 장의 이미지를 처음과 끝으로 하는 자연스러운 전환 영상을 생성해주는 오픈 소스 AI 모델입니다. 이 도구는 만화 이미지를 생성하고 중간 이미지를 인터폴레이션하는 연구 프로젝트로, 사용자가 손쉽게 고품질의 애니메이션을 만들 수 있도록 도와줍니다. 이 포스팅에서는 로컬환경에서 ToonCrafter를 설치하는 방법과 실행 방법에 대해 자세히 알아보겠습니다.

 

---

반응형

 

1. ToonCrafter 란?

 ToonCrafter는 두 장의 이미지를 입력하면 그 두 장의 이미지를 처음과 끝으로 하는 영상을 생성해주는 오픈 소스 AI 모델입니다. ToonCrafter는 만화 이미지를 생성하고 인터폴레이션(중간 이미지 생성)하는 연구 프로젝트입니다. 사전 학습된 이미지-비디오 확산 모델을 사용하여 두 만화 이미지 간의 자연스러운 전환을 생성합니다. 

 

출처: ToonCrafter Github (클릭시 ToonCrafter Github로 이동)

 

ToonCrafter 공식 사이트 : https://doubiiu.github.io/projects/ToonCrafter/

ToonCrafter Github : https://github.com/ToonCrafter/ToonCrafter

 

 

2. 주요 기능

• 만화 스케치 인터폴레이션: 두 입력 이미지 프레임에서 동영상을 생성.
• 스케치 가이드: 추가 스케치 입력을 사용하여 인터폴레이션을 안내.
• 스케치 채색: 참고 이미지를 기반으로 스케치 채색.

 

 

3. 실행환경

• 운영체제: Windows 11 (64-bit)
• Python: 3.8.10
• Conda: 24.5.0
• GPU: NVIDIA GeForce RTX 4060 Ti

 

 

4. ToonCrafter 설치

1) 소스 파일 다운로드

ToonCrafter는 아래 깃허브에서 오픈 소스로 제공됩니다.

• ToonCrafter 깃허브 : https://github.com/ToonCrafter/ToonCrafter

 

ToonCrafter 깃허브에 접속하여 모든 파일을 압축 파일로 다운받습니다. (아래 이미지 참조)

압축을 풀고 내려받은 폴더의 이름을 "ToonCrafter"로 지정합니다. (폴더명은 임의로 작성하셔도 됩니다.)

출처: ToonCrafter 깃허브

 

2) 가상 환경 구축 (Conda 활용)

Conda를 활용하여 가상환경을 만들고 실행하겠습니다. 아래 명령어를 통해 conda 가상 환경 생성 및 실행시켜 줍니다. 가상환경이 활성화되면 커맨드 왼쪽 "(가상환경 이름)" 형태로 나타나게 됩니다.

# Windows PowerShell
conda create -n tooncrafter_conda python=3.8.10
conda activate tooncrafter_conda

 

만약 Conda 설치가 필요하신분들은 아래 포스팅을 참고하여 Conda를 설치해주시기 바랍니다.

[Marcus' Story] - 내 컴퓨터에 가상 환경을 만들어주는 Conda, 기초 내용 정리

내 컴퓨터에 가상 환경을 만들어주는 Conda, 기초 내용 정리

 

아래 이미지는 Conda 가상환경 생성 및 실행 명령어가 정상적으로 실행된 결과의 예시입니다.

Conda 가상환경 생성

Conda 가상환경 실행

 

예시 이미지에서 사용한 Conda 명령어는 특정 디렉터리에 Conda 환경을 설치하는 명령어입니다. 세 번째 이미지는 Conda 환경을 활성화한 모습입니다. 환경이 제대로 활성화되면 커맨드 왼쪽에 "(가상환경 이름)" 형태가 나타납니다.

 

3) 패키지 설치

이제 ToonCrafter를 실행하기 위해 필요한 파일들을 설치해줍니다. Windows PowerShell 디렉토리를 ToonCrafter 폴더 (깃허브에서 다운받은 소스 파일)로 이동시켜줍니다.

# Windows PowerShell
cd G:/ToonCrafter

 

아래 이미지는 위 명령어를 통해 C:Users 폴더 → G:ToonCrafter 폴더로 이동한 결과입니다.

디렉토리 변경

 

디렉토리 변경을 완료되면 아래 명령어를 실행해줍니다.

# Windows PowerShell
pip install -r requirements.txt

 

아래 이미지는 위 명령어를 입력하고 정상적으로 실행된 결과의 예시입니다. 설치가 완료되면 성공적으로 설치됐다는 말과 함께 어떤 파일들이 설치되었는지 나타내줍니다. 그리고 커맨드 입력창이 다시 활성화됩니다.

필요 패키지 설치

 

4) 사전 학습 모델 다운

마지막으로 ToonCrafter를 실행하기 위한 사전 학습된 모델들을 다운받아 줍니다. 해당 모델은 ToonCrafter HuggignFace에서 다운받을 수 있습니다.

• ToonCrafter 허깅페이스 : https://huggingface.co/Doubiiu/ToonCrafter/blob/main/model.ckpt

사전 학습 모델 파일은 "ToonCrafter > checkpoints > tooncrafter_512_interp_v1 폴더"에 저장합니다. 이러한 사전 학습 모델 파일은 아래와 같은 형태로 구성되어야 합니다.

/ToonCrafter/
|-- checkpoints
|   |-- tooncrafter_512_interp_v1
|   |   |-- model 파일

 

여기까지 진행하셨다면 ToonCrafter 모델 설치가 완료됐습니다.

 

 

5. ToonCrafter 실행

아래 명령어를 통해 ToonCrafter를 실행해줍니다.

# Windows PowerShell
python gradio_app.py

 

 

triton 모듈이 없다는 메세지가 뜨긴 했으나, ToonCrafter는 정상적으로 실행되었습니다.

ToonCrafter Github에서 제공하는 이미지 두 장을 사용하여 영상으로 만들어보겠습니다.

이미지 2장 입력 후 영상 생성 및 결과

ToonCrafter로 생성한 영상

 

ToonCrafter로 생성된 영상은 굉장히 자연스럽게 만들어졌습니다. 영상 하나를 만드는데 약 5분 정도의 시간이 소요됩니다. ToonCrafter에 프롬프트를 입력하여 사용자가 원하는 영상을 더욱 세밀하게 만들 수 있습니다.

 

간편한 인터페이스 덕분에 누구나 쉽게 이용할 수 있습니다. 한번 사용해보시길 권장합니다.

 

---

728x90

 

ToonCrafter는 만화와 애니메이션 제작에 새로운 가능성을 열어주는 혁신적인 도구입니다. 간단한 설치와 사용 방법만으로도 누구나 쉽게 자신만의 애니메이션을 만들 수 있습니다. ToonCrafter의 강력한 AI 기술을 통해 두 이미지 간의 자연스러운 전환을 경험하며, 창의적인 아이디어를 실현해 보세요. 디지털 콘텐츠 제작에 관심 있는 모든 이들에게 ToonCrafter는 강력한 동반자가 될 것입니다. 지금 바로 설치해보고, 당신만의 독특한 영상을 만들어 보세요!

 

설치 없이 사이트에서 바로 시도해보고 싶으신 분들은 아래 URL에서 회원가입 후 이용해 보실 수 있습니다.

 

ToonCrafter 사이트 : https://tooncrafter.net/ko/create

ToonCrafter AI: 사진을 만화로 변환하기