국내 기업 카카오의 오픈 소스 AI 모델, Kanana를 소개합니다.

안녕하세요,

최근 인공지능 기술이 급격히 발전하면서 다양한 LLM(Large Language Model)이 등장하고 있습니다. 그중에서도 국내 IT 기업인 카카오는 자사가 개발한 AI 모델을 오픈 소스로 공개하였습니다. 한국 기업에서 개발한 만큼, 특히 한국어 처리 성능이 다른 모델에 비해 높을 것으로 기대됩니다. 이번 블로그에서는 Kanana 모델이 무엇인지, 어떤 특징을 가지고 있는지, 그리고 실제로 어떻게 활용할 수 있는지 자세히 살펴보겠습니다. Kanana 모델이 국내 AI 생태계에 어떤 영향을 미칠지 함께 알아보겠습니다.

---

반응형

Kanana

Kanana는 카카오가 개발한 이중 언어 AI 모델 시리즈로, 한국어에서 뛰어난 성능을 보이며 영어에서도 경쟁력 있는 결과를 제공합니다. 특히, 유사한 규모의 최신 모델들과 비교했을 때 연산 비용이 낮으면서도 높은 성능을 유지하는 것이 강점입니다. Kanana 모델은 2.1B(21억)부터 32.5B(325억)개의 파라미터를 가진 다양한 크기의 모델로 구성되어 있으며, 연구 및 실용적 활용을 위해 2.1B 크기의 모델(Base, Instruct, Embedding, Function Call, RAG)이 오픈 소스로 공개되었습니다. 이를 통해 한국어 기반의 AI 연구를 더욱 활성화하는 것을 목표로 합니다.

 

• Kanana 소개 페이지 : https://www.kakaocorp.com/page/detail/11481

카카오의 언어모델, Kanana 테크니컬 리포트 공개

 

 

주요 특징

1. 고성능 및 효율적인 연산 구조
   - 한국어에서 우수한 성능, 영어에서도 경쟁력 있는 성능 제공
   - 연산 비용 절감: 유사 사이즈의 모델 대비 50% 이상 비용을 절감
   
   
2. 사전 훈련(Pre-training) 기술 적용
   - 고품질 데이터 필터링: 정제된 데이터를 활용하여 언어 이해력 향상
   - 단계별 사전 훈련(Staged Pre-training): 점진적인 최적화로 성능 개선
   - 깊이 확장(Depth Up-scaling): 모델의 표현력 강화
   - 가지치기 및 증류(Pruning & Distillation): 모델 경량화 및 성능 유지
   
   
3. 다양한 활용 가능성
   - 임베딩(Embedding): 텍스트 검색 및 추천 시스템에서 활용 가능

 

 

성능 비교

Kanana 32.5B 모델은 카카오가 개발한 대형 언어 모델로, 특히 한국어 대화 및 지식 기반 평가에서 탁월한 성능을 보입니다. 한국어 중심으로 최적화된 모델이지만, 영어 대화 및 일반 지식 평가에서도 경쟁력 있는 결과를 제공합니다. 또한, 연산 비용을 절감하면서도 높은 성능을 유지하는 최적화된 구조를 갖추고 있어 실용적인 활용이 가능합니다.

 

Kanana 32.5B 모델은 LogicKor(9.524), KoMT-Bench(8.058) 등 한국어 대화 성능에서 최상위 점수를 기록하며, KMMLU(64.19) 평가에서도 가장 높은 성능을 보여줍니다. 또한, 코드 생성 및 기초 수학 문제 해결에서도 준수한 성능을 발휘하여 다양한 AI 활용 가능성을 제공합니다.

출처: 카카오 Kanana 테크니컬 리포트

 

라이선스

Kanana 모델은 현재 CC-BY-NC-4.0 라이선스를 따르며, 비영리 목적이라면 누구나 자유롭게 사용할 수 있습니다. 그러나 상업적 용도로의 활용은 엄격히 제한되므로, 기업이나 유료 서비스에서 사용하려면 별도의 허가가 필요합니다. 이를 준수하지 않을 경우, 저작권 위반으로 법적 조치가 취해질 수 있으므로 사용 목적을 반드시 확인하고 적절하게 적용하는 것이 중요합니다.

 

 

목차
1. 실행 환경
2. Kanana 설치
3. kanana-nano-2.1b-instruct 모델 실행

---

1. 실행 환경

• 운영체제 : Windows 11
• Python : 3.10.14
• torch : 2.3.1 + cu121
• transformers : 4.45.2 (4.45.0 이상)
• GPU : NVIDIA GeForce RTX 4060 Ti

 

 

2. Kanana 설치

Kanana 모델은 현재 카카오의 허깅페이스 페이지에서 다운로드할 수 있으며, 총 3가지 버전이 공개되었습니다. 이번 포스팅에서는 그 중 "kanana-nano-2.1b-instruct" 모델을 활용하였습니다.

 

 

1) Kanana 모델 다운로드

아래 링크에서 제공되는 파일을 모두 다운로드해주세요.

• 카카오 허깅페이스: https://huggingface.co/kakaocorp/kanana-nano-2.1b-instruct/tree/main

출처: 카카오 허깅페이스

 

2) 필수 패키지 설치

kanana 모델을 실행하기 위해 필요한 패키지를 아래 명령어를 통해 설치해줍니다.

# Windows PowerShell
pip install torch
pip install transformers>=4.45.0

 

 

3) 실행 코드 작성

Python 언어로 아래 코드를 작성합니다.

# Python
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "E:/ai_model/kanana/kanana-nano-2.1b-instruct" # 허깅페이스에 다운받은 파일 경로

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    trust_remote_code=True,
).to("cuda")
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "한국의 수도에 대해 외국인 관광객에게 설명하듯 설명해줘." # AI에게 질문할 내용 작성
messages = [
    {"role": "system", "content": "You are a helpful AI assistant developed by Kakao."},
    {"role": "user", "content": prompt}
]

input_ids = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_tensors="pt"
).to("cuda")

_ = model.eval()
with torch.no_grad():
    output = model.generate(
        input_ids,
        max_new_tokens=1000,  # AI 답변 길이
        do_sample=False,
    )

print(tokenizer.decode(output[0], skip_special_tokens=True))

 

 

3. kanana-nano-2.1b-instruct 모델 실행

앞서 작성한 Python 코드를 실행하여 허깅페이스에 다운받은 kanana-nano-2.1b-instruct 모델을 활용합니다. 실행 과정에서는 이전에 작성한 프롬프트를 그대로 사용하며, 모델의 응답을 확인합니다. 또한, 코드를 실행하기 전에 "model_name"에 지정된 값이 사용자 환경에 맞게 설정되었는지 반드시 확인해야 합니다. 해당 값은 카카오 허깅페이스에서 받은 파일 경로로 수정해야 정상적으로 실행할 수 있습니다.

 

• 사용 프롬프트 : "한국의 수도에 대해 외국인 관광객에게 설명하듯 설명해줘."

 

(실행 결과)

(클릭 시 이미지 확대)

 

위 이미지는 kanana-nano-2.1b-instruct 모델을 실행한 결과입니다. 모델 자체의 크기가 작기 때문인지 실행 시 약 5GB의 VRAM만 사용되었으며, 답변 생성 속도도 매우 빠르게 진행되었습니다. 특히, Kanana 모델이 온디바이스 환경을 목표로 개발된 점을 고려했을 때, 최적화가 잘 이루어진 모델이라는 인상을 받았습니다. 상대적으로 적은 컴퓨팅 자원으로도 빠르고 정확한 응답을 제공한다는 점이 인상적입니다.

 

Kanana 모델은 경량화된 구조에도 불구하고 높은 성능을 유지하고 있어, 다양한 환경에서 실용적으로 활용될 가능성이 큽니다. 특히, 로컬 환경이나 엣지 디바이스에서도 원활하게 동작할 수 있도록 설계된 점이 돋보이며, 이는 고사양 GPU가 없는 사용자들도 보다 쉽게 AI 모델을 활용할 수 있도록 돕습니다. 실제로 테스트 과정에서도 짧은 지연 시간과 자연스러운 응답 생성이 확인되었으며, 일반적인 질의응답뿐만 아니라 보다 복잡한 설명이나 한국어 기반의 고급 질의에서도 안정적인 결과를 제공했습니다. 앞으로 추가적인 튜닝 및 최적화를 통해 보다 다양한 환경에서 활용될 가능성이 높은 모델이며, 온디바이스 AI의 새로운 기준을 제시할 것으로 기대됩니다.

---

 

이번 포스팅에서는 Kanana모델을 실행하고 테스트한 결과를 살펴보았습니다. Kanana 모델은 경량화된 구조에도 불구하고 높은 성능을 유지하며, 적은 연산 자원으로도 빠르고 정확한 응답을 생성하는 점이 인상적이었습니다. 특히, 온디바이스 AI 환경을 고려한 최적화된 설계 덕분에 로컬 환경에서도 부담 없이 활용할 수 있다는 점이 강점으로 다가왔습니다.

 

Kanana 모델을 직접 사용해 보고 싶은 분들은 카카오의 허깅페이스 페이지에서 다운로드하여 테스트해 보시길 추천드립니다. 설치 및 실행 과정이 비교적 간단하여, 큰 어려움 없이 직접 활용해 볼 수 있습니다.

 

 

감사합니다.😊