[오픈 소스 AI] [로컬 환경] 알리바바 클라우드에서 공개한 AI, Qwen 2.5를 소개합니다.

안녕하세요,

AI 기술은 미국뿐만 아니라 세계 곳곳에서 혁신적인 발전을 이루고 있습니다. AI 기술은 의료, 금융, 교육 등 다양한 산업 분야에서 기존의 한계를 넘어 새로운 가능성을 제시하고 있습니다. 특히 최근 중국에서 발표된 동영상 생성 AI인 KLING AI는 매우 사실적이고 자연스러운 동영상 생성 능력으로 많은 사람들을 놀라게 했습니다. 이번에는 알리바바 클라우드에서 발표한 AI 모델인 Qwen 2.5 모델이 큰 주목을 받고 있습니다. Qwen 2.5는 자연어 처리, 코드 작성 등 다양한 작업에서 놀라운 성능을 보여주는 대형 언어 모델로, 이번 포스팅에서는 이 모델의 기능과 특징에 대해 자세히 알아보도록 하겠습니다.

 

---

반응형

Qwen 2.5란

Qwen 2.5는 알리바바 클라우드의 최신 대형 언어 모델로, 여러 크기의 모델을 제공하여 다양한 사용자의 요구를 충족시킵니다. 이 모델은 자연어 처리, 코딩, 수학 등 여러 분야에서 탁월한 성능을 보여주며, 특히 Qwen 2.5-Coder와 Qwen 2.5-Math 같은 특화 모델도 함께 출시되어 특정 작업에서 더욱 효율적인 성능을 발휘합니다. 이 모델들은 18조 개의 토큰을 학습해 높은 언어 이해력을 지니고 있으며, 복잡한 작업과 다양한 언어를 효율적으로 처리할 수 있도록 설계되었습니다.

 

Qwen 2.5는 0.5B에서 72B에 이르는 다양한 크기의 모델을 제공하여 사용자가 필요에 따라 선택할 수 있습니다. 이 모델은 자연어 처리와 생성에서 뛰어난 성능을 발휘하며, 최대 128K의 긴 컨텍스트를 지원해 긴 문장이나 문서도 무리 없이 처리할 수 있습니다. 또한, 29개 이상의 언어를 지원함으로써 다국어 응용에서도 강점을 지니고 있어 글로벌 사용자에게 큰 도움이 됩니다. 이 외에도 코딩, 수학 등 특정 분야에 특화된 모델들을 통해 다양한 활용이 가능하며, 여러 응용 분야에서 혁신적인 가능성을 제시하고 있습니다.

 

• Qwen 2.5 소개글 : https://qwenlm.github.io/blog/qwen2.5/
• Qwen 2.5 깃허브 : https://github.com/QwenLM/Qwen2.5

 

 

Qwen2.5-Coder

Qwen2.5-coder는 Qwen2.5 모델을 기반으로 파인 튜닝된 모델입니다. 이 모델은 특히 코드 생성, 코드 완성, 코드 디버깅 등의 코딩 작업에 최적화되어 있으며, Qwen2.5의 자연어 처리 능력을 기반으로 하여 프로그래밍 관련 작업에서 더욱 뛰어난 성능을 발휘하도록 개선되었습니다. 이를 통해 다양한 프로그래밍 언어를 지원하며, 복잡한 코딩 작업을 보다 효율적으로 처리할 수 있습니다.

출처: Qwen 깃허브 (클릭 시 페이지 이동)

 

Qwen2.5-Coder 모델은 다양한 평가 지표에서 우수한 성능을 보여주고 있습니다. HumanEval, EvalPlus, 그리고 AI2CodeBench 등에서 Qwen2.5-Coder가 88.4, 72.6, 76.8을 기록하며 다른 모델들과 비교했을 때 특히 뛰어난 성능을 보였습니다. Qwen2.5-Coder는 MBPP와 같은 코딩 작업뿐 아니라, MultiPL-E와 McEval에서 다른 DeepSeek 모델들보다 좋은 성능을 나타내며, 특히 대규모 코드 베이스와 자연어-코드 변환 작업에서 탁월함을 입증했습니다.

 

이번 포스팅에서는 Ollama를 이용하여 Qwen2.5-coder 모델을 사용해보는 방법에 대해 알아보겠습니다. Ollama는 대규모 언어 모델을 로컬 컴퓨터에서 설정하고 실행할 수 있게 해주는 고급 AI 도구입니다. Ollama에 대해 더 알고 싶으신 분들은 아래 포스팅 글을 참고해주시기 바랍니다.

[Marcus' Story] - 로컬 언어 모델의 시작, Ollama를 소개합니다.

 

목차
1. 실행 환경
2. Qwen 2.5-Coder-1.5B-Instruct 모델 다운로드
3. Ollama 설치
4. Ollama-Qwen 모델 저장 및 등록
5. Qwen 2.5-Coder-1.5B-Instruct 모델 실행

 

---

1. 실행 환경

• 운영체제 : Windows 11
• ollama : 0.3.6
• Python : 3.11.9
• GPU : NVIDIA GeForce RTX 4060 Ti

 

 

2. Qwen 2.5-Coder-1.5B-Instruct 모델 다운로드

Qwen 2.5-1.5B-Instruct 모델은 약 15억 개의 파라미터를 가지고 있으며, 다양한 지침 학습을 거쳐 파인튜닝된 버전입니다. 현재 Ollama 라이브러리에서 Qwen 2.5 모델이 제공되지만, 이번에는 Qwen 2.5-Coder모델을 사용해보고자 합니다. 따라서 Qwen의 허깅페이스 페이지에서 수동으로 해당 모델을 다운로드합니다.

 

• Qwen2.5-Coder-1.5B-Instruct-GGUF 허깅페이스 : https://huggingface.co/Qwen/Qwen2.5-Coder-1.5B-Instruct-GGUF/tree/main

출처: Qwen 2.5 허깅페이스

 

 

3. Ollama 설치

Ollama는 아래 공식 페이지에서 다운로드하실 수 있습니다. 사용자의 운영체제에 맞는 버전을 선택하여 다운로드해 주세요.

• Ollama 공식 다운로드 : https://ollama.com/download

 

Ollama 다운로드 및 설치가 완료되면, 버전 확인을 통해 정상적으로 설치되었는지 확인할 수 있습니다.

 

 

4. Ollama-Qwen 모델 저장 및 등록

1) Modelfile 생성

Ollama에서 모델을 생성하고 실행하기 위해 Modelfile을 준비해야 합니다. 이 파일은 Ollama에서 사용할 수 있는 모델의 설정과 명령을 정의합니다. 모델 파일 작성 방법은 Ollama 문서에서 자세한 정보를 제공합니다.

• Ollama Model File 자료 - https://github.com/ollama/ollama/blob/main/docs/modelfile.md

모델 파일은 간단한 텍스트 에디터로 작성할 수 있으며, 파일 확장명을 삭제하여 'Modelfile'로 저장합니다.

1. 텍스트 문서(메모장) 만들기
2. Modelfile 내용 작성
3. 파일 저장
4. 파일명 확장자 삭제 후 저장

아래와 같이 확장자 명이 삭제된 상태로 저장되어야 합니다.

 

Modelfile 내용은 Ollama 문법을 참고하여 작성하였습니다. 아래 내용은 제가 만든 Modelfile의 예시입니다.

FROM qwen2.5-coder-1.5b-instruct-q8_0.gguf

TEMPLATE """{{ if .System }}
<|start_header_id|>{{ .System }}<|end_header_id|>
{{ end }}
<|start_header_id|>Human:
{{ .Prompt }}<|end_header_id|>
<s>Assistant:
"""

SYSTEM """
You are Qwen, created by Alibaba Cloud. You are a helpful assistant.
"""

PARAMETER stop "<|start_header_id|>"
PARAMETER stop "<|end_header_id|>"
PARAMETER stop "<|eot_id|>"
PARAMETER stop "<|reserved_special_token"

 

2) Ollama-Qwen 모델 저장 및 등록

Windows PowerShell을 실행하고, 아래 명령어를 통해 Qwen 모델을 Ollama에 등록 및 저장합니다.

# Windows PowerShell
ollama create [모델명] -f [경로/Modelfile]

[모델명] : 앞으로 사용할 모델의 이름으로, 원하는 이름을 작성하시면 됩니다.

[경로/Modelfile] : Modelfile이 저장된 경로를 입력하시면 됩니다.

 

아래 이미지는 정상적으로 Ollama에 Qwen 모델이 저장하고 확인한 결과입니다.

 

 

5. Qwen 2.5-Coder-1.5B-Instruct 모델 실행

아래 명령어를 통해 Qwne 모델을 실행해줍니다.

# Windows PowerShell
ollama run [모델명]

 

정상적으로 실행되면, 아래 이미지와 같이 "Send a message"라는 프롬프트 입력 구간이 생깁니다. 여기에 원하는 질문을 넣고 AI에게 답변을 받을 수 있습니다.

 

 

Qwen 2.5-Coder-1.5B-Instruct 모델은 코딩에 특화된 모델이기에 간단한 이차 방정식을 푸는 코드를 구성해달라고 질문했습니다.

 

거의 즉각적으로 답변을 생성해줬으나, 해당 답변이 정확하게 출력되지 않았습니다. 추가적으로 다른 질문도 해봤지만 어딘가에서 오류가 발생했는지 같은 답변을 계속해서 생성하기도 했습니다. 이는 가장 작은 모델을 사용했기 때문에 발생한 문제일 수 있으며, 또한 Modelfile에 입력된 코드의 정확도가 부족해서 발생한 문제일 가능성도 있습니다. 모델의 크기를 늘리거나 Modelfile의 설정을 개선함으로써 이러한 문제를 해결할 수 있을 것으로 보입니다.

 

---

 

이번 포스팅에서는 알리바바 클라우드의 Qwen 2.5 모델, 특히 Qwen 2.5-Coder-1.5B-Instruct 모델을 설치하고 실행하는 과정을 다뤄보았습니다. 설치 및 실행 과정에서 몇 가지 문제들이 발생했지만, 이를 통해 모델의 활용 가능성을 탐색하고 개선 방향을 모색할 수 있었습니다. 앞으로도 Qwen 모델을 다양한 방법으로 실험하고, 보다 효율적인 방법으로 활용하는 과정에서 새로운 가능성을 발견하게 될 것입니다. Qwen 2.5 모델의 잠재력을 최대한으로 끌어낼 수 있도록 지속적인 탐구와 실험이 필요합니다.

 

 

감사합니다. 😊