Google의 AI모델, Gemma

 구글은 2024년 2월 21일, 무료 AI 모델 Gemma(젬마)에 대해 발표하였습니다. Gemma는 오픈 AI모델로, 이 모델을 통해 개인화 된 AI를 만들 수 있게 되었습니다.

구글의 최첨단 오픈 모델 '젬마(Gemma)'를 공개합니다.

 

Gemma 모델은 현재 구글의 가장 유용하고 규모가 큰 AI모델 Gemini의 기술 및 인프라를 기반으로 구축된 최첨단 경량 오픈 모델입니다.

 

그래서 이번에 젬마 모델은 동급 규모의 다른 오픈 모델들과 비교했을때 최고의 성능을 보여줍니다. Gemma 모델은 인터넷 연결없이 개발자의 노트북이나 데스크톱 컴퓨터에서 바로 실행될 수 있고, 구글이 추구하는 사용기준에 적합하도록 AI모델의 답변을 제한하는 기능이 추가되었으며, 주요 벤치마크에서 더 큰 규모의 타 모델보다 뛰어난 성능을 보여주었습니다.

 

AI모델 성과 비교

 

Gemma의 특징

• 두 가지 공개 모델 젬마 2B, 젬마 7B 제공 - 두 유형 모두 각각 사전 훈련(pre-trained) 및 지시 조정(instruction-tuned)된 변형(variants)과 함께 제공됩니다.
• AI 툴킷(AI Toolkit) 제공 - Responsible Generative AI Toolkit은 젬마를 활용하여 AI 애플리케이션 제작을 도와주는 가이드와 필수 도구를 제공합니다.
• 추론 및 지도학습을 위한 툴체인 제공 - 네이티브 케라스(Keras) 3.0을 통해 JAX, PyTorch, TensorFlow와 같은 주요 프레임워크에서 추론 및 지도 학습(supervised fine-tuning,SFT)을 위한 툴체인을 제공합니다.
• 접근성 용의 - 코랩(Colab), 캐글 노트북(Kaggle notebooks), 허깅 페이스(Hugging Face), 맥스텍스트(MaxText), 엔비디아 네모(NVIDIA NeMo)와 같은 범용적인 툴들과 함께 통합 제공
• 개인화된 AI모델 제공 - 사전 훈련 및 지시 조정된 젬마 모델은 노트북, 업무용 컴퓨터 또는 구글 클라우드에서도 이용 가능하며, 버텍스 AI(Vertex AI), 구글 쿠버네티스 엔진(Google Kubernetes Engine, GKE)을 이용해 쉽게 설치할 수 있습니다.
• 최적화된 성능 - 다양한 AI 하드웨어 플랫폼 전반을 아우르며 최적화되어 있는 젬마는 엔비디아 GPU와 구글 클라우드 TPU 등을 포함해 업계를 선도하는 성능을 보장합니다.
• 상업적 사용 및 배포를 허용 - 이용 약관을 통해 모든 규모의 기업에 책임 있는 상업적 사용 및 배포를 허용합니다.

Gemma 입력 토큰 수

 Gemma는 경량화 된 모델임에도 불구하고 한 번에 처리 가능한 최대 토큰 수가 256,000개라고 합니다. Gemini 1.5에 비해 입력 토큰 수가 크게 줄었으나, 그럼에도 불구하고 ChatGPT-4에 비해 2배나 되는 정보를 처리할 수 있습니다.

AI모델	최대 입력 토큰 수
Gemini 1.5	1,000,000개
Gemma	256,000개
ChatGPT-4	128,000개

 

Gemma 모델 안전성

 구글 콘텐츠 안전 정책으로 온라인 플랫폼에서 허용되지 않는 유해한 콘텐츠 유형들에 대해 제한됩니다. 따라서  Gemma모델에는 필터링기능이 추가되었습니다. 이 기능을 통해 원치 않거나 안전하지 않은 발언의 위험을 줄이고 민감한 개인정보 및 불법 콘텐츠(피싱 사기, 스팸 등)에 대해 학습 세트에서 자동으로 필터링되도록 설계되었습니다.

그리고 RLHF를 통해 추가적으로 모델에 대한 위험성을 낮췄습니다. Gemma모델의 위험성에 대해 인간이 직접 확인 및 테스트를 수행하여 다양하고 엄격한 평가를 진행했습니다.

RLHF (인간 피드백을 통한 강화 학습)
 - 인간의 피드백을 사용하여 AI 모델을 최적화함으로써, '보상 모델'을 학습하는 기계 학습(ML) 기법입니다.

---

 

LLaMA 모델(X에서 공개한 오픈소스 AI 모델)이 상업적 허용 및 무료 공개된 후, 구글에서도 오픈소스를 배포해주었습니다. Gemma 모델은 현재 오픈소스 AI 모델 중 가장 성능이 좋은 모델이라고 생각됩니다. 또한 구글에서 해당 AI모델에 대한 상업적 사용을 허락해서 Gemma 모델을 활용한 다양한 기능들이 개발되리라 생각됩니다.

 

 

출처

1) 구글코리아, 젬마 소개글 - 구글의 최첨단 오픈 모델 ‘젬마(Gemma)’를 공개합니다 (blog.google)

2) Gemma 기술보고서 - gemma-report.pdf (storage.googleapis.com)