AI 용어 (5) 썸네일형 리스트형 LLM의 경량화와 성능 개선 방법에 대해 알아보자. 안녕하세요. 요즘 출시되는 LLM(거대 언어 모델)들의 성능(추론 능력, 신뢰성, 언어 능력 등)이 점점 더 높아지고 있습니다. 성능이 높아질수록 LLM의 크기도 커지게 됩니다. 현재 발표된 모델 중 가장 큰 모델로 알려진 MT-NLG(Megatron-Turing NLG 530B, MS & NVIDIA)의 경우, 파라미터 수가 5300억 개로 알려져 있습니다. 이는 해당 모델이 차지하는 용량이 1TB는 가볍게 넘어설 것으로 보입니다. 이번 포스팅에서는 이러한 LLM을 경량화하는 방법과 효율적으로 작동하도록 하는 기법들에 대해 알아보겠습니다. SummaryLLM 경량화 방법LLM 성능 개선 방법1) 지식 증류 (Knowledge Distillation)1) FlashAttention22) 양자화 (Qua.. LLM 성능 평가에 대해서 알아보자. 오픈AI의 ChatGPT를 시작으로 많은 LLM(거대언어모델)들이 등장하고 발전하고 있습니다. 초기에는 자체 평가를 통해 성능을 입증하고, 종종 GPT와 비교하여 성능이 높은지 낮은지 평가되었습니다. 그러나 객관적인 평가가 필요해지면서, 더 정확하고 세분화된 평가 방법이 도입되었습니다. 바로 특정 벤치마크나 데이터셋을 활용하는 방법입니다. 모델은 이러한 벤치마크나 데이터셋을 통해 출력된 값을 바탕으로 정확도와 성능이 평가됩니다. 오늘은 LLM을 평가하기 위해 사용되는 대표적인 벤치마크, 데이터셋에 대해 알아보겠습니다. 1. 벤치마크 / 데이터셋이란 벤치마크(Benchmark) 혹은 데이터셋(dataset)은 컴퓨터 과학 및 인공지능 연구에서 특정 시스템, 알고리즘, 모델의 성능을 평가하고 비교하기 위해.. 서버와 통신에 사용되는 FastAPI / RemoteRunnable에 대해 알아보자. 현대의 웹 애플리케이션 개발에서는 백엔드와 프론트엔드의 명확한 역할 분리가 매우 중요합니다. 특히, 복잡한 연산 작업을 효율적으로 처리하고자 할 때 이러한 분리는 필수적입니다. FastAPI와 RemoteRunnable은 이러한 요구를 충족시키는 데 매우 유용한 도구입니다. 특히 LangChain을 활용하여 서버를 만들 때 RemoteRunnable의 중요성은 더욱 높아집니다. FastAPI와 RemoteRunnable을 결합하면, 대규모 데이터 처리와 복잡한 모델 실행 작업을 보다 효율적이고 체계적으로 처리할 수 있습니다. 이 글에서는 FastAPI와 RemoteRunnable을 중심으로, 이들이 어떻게 상호작용하며 고성능의 유연한 웹 애플리케이션을 구축할 수 있는지에 대해 다루겠습니다. FastA.. AI 학습을 위한 기본 용어에 대해 알아보자 LLM (Large Language Model) 'LLM'은 '거대 언어 모델'을 의미하며, 대규모 데이터셋을 사용해 학습된 자연어 처리(NLP) 작업을 수행할 수 있는 고급 AI 모델입니다. 이러한 모델은 복잡한 언어 이해 및 생성 작업에 사용되며, 대표적인 예로는 OpenAI의 ChatGPT-4o, X(구 트위터)의 Grok, Google의 Gemini 1.5 모델 등이 있습니다. SLM (Small Language Model) 'SLM'은 '소형 언어 모델'을 의미하며, 제한된 리소스를 활용하여 효율적으로 작동하는 언어 모델을 지칭합니다. 이 모델들은 작은 규모의 데이터셋으로 훈련되어 비용 효율적인 작업 수행이 가능하며, Google의 Gemma 모델, upstage의 Solar 모델, Meta.. Fine-tuning과 RAG에 대해 알아보자. 최근 인공지능(AI) 기술의 발전과 함께 언어 모델의 성능을 극대화하는 방법에 대한 관심이 높아지고 있습니다. 특히, 대형언어모델(LLM)을 특정 작업에 최적화하여 더욱 효과적으로 활용하고자 하는 연구와 개발이 활발히 이루어지고 있습니다. 이 글에서는 두 가지 주요 기법인 'Fine-tuning'과 'Retrieval-Augmented Generation (RAG)'을 소개하며, 이러한 방법들이 어떻게 LLM의 성능을 향상시킬 수 있는지 탐구해 보고자 합니다. LLM을 더 똑똑하게 만드는 방법, 미세조정 방법 1) Fine-tuning Fine-tuning은 사전 학습된 기존 언어 모델에 추가로 외부 데이터를 더 학습시키는 방법입니다. 기존 모델의 대부분의 파라미터를 유지하면서 특정 부분의 가중치만.. 이전 1 다음
