전체 글 (185) 썸네일형 리스트형 LLM의 경량화와 성능 개선 방법에 대해 알아보자. 안녕하세요. 요즘 출시되는 LLM(거대 언어 모델)들의 성능(추론 능력, 신뢰성, 언어 능력 등)이 점점 더 높아지고 있습니다. 성능이 높아질수록 LLM의 크기도 커지게 됩니다. 현재 발표된 모델 중 가장 큰 모델로 알려진 MT-NLG(Megatron-Turing NLG 530B, MS & NVIDIA)의 경우, 파라미터 수가 5300억 개로 알려져 있습니다. 이는 해당 모델이 차지하는 용량이 1TB는 가볍게 넘어설 것으로 보입니다. 이번 포스팅에서는 이러한 LLM을 경량화하는 방법과 효율적으로 작동하도록 하는 기법들에 대해 알아보겠습니다. SummaryLLM 경량화 방법LLM 성능 개선 방법1) 지식 증류 (Knowledge Distillation)1) FlashAttention22) 양자화 (Qua.. 오픈소스 EEVE 모델 로컬환경에서 실행하기 3탄 (RemoteRunnable / Streamlit) 안녕하세요.지난 포스팅에서 오픈소스를 활용하여 서버에서 작동하는 EEVE 모델을 만들었습니다. 이번에는 RemoteRunnable과 Streamlit을 사용하여 프론트엔드 코드를 구성하고, 로컬 서버에서 EEVE 모델이 작동하는 형태로 만들어보겠습니다. EEVE 모델을 활용하여 로컬 서버로 백엔드를 구성하는 작업에 대해 궁금하신 분들은 아래 링크를 통해 확인하실 수 있습니다.[Marcus' Stroy] - 오픈소스 EEVE 모델 로컬환경에서 실행하기 1탄[Marcus' Story] - 오픈소스 EEVE 모델 로컬환경에서 실행하기 2탄 (LangChain / LangServe / ngrok) 1. RemoteRunnable / Streamlit RemoteRunnable과 Streamlit은 각각 원격 .. LLM 성능 평가에 대해서 알아보자. 오픈AI의 ChatGPT를 시작으로 많은 LLM(거대언어모델)들이 등장하고 발전하고 있습니다. 초기에는 자체 평가를 통해 성능을 입증하고, 종종 GPT와 비교하여 성능이 높은지 낮은지 평가되었습니다. 그러나 객관적인 평가가 필요해지면서, 더 정확하고 세분화된 평가 방법이 도입되었습니다. 바로 특정 벤치마크나 데이터셋을 활용하는 방법입니다. 모델은 이러한 벤치마크나 데이터셋을 통해 출력된 값을 바탕으로 정확도와 성능이 평가됩니다. 오늘은 LLM을 평가하기 위해 사용되는 대표적인 벤치마크, 데이터셋에 대해 알아보겠습니다. 1. 벤치마크 / 데이터셋이란 벤치마크(Benchmark) 혹은 데이터셋(dataset)은 컴퓨터 과학 및 인공지능 연구에서 특정 시스템, 알고리즘, 모델의 성능을 평가하고 비교하기 위해.. 5월 넷째주, 주요 AI 소식에 대해 알려드립니다. 어느덧 벌써 5월 넷째주입니다. 최근 AI기술이 급속도로 발전하면서, 다양한 산업 분야에서의 활용도가 높아지고 있습니다. 특히, 오픈AI, 구글, 아마존, 마이크로소프트 등 빅테크 기업들이 AI 기술을 접목한 혁신적인 제품과 서비스를 선보이며 주목받고 있습니다. 그러나 이와 함께 AI 기술의 한계와 윤리적 문제도 동시에 부각되고 있습니다. 이번 글에서는 AI 기술의 최신 동향과 주요 이슈를 살펴보고, 이러한 기술들이 우리 일상에 미치는 영향을 분석하고자 합니다. 그럼 마지막주 주요 AI 소식에 대해 알려드리겠습니다. IT기업 관련 AI소식OpenAI, GPT-4o 목소리 논란구글과 메타, 요한슨 사태로 울상구글 AI, 거짓말로 불신 증가마이크로소프트(MS) PC전용 AI 기술, 'Recall' 공개아마.. 서버와 통신에 사용되는 FastAPI / RemoteRunnable에 대해 알아보자. 현대의 웹 애플리케이션 개발에서는 백엔드와 프론트엔드의 명확한 역할 분리가 매우 중요합니다. 특히, 복잡한 연산 작업을 효율적으로 처리하고자 할 때 이러한 분리는 필수적입니다. FastAPI와 RemoteRunnable은 이러한 요구를 충족시키는 데 매우 유용한 도구입니다. 특히 LangChain을 활용하여 서버를 만들 때 RemoteRunnable의 중요성은 더욱 높아집니다. FastAPI와 RemoteRunnable을 결합하면, 대규모 데이터 처리와 복잡한 모델 실행 작업을 보다 효율적이고 체계적으로 처리할 수 있습니다. 이 글에서는 FastAPI와 RemoteRunnable을 중심으로, 이들이 어떻게 상호작용하며 고성능의 유연한 웹 애플리케이션을 구축할 수 있는지에 대해 다루겠습니다. FastA.. AI 학습을 위한 기본 용어에 대해 알아보자 안녕하세요, 인공지능(AI) 기술이 빠르게 발전하면서, 이제는 우리 일상 곳곳에서 AI와 상호작용하는 일이 흔해졌습니다. 하지만 AI가 어떻게 작동하고, 어떤 기술을 기반으로 하는지 궁금하신 적 있으신가요? 오늘은 AI 학습과 관련된 기본 용어들을 간단하게 소개하려 합니다. 그럼 시작해볼까요? 목차1. LLM (Large Language Model)2. SLM (Small Language Model)3. NLP (Natural Language Processing)4. 프롬프트 (Prompt)5. 사전학습 (Pre-training)6. 미세조정 (Fine-tunning)7. 양자화 (Quantization)8. RAG (Retrieval-Augmented Generation)9. 할루시네이션 (Halluc.. 5월 셋째주, 주요 AI 소식에 대해 알려드립니다. 안녕하세요. 지난주는 Openai를 비롯하여 구글, 애플 등 세계적인 기업들이 AI와 관련한 발표들이 있었습니다. 어떠한 내용이 있었는지 알려드리겠습니다. 그럼 5월 셋째주 주요 AI 소식에 대해 알려드리겠습니다. 1. OpenAI 관련 기사 - GPT-4o 발표 - 챗GPT, 클라우드 저장소와 연동2. Google 관련 기사 - Google I/O 소식 - 장애인 돕는 AI앱 출시3. 메타, AI 비서 & 이어버드 개발 진행4. 스태빌리티 AI, 매각 논의 1. OpenAI 관련 기사 1-1) GPT-4o 발표 오픈AI의 새로운 인공지능 모델 'GPT-4o'가 출시되었습니다. 이번 출시 행사에서 11만 3000여 명이 스트리밍을 시청하며 폭발적인 인기를 얻었습니다.이 모델은 인간과 구분하.. 오픈소스 EEVE 모델 로컬환경에서 실행하기 2탄 (LangChain / LangServe / ngrok) 안녕하세요.지난 포스팅에서는 오픈소스 EEVE 모델을 로컬 환경에 설치하고 실행하는 과정을 다뤘습니다. 이번에는 설치된 EEVE 모델을 LangServe를 이용하여 외부 웹사이트에 배포하는 방법을 소개하고자 합니다. 지난 글을 놓치신 분들은 아래 링크를 통해 확인하실 수 있습니다.[Marcus' Stroy] - 오픈소스 EEVE 모델 로컬환경에서 실행하기 1탄1. LangChain / LangServe LangChain와 LangServe는 대형 언어 모델(LLM)을 활용한 애플리케이션을 개발할 수 있게 도와주는 도구로써, 이번에 이를 활용하여 오픈소스 EEVE 모델을 설정하여 서버를 구동하는 방법을 다루고자 합니다. LangChain은 LLM을 다양한 데이터 소스와 API에 연결할 수 있는 유연한 추상.. 이전 1 ··· 17 18 19 20 21 22 23 24 다음 목록 더보기
