dynamic inference (1) 썸네일형 리스트형 LLM의 경량화와 성능 개선 방법에 대해 알아보자. 안녕하세요. 요즘 출시되는 LLM(거대 언어 모델)들의 성능(추론 능력, 신뢰성, 언어 능력 등)이 점점 더 높아지고 있습니다. 성능이 높아질수록 LLM의 크기도 커지게 됩니다. 현재 발표된 모델 중 가장 큰 모델로 알려진 MT-NLG(Megatron-Turing NLG 530B, MS & NVIDIA)의 경우, 파라미터 수가 5300억 개로 알려져 있습니다. 이는 해당 모델이 차지하는 용량이 1TB는 가볍게 넘어설 것으로 보입니다. 이번 포스팅에서는 이러한 LLM을 경량화하는 방법과 효율적으로 작동하도록 하는 기법들에 대해 알아보겠습니다. SummaryLLM 경량화 방법LLM 성능 개선 방법1) 지식 증류 (Knowledge Distillation)1) FlashAttention22) 양자화 (Qua.. 이전 1 다음
