목록NLP (1)
어쩌다데싸
LLM(Large Language Model)이란?
회사에서 sLLM 모델을 Fine-Tuning 하는 미니 과제를 받게 되었습니다. 이번 기회로 NLP에 대한 글을 차근차근 작성해 보려하는데, 그 시작으로 최근 가장 핫한 주제 중 하나인 LLM에 대한 기본적인 개념을 정리해보겠습니다. 1. LM (Language Model) LLM에 앞서 LM에 대해 먼저 알아 보겠습니다. 언어 모델(Language Model)은 기계에게 언어를 학습시키기 위해, 단어 시퀀스(문장)에 확률을 할당하는 모델입니다. 이전 단어들을 기반으로 다음으로 올 단어들의 확률을 계산해서 자연스러운 문장을 만들거나, 양쪽의 단어들로부터 가운데 단어를 예측하는 등의 언어 모델들이 있습니다. LM에 대한 연구는 지속적으로 진행되고 있으며, 크게 4가지 개발 단계가 있습니다. - 통계적 언..
Generative AI
2023. 12. 19. 16:43