어쩌다데싸

지난 한 달 간 LLM 기반 QA 서비스 공모전과 회사 프로젝트를 진행하며 Fine tuning 과 Prompt Engineering, RAG에 대해 공부하는 시간을 가졌습니다. 이번 글에서는 LLM Fine Tuning에 대한 개념과 학습데이터 구성을 통해 Fine Tuning하는 몇 가지 기법들을 알아보려 합니다. 1. Fine Tuning이란? LLM 모델은 대용량 자연어 데이터를 사용하기 때문에, 라벨링을 한 지도학습(Supervised learning)을 하긴 어렵습니다. 그래서 LLM 모델은 자기지도학습(Self-supervised Learning)을 통해 학습이 되게 됩니다. 자기지도학습은 라벨이 없는 데이터에서 스스로 input 내에서 target으로 쓰일만 한 것을 정해서 모델을 학습하는..

회사에서 sLLM 모델을 Fine-Tuning 하는 미니 과제를 받게 되었습니다. 이번 기회로 NLP에 대한 글을 차근차근 작성해 보려하는데, 그 시작으로 최근 가장 핫한 주제 중 하나인 LLM에 대한 기본적인 개념을 정리해보겠습니다. 1. LM (Language Model) LLM에 앞서 LM에 대해 먼저 알아 보겠습니다. 언어 모델(Language Model)은 기계에게 언어를 학습시키기 위해, 단어 시퀀스(문장)에 확률을 할당하는 모델입니다. 이전 단어들을 기반으로 다음으로 올 단어들의 확률을 계산해서 자연스러운 문장을 만들거나, 양쪽의 단어들로부터 가운데 단어를 예측하는 등의 언어 모델들이 있습니다. LM에 대한 연구는 지속적으로 진행되고 있으며, 크게 4가지 개발 단계가 있습니다. - 통계적 언..