어쩌다데싸

지난 한 달 간 LLM 기반 QA 서비스 공모전과 회사 프로젝트를 진행하며 Fine tuning 과 Prompt Engineering, RAG에 대해 공부하는 시간을 가졌습니다. 이번 글에서는 LLM Fine Tuning에 대한 개념과 학습데이터 구성을 통해 Fine Tuning하는 몇 가지 기법들을 알아보려 합니다. 1. Fine Tuning이란? LLM 모델은 대용량 자연어 데이터를 사용하기 때문에, 라벨링을 한 지도학습(Supervised learning)을 하긴 어렵습니다. 그래서 LLM 모델은 자기지도학습(Self-supervised Learning)을 통해 학습이 되게 됩니다. 자기지도학습은 라벨이 없는 데이터에서 스스로 input 내에서 target으로 쓰일만 한 것을 정해서 모델을 학습하는..

이제는 우리 일상에서 흔하게 접할 수 있는 ChatGPT, Claude 등과 같은 생성형 AI 서비스에는 LLM(Large Language Model)이 자리하고 있습니다. LLM은 단순한 기술을 넘어 다양한 산업과 분야에서 혁신적인 변화를 이끌고 있습니다. AI 챗봇, 번역기, 코딩 보조, 의료 및 법률 상담 등 LLM이 할 수 없는 것을 찾는 게 더 빠를 정도로 굉장히 많은 분야에서 LLM이 활용되고 있습니다. 그렇다면 LLM은 정확히 무엇이며, 왜 이렇게 주목받고 있을까요? 지금까지의 AI 모델과 어떤 차이점이 있는 걸까요?단순히 많은 데이터를 학습했다고 해서 AI가 사람처럼 자연스러운 문장을 생성할 수 있는 것은 아닙니다. 우리가 LLM을 이해하려면, 이 모델이 어떤 방식으로 언어를 학습하고, 문..