어쩌다데싸

목차  Transformer, 도대체 그게 뭔데 - Transformer 편 (1)에서 이어지는 글입니다. 이전 글에서는 트랜스포머 모델의 등장 배경과 핵심 개념인 Self-Attention, Positional Encoding, Multi-Head Attention에 대해 살펴봤습니다. 이제, 이러한 개념들이 인코더-디코더 구조 안에서 어떻게 연결되어 모델이 동작하는지를 살펴볼 차례입니다. 단순히 구현된 모델을 가져다 쓰는 것이 아닌, 각 구성 요소들이 어떤 역할을 하고 어떻게 상호작용하는 지를 안다면 자신의 환경이나 상황에 맞게 모델을 응용해서 사용할 수 있을 것입니다. 실제로 트랜스포머의 인코더만 사용한 모델, 디코더만 사용한 모델들이 파생되어 강력한 성능을 보이고 있습니다. 구조설명대표 모델인코더..

목차  이제는 일상에서 익숙해진 Chat GPT와 같은 생성형 AI 기술의 중심에는 트랜스포머(Transformer)라는 알고리즘이 있습니다. 생성형 AI뿐만 아니라, AI를 사용하는 다양한 분야에서 트랜스포머 모델을 활용해 좋은 성능을 보이고 있죠. 이 글에서는 머신러닝과 딥러닝을 처음 시작하는 분들을 위해, 트랜스포머가 무엇이고 어떻게 동작하는지 최대한 쉽게 정리해보려 합니다. 본 글을 읽기 전에 트랜스포머의 핵심 개념인 Attention을 이해하기 위해 Transformer, 도대체 그게 뭔데 - Attention 편을 읽고 보는 것을 추천드립니다.앞선 글에서 우리가 Transformer를 배워야 하는 이유는 다양한 유형의 데이터를 처리할 수 있고, 여러 도메인에서 강력한 성능을 보이는 모델이라고 ..

목차  'Attention'이라는 단어를 들으면 무엇이 떠오르나요? 뉴진스의 데뷔곡이 떠오르신다면 삐빅- 정상입니다. 하지만 Transformer를 알게 되면 'Attention'이라는 단어가 노래 제목을 넘어, AI의 핵심 개념 중 하나로 떠오를 것입니다. Transformer는 "Attention Is All You Need"라는 논문에서 처음 등장했죠. 그만큼 Attention은 Transformer를 이해하는 데 있어 아주 중요한 핵심 개념입니다. 이 글을 읽고부터는 Attention 하면 뉴진스와 함께 Transformer 모델이 떠오르길 기대하며 처음 접하는 사람도 이해할 수 있게 기초부터 알아보겠습니다. 1. Transformer 왜 알아야 할까?Transformer는 NLP 처리 분야에서 ..

지난 한 달 간 LLM 기반 QA 서비스 공모전과 회사 프로젝트를 진행하며 Fine tuning 과 Prompt Engineering, RAG에 대해 공부하는 시간을 가졌습니다. 이번 글에서는 LLM Fine Tuning에 대한 개념과 학습데이터 구성을 통해 Fine Tuning하는 몇 가지 기법들을 알아보려 합니다. 1. Fine Tuning이란? LLM 모델은 대용량 자연어 데이터를 사용하기 때문에, 라벨링을 한 지도학습(Supervised learning)을 하긴 어렵습니다. 그래서 LLM 모델은 자기지도학습(Self-supervised Learning)을 통해 학습이 되게 됩니다. 자기지도학습은 라벨이 없는 데이터에서 스스로 input 내에서 target으로 쓰일만 한 것을 정해서 모델을 학습하는..

LLM은 놀라운 모델이지만 한계점이 있습니다. 이번 글에서는 LLM의 답변 정확도를 높이기 위해 함께 사용되는 RAG(Retriever Augmented Generation)와 LangChain이란 프레임워크로 RAG를 구현하는 법에 대해 알아보겠습니다. 1. LLM 한계 인터넷 세계의 학습 시점 과거의 데이터를 학습해 지식을 습득하는 LLM은 실제 세계에 대한 인식이 부족하고, 학습시점 이후의 데이터는 알지 못하는 등 학습 방식에 따른 근본적인 한계가 존재합니다. 아래의 4가지는 LLM의 대표적인 한계점으로 언급되는 내용입니다. - Knowledge Cutoff : 모델 학습 이후에 생성된 데이터에 대해서는 학습이 안되어 답변을 못함 - No Access to private data : 회사 내부 기밀..

이제는 우리 일상에서 흔하게 접할 수 있는 ChatGPT, Claude 등과 같은 생성형 AI 서비스에는 LLM(Large Language Model)이 자리하고 있습니다. LLM은 단순한 기술을 넘어 다양한 산업과 분야에서 혁신적인 변화를 이끌고 있습니다. AI 챗봇, 번역기, 코딩 보조, 의료 및 법률 상담 등 LLM이 할 수 없는 것을 찾는 게 더 빠를 정도로 굉장히 많은 분야에서 LLM이 활용되고 있습니다. 그렇다면 LLM은 정확히 무엇이며, 왜 이렇게 주목받고 있을까요? 지금까지의 AI 모델과 어떤 차이점이 있는 걸까요?단순히 많은 데이터를 학습했다고 해서 AI가 사람처럼 자연스러운 문장을 생성할 수 있는 것은 아닙니다. 우리가 LLM을 이해하려면, 이 모델이 어떤 방식으로 언어를 학습하고, 문..