AI 모델에게 현실세계 알려주기 - Feature와 Embedding

AI 모델의 성능을 결정짓는 핵심은 알고리즘이 아니라 데이터의 품질입니다. 본 글에서는 변수(Feature)의 개념부터 Feature Engineering, 그리고 Embedding 기법까지 실무 관점에서 다룹니다. 특히, 데이터를 어떻게 변환하고 최적화하느냐에 따라 모델 성능이 크게 달라지는 이유와 효과적인 변수 가공 방법을 소개합니다. AI를 더 깊이 이해하고 싶은 분들을 위해 필수적인 개념과 실전 적용법을 정리했습니다.

 

목차

 

데이터를 처음 공부할 때, 우리는 보통 "어떤 모델을 써야 할까?", "최신 알고리즘은 무엇이 있을까?" 같은 질문에 집중합니다. 저 역시 마찬가지였지만 막상 3년동안 데이터 과학자 일을 하면서 가장 많이 연구했던 작업은 단연 '학습데이터를 수정하는 일'이었습니다. 모델 알고리즘도 중요하지만, 그 전에 들어가는 데이터의 품질이 좋지 않으면 모델 알고리즘을 아무리 바꿔도 한계가 있더군요. 실제로 학습데이터를 다듬어 모델 성능이 개선되는 것을 눈으로 확인하고 실감한 이후부터는 학습데이터의 중요성을 누구보다 잘 알게 되었습니다.

 

처음에는 단순히 '데이터를 준비하면 모델이 알아서 학습하겠지'라고 생각했지만, AI는 정말 똑똑하고 한편으로는 바보같았습니다. 정말 입력한 데이터만을 바탕으로 학습하기 때문에, 인풋에 따라 결과물이 천차만별로 달라졌습니다. 어떤 변수를 입력하느냐, 같은 변수라도 데이터를 어떻게 변환하느냐에 따라 모델이 전혀 다른 방식으로 학습했습니다. 데이터를 어떤 형태로 제공하느냐가 성능을 결정하는 핵심 요소였고, 이를 최적화하는 과정이 'Feature Engineering'이었습니다.

 

이 글에서는 실무 경험을 바탕으로 아래 내용에 대해 살펴보려 합니다.

• 변수(Feature)란 무엇인가?
• 변수공학(Feature Engineering)은 어떻게 적용할 수 있는가?
• 임베딩(Embedding)이 왜 필요한가?

 

1. 변수(Feature)란 무엇인가?

알기 쉽게 변수 이해하기

이걸 왜 못 알아듣니!!

 

🤔 AI는 떡볶이를 이해할 수 있을까?

예능에서 단어를 설명하고 맞추는 게임을 자주 하죠? 우리가 너무나 당연하게 아는 개념이라도, 모르는 사람에게 설명하려면 생각보다 어려울 때가 많습니다. 

 

예를 들어, 외국인 친구에게 떡볶이를 설명한다고 해봅시다. 오늘날에는 K-Food가 유명해져서 떡볶이라는 단어를 알 수도 있지만, 10년 전만 해도 우리는 이렇게 설명해야 했습니다.

"Rice Cake과 Fish Cake을 Spicy Sauce로 버무린 요리야."

 

이렇게 들으면 어떤 생각이 들까요? 쌀로 만든 케이크와 심지어 생선으로 케이크를 만들었다고? 직역했을 때는 한국인도 거부감을 느끼는 끔찍한 음식처럼 느껴집니다. 이 설명만 보고는 떡볶이가 정확히 어떤 음식인지 상상하기 어려울 수밖에 없죠.

 

하지만 막상 마주한 떡볶이는 많이 다릅니다. 떡은 쫄깃하고, 어묵은 고소하며, 소스는 매콤달콤하죠. (맛있겠다..!) 우리는 단순한 단어의 조합이 아니라, 음식의 전체적인 조화를 통해 떡볶이를 이해합니다. Feature는 AI 모델이 현실 세계를 숫자로 변환하는 방식이며, 표현하는 방법에 따라 모델이 완전히 다르게 학습할 수 있습니다. 어떻게 표현하냐에 따라서 이해하는 방향이 완전히 달라지죠.

 

 

🎯 모델은 데이터를 어떻게 받아들일까?

우리에게 익숙한 개념이라도, 그것을 전혀 모르는 AI 모델에게 설명하려면 적절한 방식으로 정보를 변환하는 과정이 필요합니다. 모델은 심지어 '숫자'만 이해할 수 있습니다. 텍스트, 음성, 이미지 등 다양한 형태의 데이터를 컴퓨터가 이해할 수 있도록 숫자로 변환해주어야 하고, 숫자로 이루어진 정보는 모델이 더 잘 이해할 수 있도록 변형해줘야 합니다.

 

여기서 변수와 임베딩이라는 개념을 정리할 수 있습니다.

• 변수(Feature): 현실 세계의 데이터를 숫자로 변환한 값
• 임베딩(Embedding): 의미 있는 관계를 유지하면서, 범주형 데이터(숫자로 표현할 수 없는 질적 데이터)를 연속된 벡터(숫자)로 변환하는 과정

결국 Feature와 Embedding은 모델이 현실 세계를 이해할 수 있도록 도와주는 번역기 역할을 합니다. 그리고 변수를 모델이 더 잘 이해할 수 있게 변환하는 과정을 변수공학(Feature Engineering)이라고 합니다. 앞으로 이 글에서는 '변수(Feature)', '임베딩(Embedding)', '피처 엔지니어링(Feature Engineering)'이라는 용어를 사용하겠습니다.

 

변수는 모델 학습에 어떤 영향을 미칠까?

우리가 AI를 배울 때 흔히 모델을 학습시킨다고 말합니다. AI에게 있어 학습한다는 것은 결국 모델이 입력받은 데이터 간의 패턴(규칙)을 파악한다는 말입니다. 이 때, 입력받은 데이터를 설명하기 위한 속성값들이 바로 변수입니다. 우리가 다루는 데이터가 단순하다면, 규칙을 찾는 것이 쉽습니다. 수학에서 2차 방정식이나 3차 방정식까지는 사람이 직접 풀 수 있죠. 하지만 변수가 4개, 5개 이상으로 늘어나면서 차원이 증가하면 직관적으로 규칙을 찾기가 어려워집니다.

AI 모델은 이런 고차원 데이터를 다루기 위해 변수 간의 관계를 분석하고 패턴을 학습하는 역할을 합니다. 변수의 수는 곧 차원입니다. 실제 데이터를 다룰 때 10개 이상의 변수를 사용하는 경우가 허다하죠. 모델은 변수의 개수 n만큼의 *n차원 방정식을 풀고 그 규칙을 학습해 목표했던 문제를 풀어가게 됩니다.

 

* 차원이 복잡할수록 계산이 어렵다는 걸 표현하기 위해 n차원 방식을 푼다고 설명했지만, 사실 엄밀히 말하면 AI 모델이 학습한다는 건 방정식의 계수(weights)를 만드는 일입니다. AI 모델 = 방정식이 되고 우리가 궁금한 x값을 넣었을 때 결과를 출력하는 것이 모델의 예측값이 됩니다.

 

여전히 변수가 모델에 미치는 영향에 대해 감이 잘 오지 않을지도 모릅니다. 실제로 모델을 만들어 실험해보기 전에, 우리가 가진 지식으로 가볍게 생각해보겠습니다.

 

예를 들어, 집값을 예측하는 AI 모델을 만든다는 목표를 가지고 모델을 만든다고 해봅시다.

우리가 사용할 수 있는 데이터에는 위치, 평수, 방 개수, 주변 학군, 집주인의 혈액형, 집을 구매한 요일 등이 있습니다. 직관적으로 생각했을 때, 집주인의 혈액형이나 집을 구매한 요일은 집값과 아무런 관련이 없는 정보입니다. 모델은 입력된 데이터를 무조건 학습하려고 하기 때문에, 잘못된 변수가 포함되면 엉뚱한 결과를 낼 수도 있습니다. 예를 들어, 학습 데이터에 우연히 A형 집주인의 집값이 높게 형성된 패턴이 있다면? AI 모델은 "A형 혈액형 집주인의 집값이 더 비싸다!" 라는 이상한 규칙을 학습할 수도 있습니다.

 

반면, 위치나 평수, 주변 학군 등의 변수는 집값과 강한 상관관계를 가질 가능성이 높죠. 즉, 어떤 변수를 선택하느냐에 따라 모델이 학습하는 방식과 성능이 완전히 달라집니다. 좋은 변수를 선택하면 모델이 데이터를 더 쉽게 이해할 수 있지만, 잘못된 변수가 포함되면 모델이 엉뚱한 패턴을 학습하거나, 오히려 성능이 낮아질 수도 있습니다.

 

 

2. 변수를 더 좋은 방식으로 만드는 법: Feature Engineering

Feature Enginnering이란?

Feature Engineering(피처 엔지니어링)은 AI 모델이 데이터를 더 잘 학습할 수 있도록 변수를 가공하고 변형하는 과정입니다.

 

AI 모델은 입력받은 데이터를 학습하면서 숨어 있는 패턴을 찾아내는 방식으로 문제를 해결합니다.
하지만 원본 데이터 그대로는 불필요한 정보가 많거나, 모델이 이해하기 어려운 형식으로 존재하는 경우가 많습니다.

 

예를 들어,

• 일부 데이터는 누락(Missing Values)될 수 있음
• 값의 크기가 너무 크거나 작은 경우 모델 학습에 영향을 줄 수 있음
• 범주형 데이터(예: 지역, 직업 등)는 숫자로 변환해야 함

이런 문제를 해결하고, 모델이 더 효율적으로 학습할 수 있도록 데이터를 변환하는 과정이 Feature Engineering입니다. 원본 데이터 변수에서 Feature Engineering을 통해 가공한 변수를 파생 변수라고 부릅니다. 

 

 

Feature Engineering의 4가지 구성요소

Feature Engineering은 크게 4가지 과정으로 나눌 수 있습니다.

 

1️⃣ Feature Creation (변수 생성)

Feature Creation은 도메인 지식을 활용하여 새로운 변수를 만들어 모델 성능을 향상시키는 과정입니다. 기존 변수를 수학 연산(더하기, 빼기, 곱하기, 나누기) 등의 기법을 사용해서 새로운 파생 변수를 생성하는 과정으로 이해할 수 있습니다.

• "출퇴근 거리" 변수를 "출퇴근 시간"으로 변환
• "날짜" 데이터를 "요일" 또는 "주말 여부"로 변환
• 여러 변수를 조합하여 새로운 파생 변수 생성

뒤에 나올 Feature Extraction과 헷갈릴 수 있는데, 정리하면 Feature Creation은 도메인 지식을 기반으로 직접 변수를 만드는 과정입니다. 

 

2️⃣ Feature Transformation (변수 변환)

Feature Transformation은 데이터를 변환하여 모델이 더 잘 학습할 수 있도록 만드는 과정으로, 값의 크기를 조정하거나(스케일링), 결측치를 보완하거나, 범주형 데이터를 숫자로 변환하는 작업을 포함합니다.

• 정규화/표준화 (Scaling): 변수 값을 0~1 사이로 변환하거나 평균을 0으로 맞추기
• 결측치 처리 (Imputation): 데이터에서 누락된 값 채우기
• 이상치 탐지 (Outlier Detection): 극단적인 값 제거

 

3️⃣ Feature Extraction (특성 추출)

Feature Extraction은 원본 데이터에서 중요한 특징을 자동으로 추출하여 차원을 줄이는 과정을 의미합니다. 원본 데이터가 너무 커서 직접 사용하기 어려운 경우, 중요한 정보만 유지할 수 있도록 처리하는 것입니다. 주로 고차원 데이터를 다룰 때 사용합니다.

• PCA(주성분 분석): 고차원 데이터를 저차원으로 줄이면서 핵심 정보만 유지
• 이미지, 오디오 데이터 처리: 필수적인 특징만 추출하여 모델 입력 크기 감소
• Word Embedding: 자연어 처리에서 단어의 의미를 벡터로 변환

Feature Extraction은 원본 데이터를 자동으로 변환하여 핵심 정보를 유지하는 과정이며, 도메인 지식을 바탕으로 직접 파생변수를 만드는 Feature Creation과 차이가 있습니다.

 

 

4️⃣ Feature Selection (변수 선택)

Feature Selection은 기존 변수 중에서 꼭 필요한 변수만 선택하는 과정입니다. AI를 학습할 때 키포인트는 효율적인 연산입니다. 모든 변수를 사용하면 연산량이 커지고 불필요한 정보가 포함될 수 있기 때문에 필수적인 변수만 선택하여 최적의 모델을 구축하는 것이 필요합니다. 예측하고자 하는 값과 상관관계가 높은 변수만 선택하여 모델을 학습시키거나, 모델 성능을 비교하면서 최적의 변수 조합을 찾는 등의 작업들이 포함됩니다.

• Filter Method: 변수의 통계적 특성을 이용해 선택
• Wrapper Method: 여러 조합을 테스트해 최적의 변수 선택
• Embedded Method: 모델 자체에서 중요한 변수 자동 선택

Feature Selection은 기존 변수 중 가장 중요한 것만 선택하는 과정이며, 여러 개의 변수를 축소 변환하는 Feature Extraction과 다릅니다.

 

 

Feature Engineering이 중요한 이유

Feature Engineering은 단순히 데이터를 변환하는 과정이 아니라 모델이 더 효과적으로 패턴을 학습하고 최적의 성능을 내도록 돕는 핵심적인 과정입니다.

 

잘 설계된 Feature Engineering을 적용하면 다음과 같은 효과를 기대할 수 있습니다.

• 모델이 불필요한 정보를 걸러내고, 더 의미 있는 패턴을 학습할 수 있다.
• 과적합(Overfitting)을 방지하고, 일반화 성능(Generalization)을 향상시킬 수 있다.
• 연산 효율성을 높여, 학습 속도를 빠르게 하고, 더 적은 데이터로도 좋은 성능을 낼 수 있다.

반면, Feature Engineering을 제대로 수행하지 않으면 모델이 의미 없는 정보를 학습하거나, 성능이 저하될 가능성이 큽니다.

 

⚡️데이터마다 최적의 Feature Engineering은 다를 수 있다.

Feature Engineering에는 다양한 기법들이 존재하지만 사실 데이터 특성에 따라 어떤 Feature Engineering 기법을 적용해야 하는지는 다를 수 있습니다. 실무에서 Feature Engineering을 할 때 흔히 '노가다'의 영역이라고 표현했습니다. 모델 학습과 마찬가지로 절대적인 최상의 변수를 찾을 방법이 없으니 실험을 통해 성능을 비교해보는 수밖에 없기 때문입니다. 하지만 Feature Engineering을 얼마나 잘 수행하느냐가 모델의 성능을 결정하는 핵심 요소 중 하나라는 것은 분명한 사실입니다. 그러므로 모델을 개선하기 전에 Feature Engineering을 우선적으로 고민해야 합니다.

 

 

3. 고차원 데이터를 압축하는 핵심 기술, 임베딩(Embedding)

Feature Engineering(피처 엔지니어링)은 모델이 데이터를 더 잘 학습할 수 있도록 변수를 변환하는 과정이라고 설명했습니다. 임베딩은 그 중에서도 범주형 데이터(Categorical Data)나 고차원 데이터(High-Dimensional Data)를 모델이 더 효율적으로 학습할 수 있도록 변환하는 과정입니다.

범주형 데이터 : 숫자로 측정할 수 없는 질적 데이터로, 범주 또는 그룹에 배치할 수 있는 값을 나타냅니다. 범주형 데이터는 데이터 간의 순서를 매길 수 있는지 여부에 따라 명목형 데이터와 순서형 데이터로 구분됩니다. 

 

즉, Feature Engineering의 하위 개념으로, 모델이 고차원 데이터를 저차원 벡터로 변환하여 의미 있는 패턴을 학습할 수 있도록 돕는 기법입니다.

 

임베딩이란

Feature Engineering에서 수치형 변수는 애초에 숫자로 된 데이터이기 때문에 정규화(Scaling)나 변환(Transformation) 등을 적용하여 쉽게 모델이 이해할 수 있는 형태로 만들 수 있지만, 범주형 데이터는 단순 변환만으로는 한계가 있습니다.

 

예를 들어, 도시명 (서울, 부산, 대구, 인천) 같은 텍스트 데이터를 숫자로 변환해야 하는데, 단순한 숫자 매핑(Label Encoding)은 정보 손실이 발생할 수 있습니다. 텍스트 데이터를 처리할 때 주로 사용하는 원-핫 인코딩(One-Hot Encoding) 방식은 차원이 너무 거지기도 하고, 단어 간의 관계를 반영하기 어렵다는 한계점이 있습니다.

라벨 인코딩 : 범주형 데이터의 카테고리 수만큼의 단순한 숫자로 매핑해주는 방식 (ex. {사과:0, 바나나:1, 딸기:2})
원-핫 인코딩 : 범주형 데이터를 숫자로 변환하는 방법 중 하나로, 각 범주를 고유한 이진 벡터(Binary Vector)로 변환하는 방식

 

이처럼, 범주형 데이터나 고차원 데이터에서 의미 있는 관계를 유지하면서 모델이 학습할 수 있도록 변환하는 과정이 바로 임베딩(Embedding)입니다.

 

임베딩은 어떻게 작동하는가?

임베딩은 단순한 숫자 매핑이 아니라, 데이터 간의 의미 있는 관계를 벡터 공간에서 학습하는 과정입니다. 즉, 같은 의미를 가진 데이터는 더 유사한 숫자로 변환되고, 의미가 다른 데이터는 더 멀리 떨어진 숫자로 표현되는 방식입니다.

 

원-핫 인코딩처럼 각 데이터를 독립적인 값으로 변환하는 것이 아니라, 데이터를 벡터(숫자의 집합)로 변환해주고, 데이터 간의 관계를 학습하여 비슷한 데이터끼리 더 가까운 벡터 값으로 변환해주는 것을 의미합니다. 즉, 학습을 통해 벡터 공간에서 의미 있는 패턴을 찾는 작업입니다.

• "서울"과 "부산"은 같은 대한민국의 도시이므로 벡터 값이 서로 가까울 것
• "사과"와 "바나나"는 둘 다 과일이므로 벡터 값이 비슷한 방향에 있을 것
• "사과"와 "자동차"는 관련성이 낮으므로 벡터 값이 더 멀리 떨어져 있을 것

단순히 즉, 임베딩은 숫자뿐만 아니라, 데이터 간의 관계를 유지하는 벡터 표현을 학습하는 과정입니다.

 

임베딩을 적용하는 대표적인 분야

임베딩은 다양한 분야에서 활용되며, 특히 자연어 처리(NLP)와 추천 시스템에서 강력한 성능을 발휘합니다. 기존의 단순한 변환 방식(예: 원-핫 인코딩, TF-IDF)과 비교했을 때, 데이터 간의 관계를 더 정교하게 반영할 수 있다는 점이 큰 장점입니다.

TF-IDF (Term Frequency-Inverse Document Frequency) : 문서 내 단어의 중요도를 측정하는 방법으로, 단어의 빈도(TF)와 문서 내 희소성(IDF)을 반영하여 특정 단어가 문서에서 얼마나 중요한지를 평가하는 지표입니다. 즉, 자주 등장하지만 모든 문서에 흔한 단어(ex. 조사)는 낮은 점수를 받고, 특정 문서에서만 자주 등장하는 단어는 높은 점수를 가지게 됩니다.

 

간단하게 NLP에서의 TF-IDF 와 Embedding을 비교해 보겠습니다.

 

즉, TF-IDF는 단순한 빈도 기반 방식이라 문맥을 반영하지 못하지만, Embedding은 단어 간의 관계를 벡터 공간에서 학습할 수 있습니다.
따라서 NLP 모델에서는 Embedding을 활용한 방식이 더 뛰어난 성능을 보이는 경우가 많습니다.

 

추천시스템에서는 사용자와 아이템 간의 관계를 학습할 때 임베딩을 활용할 수 있습니다. 기존의 추천 시스템에서는 사용자와 아이템을 단순한 매트릭스로 변환하여 처리했지만, 이 방식은 데이터가 많아질수록 비효율적이며 새로운 사용자나 아이템이 추가될 때 학습이 어렵다는 문제가 있었습니다.

 

임베딩을 사용하면 사용자와 아이템을 고차원 벡터로 변환하여 학습이 가능하고, 비슷한 취향을 가진 사용자들끼리 더 가까운 벡터 값을 갖도록 학습할 수 있습니다. 또한, 새로운 사용자나 아이템이 추가되더라도 유사한 패턴을 찾아낼 수 있다는 장점이 있습니다.

• A 사용자와 B 사용자가 모두 "액션 영화"를 좋아한다면, 벡터 공간에서 가까운 위치를 가짐
• "인셉션"과 "인터스텔라" 같은 영화는 비슷한 장르와 감독을 가졌다면 아이템 임베딩 값이 유사하게 학습됨
• 새로운 사용자가 추가되더라도, 기존 벡터 공간에서 가장 유사한 사용자와 아이템을 추천 가능

이렇게 임베딩을 활용하면 추천 시스템의 성능을 향상시키고, 사용자 경험을 개선할 수 있습니다.

 

 

임베딩의 중요성

임베딩은 단순히 데이터를 숫자로 변환하는 것이 아니라, 데이터 간의 관계를 학습하여 의미 있는 패턴을 유지하면서 표현하는 강력한 기법입니다. 특히, 자연어 처리(NLP), 추천 시스템, 이미지 인식 등 다양한 AI 분야에서 필수적인 기술로 자리 잡았습니다.

 

임베딩이 중요한 이유를 정리해보자면 다음과 같습니다.

• 고차원 데이터를 저차원으로 변환하여 모델 학습 효율을 높인다.
• 범주형 데이터 간의 의미와 관계를 유지하면서 벡터로 표현할 수 있다.
• 추천 시스템, NLP 등 다양한 분야에서 데이터 간 유사성을 효과적으로 학습할 수 있다.

즉, 임베딩은 단순한 변환을 넘어, AI 모델이 데이터를 더 깊이 이해할 수 있도록 돕는 핵심 기술입니다. 앞으로 데이터를 다룰 때, 어떤 변수를 어떻게 임베딩해야 할지 고민하는 것이 모델 성능을 좌우하는 중요한 요소가 될 것입니다.

 

 

결론 : 데이터가 모델을 결정한다.

이 글에서는 데이터의 중요한 요소인 Feature(변수), Feature Engineering(변수 가공), 그리고 Embedding(고차원 데이터 변환)에 대해 다루었습니다. Feature Engineering을 통해 데이터를 적절히 변환하면 모델이 더 효율적으로 학습할 수 있으며, Embedding은 범주형 데이터나 고차원 데이터를 효과적으로 변환하는 데 중요한 역할을 합니다. 사실 캐글 등 분석 프로젝트를 진행해봤다면 누구나 Feature Engineering을 경험해 봤을 것입니다. 여기서 중요한 점은, 모든 분석에 동일한 Feature Engineering을 적용하는 것이 아닌 내가 가진 데이터와 목표에 맞춰 최적화 해야 한다는 점입니다.

 

Feature Engineering과 Embedding을 잘 활용하면

• 모델이 데이터를 더 정확하게 이해하고 예측 성능이 향상될 수 있습니다.
• 불필요한 변수를 제거하거나 변환하여 학습 속도를 개선할 수 있습니다.
• 데이터의 복잡성을 줄이면서도 중요한 정보를 유지할 수 있습니다.

반면, 잘못된 Feature Engineering은 모델이 불필요한 패턴을 학습하게 만들거나, 학습 과정에서 과적합을 초래할 수도 있습니다. 데이터가 많다고 해서 반드시 좋은 모델이 만들어지는 것이 아니라, 적절한 변수를 선택하고 변환하는 과정이 필수적이라는 점을 기억해야 합니다.

 

Feature Engineering에는 절대적인 정답이 없습니다. 같은 데이터라도 도메인에 따라 다르게 접근해야 하며, 다양한 방법을 실험하면서 최적의 변수를 찾는 과정이 필요합니다. 따라서 모델 성능을 높이기 위해서는 단순히 더 나은 알고리즘을 찾는 것보다, 데이터를 어떻게 표현할 것인가에 대한 고민이 우선되어야 합니다.

 

데이터를 어떻게 다루느냐에 따라 모델의 성능은 크게 달라질 수 있습니다. 오늘 정리한 내용을 바탕으로, AI를 시작할 때 놓치기 쉬운 '데이터의 중요성'을 기억해주시길 바라며 이만 마치겠습니다!