목록전체 글 (42)
어쩌다데싸
그동안은 추천시스템만 다뤄오다가, 최근 서비스 내 검색을 고도화하는 프로젝트를 새로 맡게 되었습니다. 채용공고만 봐도 검색과 추천은 종종 같은 카테고리(개인화, 랭킹, 정보 검색)로 묶이고 실제로 아키텍처도 상당 부분 닮아있는데요, 막상 검색을 들여다보니 생각보다 차이가 많았습니다. 이 글에서는 프로젝트를 시작하기에 앞서 추천과 검색의 차이를 정리해보려 합니다. 추천 vs. 검색Input추천과 검색을 떠올렸을 때 가장 눈에 띄는 차이는 Input입니다. 추천은 사용자가 명시적인 요청을 주지 않는다는 것을 전제로 합니다. 그동안의 로그와 최근 행동을 바탕으로 "이 사용자가 좋아할 만한 것"을 예측해서 먼저 제안하는 구조죠. 반면 검색은 사용자가 쿼리(=검색어, 질의어)라는 명시적인 입력을 줍니다. 하지만 ..
오랜만에 변화가 참 많은 시기였다. 개인적인 변화도 많았고, 1년 간의 강사 생활을 멈추고 다시 회사로 돌아왔다. 간만의 회사 생활은 체력적으로는 힘들지만 다시 내 세계가 넓어지는 느낌이 들어 만족스럽다. 강사를 하며 배운 것우연히 시작하게 된 강사를 1년이나 하게 될 줄은 몰랐다. 생각보다 오래 할 수 있었던 건 적성에 꽤나 맞았고, 보람을 느꼈던 덕분이었다. 처음에는 '내가 누군가를 가르칠 실력이 되나?'하는 두려움이 컸었는데 조금씩 내가 할 수 있는 것들에 집중하게 됐다. 다른 강사들과 차별점을 어떻게 가져가야 할 것인가를 고민하고, 이론을 보강하고 프로젝트에 대한 피드백을 주면서 회사에서와는 다른 역량을 키울 수 있었다. 내가 가져간 차별점은 '이해하기 쉽게 설명하기'였다. 강사들 중 가장 실..
탐색 vs. 활용 (Exploration vs. Exploitation) 추천 시스템에서는 탐색과 활용에 대한 딜레마가 종종 발생합니다. '사용자가 이미 좋아하는 아이템을 계속 추천할 것인가, 아니면 아직 잘 모르지만 좋아할 수도 있는 새로운 아이템을 보여줄 것인가?'에 대한 고민이죠. 사용자가 이미 좋아하는 아이템을 계속 추천하면 당장의 성과(CTR, 전환율 등)는 잘 나오지만 장기적으로는 질려서 이탈할 가능성이 높습니다. 반대로 새로운 것을 추천했을 때 사용자의 취향에 부합하지 않았을 경우 주요 성과지표는 떨어질 가능성이 높아요. 이 둘 사이의 균형을 'Exploration–Exploitation Trade-off'라고 합니다.- 탐색(Exploration): 아직 충분히 검증되지 않은 아이템을 일..
추천시스템은 보통 하나의 지표만으로 평가되지 않습니다. 광고 추천이든 아이템 추천이든 CTR(클릭률)이나 CVR(전환율)을 주요 지표로 사용하는 경우가 많습니다. 하지만 이 지표들에만 집중했을 때는 필연적으로 마주하게 되는 문제가 있어요.CTR과 CVR은 빠르게 관측할 수 있는 지표인 만큼, 추천시스템이 단기적인 성과에 집중하도록 만들기 쉽다는 점입니다. 추천시스템을 포함한 많은 제품 실험은 A/B 테스트를 통해 성과를 비교하는데, A/B 테스트는 보통 의사결정을 위해 제한된 기간 동안 진행됩니다. 특히 CTR이나 CVR처럼 빠르게 관측되는 지표는 1~2주 안에도 비교가 가능하지만, 리텐션이나 사용자 피로도처럼 장기적으로 나타나는 지표는 짧은 실험만으로 판단하기 어렵습니다.A/B 테스트는 두 가지 선택지..
최근 AI 업계에는 'Agent'라는 키워드가 빠질 수 없습니다. LLM의 등장으로 '사람같은 AI'가 시작된 것도 충격이었는데, 지금은 많은 회사들이 단순 LLM을 개발하는 것이 아니라 AI Agent를 만드는 것을 목표로 달리고 있습니다. 그렇다면 AI Agent는 정확히 무엇이며, 왜 이렇게 주목받는 걸까요? ChatGPT처럼 질문에 답하는 것과 무엇이 다른 걸까요?이 글에서는 AI Agent의 개념부터 작동 원리, 실제 개발 방법, 그리고 실무 도입 시 고려해야 할 사항까지 체계적으로 살펴보겠습니다. Agent란?사실 Agent는 최근에 생겨난 개념이 아닙니다. 로봇 공학에서부터 시작된 개념이에요. 전통적인 Agent의 정의를 보면, Agent는 환경(Environment)을 관찰(Sense)하..
행렬은 선형대수에서 단순히 숫자 배열 모음이 아니라 공간을 바꾸는 함수로 작용한다. 지난 글에서 행렬을 통해 연립방정식을 표현할 수 있다는 것을 살펴봤고, 역행렬과 행렬식을 통해 해가 유일한지 등을 구할 수 있었다. 행렬을 계산의 관점에서 살펴봤다면 이번 글에서는 '변환'의 관점에서 행렬을 다뤄보려고 한다. 선형 변환(Linear Transformation)0. 선형 변환은 왜 중요할까?AI에서 자주 사용하는 선형 회귀, PCA, 차원 축소, 임베딩, 신경망 등 대부분의 기술들은 행렬 연산을 기반으로 작동한다. 하지만 행렬을 단순히 계산을 위한 도구라고 이해하기보단 어떻게 동작하는지를 이해해야 모델에 대해 더 깊게 이해할 수 있다. 여기서 선형 변환이 중요한 이유는 행렬 연산을 '공간의 변화'로 해석할 ..
회고를 하는 마음벌써 2025년이 끝나간다. 한 해가 빠르다는 건 매 회고 때마다 말하는 것 같다.작년이 변화를 위해 몸을 한껏 움츠린 상태였다면, 올해는 하나씩 다리를 뻗었던 해였다. 유독 빠르게 지나갔던 해인 것 같지만, 그만큼 많은 것을 시도해보고 이뤄냈던 한 해였기에 기억에 많이 남을 해이다. 올해의 회고는 최대한 거품을 빼보고 솔직한 생각을 남겨보려 한다. 작년의 회고는 솔직히 누군가 내 글을 읽을 거란 생각에 다소 힘이 들어가있었다. 최근에 글도, 말도 힘을 줘서 해야 하는 일이 많았기에 회고만큼은 힘을 빼보자. 우선, 회고는 왜 하는 걸까? 회고, 돌아보고 생각하다. 한 해를 돌아보고 생각하면서 나는 무엇을 깨달아야 하는 걸까.그건 앞으로 잘 살기 위한 것일수도 있고, 과거를 정리해서 내 안..
데이터 사이언티스트는 왜 선형대수를 배워야 할까? 답은 간단하다. 모든 데이터와 알고리즘 작동 근간에는 선형대수가 있기 때문이다. 사실 근간을 몰라도 당장은 큰 문제가 없다. 하지만 결국 논문을 이해하고, 응용해서 사용하기 위해서는 선형대수를 알지 못하면 뭔가 겉핥기만 하는 느낌이 들게 된다. 선형대수는 항상 마음 속 숙제같은 존재였고, 공부해도 사실 밑빠진 독에 물붓기처럼 흩어져버린다. 그래도 3번 정도 반복해서 학습하니 조금씩 개념이 잡히기 시작했다. 기본적인 개념 설명을 자세하게 하기 보다는 처음 선형대수를 공부할 때 잘 이해가 되지 않았던 내용 중심으로 정리해보려 한다. 벡터와 행렬1. 기본 개념스칼라(Scalar): 하나의 값이나 크기만 가진 단일 숫자. (차원 없음)벡터(Vector): 순서가..