RAG vs 파인튜닝 차이, 나만의 AI 챗봇엔 뭘 써야 할까?

"그거 다 같은 말 아냐?"에서 시작됐다

"우리 회사 자료를 다 알고 대답하는 챗봇을 만들고 싶다." "내 기록으로 답하는 나만의 AI를 갖고 싶다." 이런 이야기를 하다 보면 세 단어가 연달아 튀어나온다. 그리고 대화는 대략 이렇게 흘러간다.

• "머신러닝이 내가 원하는 AI로 만드는 기술 아냐?"
• "그럼 RAG는? 내가 가진 정보에서 답 줄 때 쓰는 거잖아."
• "어? 그러면 파인튜닝도 결국 같은 말 아냐?"

세 문장 모두 그럴듯하다. 실제로 셋 다 "내 데이터로, 내가 원하는 답을 얻는다"는 목표와 닿아 있기 때문이다. 그런데 목표가 겹친다고 같은 말인 것은 아니다.

이 글은 코드 한 줄 없이, 키워드만 들어본 사람 기준으로 세 단어의 관계를 정리한다. 핵심은 셋이 같은 층위의 선택지가 아니라는 것이다. 층위를 정리하고 나면, 이 세 단어 중 실제로 비교해야 할 대상은 파인튜닝과 RAG 둘뿐이라는 게 보인다.

---

층위부터 정리하기 — 분야 하나, 기법 둘

들어가기 전에 단어 하나만 짚자. 챗GPT처럼 글을 읽고 쓰는 AI 모델을 LLM(대규모 언어 모델)이라고 부른다. 파인튜닝과 RAG는 둘 다 "이미 만들어진 LLM을 내 상황에 맞게 쓰는 방법"이고, 머신러닝은 그 LLM을 만들어낸 기술 분야 전체의 이름이다. 이 한 문장만 기억하면 아래가 훨씬 쉬워진다.

머신러닝이 '사람을 교육한다'는 방법론 전체라면, 파인튜닝은 신입사원 직무 연수이고, RAG는 오픈북 시험이다.

머신러닝 - 규칙을 적어주는 게 아니라, 데이터로 배우게 한다

정확한 정의부터. 머신러닝은 명시적으로 규칙을 프로그래밍하지 않아도, 컴퓨터가 데이터로부터 스스로 성능을 개선하게 만드는 기술이다. 사람이 "스팸 메일에는 '대출'이라는 단어가 들어 있다" 같은 규칙을 일일이 적어주는 대신, 메일 수만 개를 보여주고 패턴을 찾게 한다.

층위로 보면 인공지능(AI)이 가장 큰 원이다. 사람이 규칙을 직접 짜 넣은 프로그램까지 포함하는 넓은 말이고, 그 안에 데이터로 배우는 머신러닝이, 머신러닝 안에 인공 신경망을 깊게 쌓는 딥러닝이 있다. 유튜브 추천, 사진 앱의 얼굴 인식, 알아서 채워지는 스팸함까지 — 우리는 이미 매일 머신러닝 속에서 산다.

챗GPT 같은 LLM은 이 딥러닝의 산물이다. 글을 '토큰'이라는 작은 단위(단어 하나 또는 단어 조각)로 쪼갠 뒤, "다음에 올 토큰은 무엇인가"를 어마어마한 양의 텍스트로 연습시킨 결과물이다.

그러니 "머신러닝이 내가 원하는 AI로 만드는 기술"이라는 말이 틀린 건 아니다. 다만 그건 특정 수단의 이름이 아니라 분야 전체의 이름이다. "이사할 때 포장이사를 쓸까, 운송업을 쓸까"라고 묻지 않는 것처럼, 머신러닝은 선택지가 아니라 무대다. 파인튜닝과 RAG를 고민하는 순간, 이미 그 무대 위에 서 있다.

파인튜닝 - 다 배운 모델에게 '우리 방식'을 추가로 가르치기

정확한 정의는 이렇다. LLM 내부에는 학습으로 결정된 수십억 개의 숫자가 들어 있다. 가중치(파라미터)라고 부르는데, 모델이 어떤 표현과 어떤 답을 얼마나 강하게 고를지 조절하는 값들이다. 파인튜닝은 사전 학습을 마친 모델의 이 가중치를 내 데이터로 추가 학습시켜 실제로 바꾸는 과정이다.

학습 재료로는 대표적으로 "이런 질문에는 이렇게 답한다"는 질문-모범답변 쌍을 수백~수천 개 모아 쓴다. 가중치 전체를 다시 학습시키기도 하고, 원래 가중치는 그대로 둔 채 작은 보조 파라미터만 덧붙여 학습해 비용을 낮추는 방식(LoRA 등)도 널리 쓰인다.

비유하면 학교 교육을 다 마친 신입사원에게 직무 연수를 시키는 일이다. 연수를 마친 직원의 머릿속이 실제로 바뀌듯, 파인튜닝은 모델 자체가 바뀐다. 그래서 "항상 존댓말로, 인사→답변→안내 순서로" 같은 조건을 매번 지시문에 써 붙이지 않아도 알아서 그렇게 답한다.

한계도 연수와 같다. 학습이 끝난 시점 이후에 바뀐 정보는 모른다. 새 내용을 반영하려면 데이터를 다시 만들어 재학습해야 하고, 그때마다 비용과 시간이 든다. 그리고 학습했다고 전부 정확히 기억하는 것도 아니다 — 파인튜닝은 확률적인 경향을 만드는 것이지, 데이터베이스처럼 저장하는 게 아니다.

RAG - 답하기 전에 자료를 찾아 읽게 하기

RAG는 Retrieval(검색)-Augmented(보강)-Generation(생성)의 약자다. 이름 그대로 "검색으로 보강해서 답을 만든다"는 뜻이고, 가장 널리 쓰이는 벡터 검색 방식 기준으로 동작은 이렇다.

1. 미리 내 문서를 잘게 쪼개고(청킹), 각 조각을 의미가 담긴 숫자 좌표(임베딩 벡터)로 변환해 검색용 데이터베이스에 저장해 둔다. 의미가 비슷한 문장일수록 가까운 좌표가 되도록 변환하는 게 핵심이다
2. 질문이 들어오면 질문도 같은 방식으로 좌표로 바꿔, 좌표가 가까운(= 의미가 가까운) 문서 조각들을 찾는다
3. 찾은 조각을 질문과 함께 프롬프트(모델에게 건네는 입력문)에 넣어 "이걸 근거로 답해"라고 시킨다

여기서 파인튜닝과의 결정적 차이가 나온다. RAG는 모델의 가중치를 전혀 건드리지 않는다. 파인튜닝이 모델을 바꾸는 기법이라면, RAG는 모델은 그대로 두고 입력을 바꾸는 기법이다.

비유하면 오픈북 시험이다. 다만 응시자가 직접 책을 뒤지는 게 아니라, 검색 시스템이 관련 있어 보이는 몇 쪽을 골라 책상 위에 놓아주는 오픈북이다. 매뉴얼이 바뀌면? 창고의 문서를 갈아끼우고 다시 쪼개 저장해 두기만 하면 다음 질문부터 바로 반영된다. 재교육이 필요 없다.

물론 만능은 아니다. AI가 근거 없이 그럴듯한 거짓을 지어내는 현상을 환각(hallucination)이라고 부르는데, RAG는 근거 문서를 쥐여줘서 환각을 줄인다. 하지만 검색이 엉뚱한 문서를 집어오면, 모델은 그 엉뚱한 근거로 자신 있게 틀린다. 문서가 최신인지, 찾기 좋게 정리돼 있는지가 RAG 품질의 절반이다.

---

파인튜닝이냐 RAG냐 — 뭘 보고 고르나

표보다 먼저 던져야 할 질문은 세 가지다. 쇼핑몰 고객센터 챗봇을 만든다고 해보자.

1. 바꾸고 싶은 게 지식인가, 행동인가? — "반품 규정을 알고 답하게 하고 싶다"는 지식 문제라 RAG, "항상 우리 브랜드 말투로 답하게 하고 싶다"는 행동 문제라 파인튜닝이다.
2. 그 정보는 얼마나 자주 바뀌나? — 반품 규정이 분기마다 바뀐다면, 바뀔 때마다 재학습하는 건 낭비다. 문서만 갈아끼우는 RAG가 유리하다.
3. "어디에 나온 답인지" 보여줘야 하나? — 근거 문서를 함께 보여줘야 신뢰가 생기는 서비스라면 RAG가 자연스럽다.

비용만 보면 어느 한쪽이 항상 저렴하지 않다. 파인튜닝은 학습 자료를 만들고 재학습할 때마다 목돈이 들고, RAG는 검색 시스템과 문서 창고를 계속 관리해야 하는 유지비가 든다.

---

자주 하는 오해 세 가지

1. "파인튜닝하면 모델이 최신 정보를 알게 된다"

연수를 아무리 시켜도 연수 이후에 바뀐 규정은 모른다. 파인튜닝으로 지식을 넣는 것이 불가능하진 않지만, 계속 바뀌는 정보를 따라가는 용도로는 비효율적이다. 그 일은 RAG의 몫이다.

2. "RAG가 있으면 파인튜닝은 필요 없다"

RAG는 자료를 쥐여줄 뿐, 말투와 습관까지 바꿔주지는 않는다. 물론 순서는 있다. 답변 형식이 흐트러진다면 먼저 지시문(프롬프트)을 다듬어 보는 게 가장 싸고 빠른 해결책이다. 그렇게 해도 계속 흐트러질 때, 그건 자료 문제가 아니라 훈련 문제 — 비로소 파인튜닝의 영역이다.

3. "문서만 연결하면 RAG가 알아서 정확히 답한다"

창고에 3년 전 규정이 섞여 있으면 답도 3년 전 답이 나온다. 문서를 최신으로 유지하고, 찾기 좋게 쪼개고, 봐서는 안 될 사람에게 보이지 않게 권한을 관리하는 일이 RAG 운영의 절반이다. "근거를 못 찾으면 답하지 않는다"는 규칙도 함께 설계해야 한다.

---

실무에서는 둘을 같이 쓴다

파인튜닝과 RAG는 경쟁 관계가 아니라 역할 분담 관계다. 잘 만든 고객센터 챗봇을 사람으로 그려보면 이렇다. 자료 담당자가 최신 매뉴얼에서 관련 페이지를 찾아 건네면(RAG), 연수를 마쳐 회사 말투가 몸에 밴 직원이(파인튜닝) 그걸 근거로 답한다.

정리하면 파인튜닝은 '어떻게 답할지'를 조정하고, RAG는 '무엇을 근거로 답할지'를 공급한다. 칼로 자르듯 나뉘는 경계는 아니다 — 파인튜닝으로 지식을 넣을 수도 있고, 검색된 자료가 말투에 영향을 주기도 한다. 그래도 첫 판단 기준으로는 이만한 구분이 없다.

---

세 줄 정리

1. 머신러닝 — 규칙을 프로그래밍하지 않고 데이터로 배우게 하는 기술 분야 전체. 고르는 대상이 아니라 무대다.
2. 파인튜닝 — 모델의 가중치를 추가 학습으로 실제로 바꿔 답하는 방식(말투·형식·습관)을 조정하는 기법. 신입사원 직무 연수.
3. RAG — 모델은 그대로 두고, 검색한 문서를 입력에 넣어 답의 근거를 공급하는 구조. 오픈북 시험.

"내 데이터로 답하는 AI를 만들고 싶다"는 문장을 둘로 쪼개보자. 답의 근거를 내 데이터로 바꾸고 싶은 거라면 RAG, 답하는 방식을 내 방식으로 바꾸고 싶은 거라면 파인튜닝이다. 그리고 그 전부가 머신러닝이라는 분야 위에서 벌어지는 일이다.