안녕하세요, 비즈니스 혁신 파트너 BSG입니다.

요즘 경영진 회의에서 이런 말이 자주 나옵니다.
"우리 10년치 데이터 있잖아요. 그거 AI한테 학습시키면 우리만의 AI 만들 수 있는 거 아닌가요?"
틀린 말은 아닙니다.

하지만 이 한 문장 안에 오해가 최소 세 개 들어있습니다.
그리고 이 오해를 가진 채로 프로젝트를 시작하면, 수억 원을 쓰고도 "왜 ChatGPT보다 못하지?"라는 결론에 도달하게 됩니다.

오늘은 현장에서 가장 많이 마주치는 AI 학습 관련 오해들을 솔직하게 풀어드립니다.

오해 1. "학습시키면 AI가 우리 회사 전문가가 된다"

많은 분들이 AI 학습을 이렇게 상상합니다.
"우리 계약서, 영업 보고서, 고객 데이터를 넣으면 → AI가 다 읽고 → 우리 회사 전문가처럼 대답한다"

실제로는 두 가지 방식이 있고, 작동 방식이 전혀 다릅니다.

파인튜닝(Fine-tuning)
AI 모델 자체를 우리 데이터로 추가 학습시키는 방법입니다.
모델이 특정 말투, 형식, 도메인 지식에 익숙해지게 만들 수 있습니다.
하지만 학습한 내용을 "기억"하는 게 아니라 통계적 패턴을 조정하는 것이기 때문에, "3분기 계약서에 뭐라고 나와 있어?"같은 질문에는 답하지 못합니다.

RAG(Retrieval-Augmented Generation)
AI가 답변하기 전에 우리 회사 문서를 실시간으로 검색해서 참조하게 만드는 방법입니다.
"3분기 계약서 찾아서 핵심 조건 알려줘"같은 질문에는 RAG가 훨씬 적합합니다.

핵심: 대부분의 기업이 원하는 건 파인튜닝이 아니라 RAG입니다.그런데 "AI 학습"이라는 말을 들으면 파인튜닝을 먼저 떠올립니다.

오해 2. "데이터만 있으면 바로 시작할 수 있다"

"10년치 데이터 있다"는 말, 현장에서 확인해보면 보통 이런 상태입니다.

• 엑셀 파일 수백 개, 담당자마다 형식이 다름
• 스캔된 PDF라 텍스트 추출이 안 됨
• 컬럼 이름이 'A', 'B', '최종_진짜최종_v3'
• 일부 데이터는 개인정보가 포함되어 그대로 쓸 수 없음

AI 프로젝트에서 실제 개발보다 데이터 정제에 더 많은 시간이 걸리는 경우가 대부분입니다.
업계에서는 전체 AI 프로젝트 공수의 60~80%가 데이터 준비에 들어간다고 말하기도 합니다.
"데이터 있으니까 금방 되겠지"라는 생각으로 일정을 잡으면 반드시 지연됩니다.

오해 3. "한 번 학습시키면 끝이다"

AI 모델은 학습 후 방치하면 성능이 떨어집니다.

회사의 제품, 정책, 담당자, 프로세스는 계속 바뀝니다.
하지만 한 번 학습한 모델은 그 변화를 자동으로 반영하지 않습니다.
정기적으로 데이터를 업데이트하고 모델을 재학습하거나, RAG 방식이라면 문서 데이터베이스를 꾸준히 관리해야 합니다.

AI는 도입하는 순간이 아니라, 운영하는 동안 계속 손이 가는 시스템입니다.

오해 4. "GPT-4보다 우리 AI가 더 잘할 수 있다"

파인튜닝을 하면 GPT-4보다 뛰어난 AI를 만들 수 있을까요?

특정 좁은 도메인에서는 가능합니다.
예를 들어 우리 회사 제품의 A/S 매뉴얼만 전문으로 답변하는 AI라면, GPT-4보다 더 정확하고 일관된 답변을 낼 수 있습니다.

하지만 일반적인 업무 전반에서 "GPT보다 똑똑한 우리 AI"를 만드는 건 현실적으로 불가능합니다.
OpenAI, Google, Anthropic 같은 회사들이 수조 원을 들여 만든 기반 모델을 우리 데이터 몇 년치로 뛰어넘을 수는 없습니다.

올바른 방향은 GPT를 이기려는 게 아니라, GPT 같은 강력한 모델 위에 우리 데이터를 연결해서 업무에 최적화하는 것입니다.

그럼 우리 회사는 어떻게 시작해야 하나요?

무작정 "AI 학습"부터 시작하기 전에, 다음 세 가지를 먼저 정의하는 게 맞습니다.

① 어떤 업무 문제를 해결하고 싶은가?
"AI 도입"이 목표가 되면 안 됩니다.
"영업팀이 계약서 검토하는 데 하루 걸리는 걸 30분으로 줄이고 싶다"처럼 구체적인 문제가 먼저여야 합니다.

② 그 문제에 맞는 AI 접근 방식은 무엇인가?
파인튜닝인지, RAG인지, 아니면 기존 AI API를 그대로 연결하는 것만으로 충분한지를 판단해야 합니다.

③ 우리 데이터가 실제로 쓸 수 있는 상태인가?
데이터 정제 없이 AI 프로젝트는 시작할 수 없습니다.
데이터 현황 진단이 선행되어야 합니다.

마무리

"우리 데이터로 AI 학습시키자"는 방향 자체는 맞습니다.
하지만 그 과정이 많은 분들이 생각하는 것보다 훨씬 복잡하고, 전략적인 판단이 필요합니다.

AI 도입을 검토하고 계신다면, 기술 선택 전에 무엇을 해결할 것인지, 데이터가 준비됐는지부터 점검해 보세요.

BSG는 기업의 데이터 현황과 업무 문제를 함께 진단하고, 실제로 현장에서 작동하는 AI 도입 전략을 설계합니다.
궁금하신 점이 있다면 편하게 문의해 주세요.

출처 :  RAG 및 Fine-tuning 개요 (https://aws.amazon.com/ko/what-is/retrieval-augmented-generation/) 
기획 : 도예원