안녕하세요, 비즈니스 혁신 파트너 BSG입니다.
AI를 써보신 분이라면 한 번쯤 이런 경험이 있으실 겁니다.
질문을 했더니 AI가 아주 자신 있게, 깔끔한 문장으로 답합니다.
출처까지 붙어 있어 믿음직해 보입니다.
그런데 확인해보니 그런 자료는 존재하지 않습니다. 숫자도, 인용도, 심지어 출처도 AI가 만들어낸 것이었죠.
이 현상을 할루시네이션(Hallucination), 우리말로 '환각'이라고 부릅니다.
개인이 쓸 때는 웃고 넘길 수 있지만, 기업이 업무에 AI를 쓰기 시작하면 이야기가 달라집니다.
오늘은 할루시네이션이 왜 생기는지, 그리고 기업은 어떻게 다뤄야 하는지 정리해보겠습니다.
할루시네이션은 AI가 사실이 아니거나 근거가 없는 내용을, 사실인 것처럼 그럴듯하게 만들어내는 현상입니다.
핵심은 '그럴듯하게'에 있습니다.
AI는 틀린 답을 머뭇거리며 내놓지 않습니다.
맞는 답과 똑같은 어조로, 똑같이 자신 있게 말합니다.
그래서 읽는 사람이 구분하기 어렵습니다.
할루시네이션을 이해하려면 생성형 AI가 어떻게 답을 만드는지 알아야 합니다.
우리가 쓰는 대규모 언어모델(LLM)은 사실을 저장해둔 데이터베이스가 아닙니다.
방대한 글을 학습해 "이 문맥 다음에는 어떤 말이 올 가능성이 높은가"를 예측하며 문장을 만들어냅니다.
그래서 이런 일이 생깁니다.
모르는 것도 그럴듯하게 채웁니다.
사람은 모르면 "잘 모르겠는데요"라고 하지만, AI는 확률적으로 가장 자연스러운 답을 만들어냅니다.
그게 사실이 아니어도요.
학습 이후의 일은 모릅니다.
AI가 학습한 시점 이후에 바뀐 법, 새로 나온 제품, 최근 숫자는 알 수 없습니다.
그런데도 질문하면 예전 정보나 추측으로 답할 수 있습니다.
우리 회사 정보는 처음부터 모릅니다.
공개된 범용 AI는 우리 회사의 재고, 거래처, 사내 규정을 학습한 적이 없습니다.
이걸 물으면 아는 척 일반론을 섞어 답하게 됩니다.
즉 할루시네이션은 AI의 버그라기보다, 현재 생성형 AI가 작동하는 방식에서 자연스럽게 나오는 특성에 가깝습니다.
숫자가 틀립니다.
매출, 재고, 원가 같은 숫자를 AI가 그럴듯하게 만들어내면, 그 숫자가 그대로 보고서에 들어갈 수 있습니다.
규정을 지어냅니다.
"우리 회사 출장비 규정이 어떻게 되나요?"라고 물었을 때, AI가 일반적인 회사 규정을 마치 우리 규정인 것처럼 답할 수 있습니다.
자신감 때문에 검증을 건너뜁니다.
답이 매끄러울수록 사람은 확인하지 않습니다. 할루시네이션이 위험한 진짜 이유는 틀리는 것 자체보다, 틀린 줄 모르고 쓰게 된다는 데 있습니다.
에이전트라면 실행까지 갑니다.
답만 하는 AI라면 사람이 한 번 걸러낼 기회가 있지만, 업무를 직접 처리하는 AI 에이전트라면 틀린 판단이 곧바로 발주나 승인 같은 행동으로 이어질 수 있습니다.
덧붙여 비슷한 결과를 만드는 문제가 하나 더 있습니다.
예전 SAP NOW 기조에서 소개한 "재고가 몇 개냐"는 질문처럼, 창고 실물 기준이냐 가용 재고 기준이냐에 따라 답이 달라지는 경우요.
엄밀히 말하면 할루시네이션은 아니지만, 기준을 모르는 AI가 엉뚱한 기준으로 답하면 사용자에게는 똑같이 ”AI가 틀렸다"가 됩니다.
할루시네이션을 완전히 없애는 방법은 아직 없습니다.
하지만 업무에 쓸 수 있는 수준으로 줄이고, 틀렸을 때 알아챌 수 있게 만드는 방법은 있습니다.
① AI가 근거를 보고 답하게 합니다.
가장 중요한 원칙입니다.
AI가 기억에 의존해 답하는 대신, 질문이 들어오면 회사의 실제 데이터와 문서에서 관련 내용을 찾아 그걸 근거로 답하게 하는 방식입니다.
흔히 RAG(검색 증강 생성) 또는 그라운딩이라고 부릅니다. 사내 규정을 물으면 실제 규정 문서를 찾아 읽고 답하는 것이죠.
② 답에 출처를 붙이게 합니다.
어떤 문서, 어떤 데이터를 근거로 답했는지 함께 보여주면 사용자가 바로 확인할 수 있습니다.
출처를 보여줄 수 없는 답이라면 그 자체가 경고 신호가 됩니다.
③ 숫자는 시스템이, 설명은 AI가 하게 합니다.
매출이나 재고 같은 숫자를 AI가 '생성'하게 두지 말고, ERP에서 조회한 값을 그대로 가져오게 합니다.
AI는 그 숫자를 해석하고 설명하는 역할만 맡깁니다. 숫자의 정확성은 시스템이 책임지는 구조입니다.
④ 모르면 모른다고 하게 합니다.
근거를 찾지 못했을 때 그럴듯한 답을 지어내는 대신 "확인할 수 있는 자료가 없습니다"라고 답하도록 설정할 수 있습니다.
답을 못 하는 AI가 틀린 답을 하는 AI보다 훨씬 안전합니다.
⑤ 데이터의 기준을 정의합니다.
'재고', '매출', '인원'이 우리 회사에서 무엇을 뜻하는지 정해두지 않으면, AI는 그중 하나를 골라 답합니다.
데이터의 의미가 정리돼 있어야 AI의 답도 일관됩니다.
⑥ 중요한 결정에는 사람이 확인합니다.
조회나 요약은 맡기더라도, 금액이 크거나 되돌릴 수 없는 결정은 사람이 최종 확인하는 단계를 둡니다.
여섯 가지를 다시 보면 공통점이 있습니다.
대부분이 AI 모델이 아니라 데이터와 연결 구조의 문제라는 점입니다.
더 좋은 모델로 바꾸면 할루시네이션이 줄어들 수는 있지만, 우리 회사 데이터를 모르는 AI는 여전히 우리 회사에 대해 지어낼 수밖에 없습니다.
반대로 정돈된 회사 데이터에 안전하게 연결된 AI는, 모델이 같아도 훨씬 정확하게 답합니다.
SAP가 Joule에 문서 그라운딩 기능을 넣고,
SAP 데이터의 의미와 맥락을 함께 전달하는 데이터 기반(BDC)을 내놓은 것도,
AWS가 기업 문서를 근거로 답하는 지식 기반 구조를 제공하는 것도 같은 이유입니다.
BSG는 SAP 데이터 기반 AI 구축과 BDC 프로젝트를 국내에서 가장 많이 수행해왔고,
AWS MSP 파트너로서 회사가 통제하는 환경 안에서 AI를 운영하는 구조를 함께 만들어왔습니다.
결국 할루시네이션을 줄이는 일은, AI가 회사의 정확한 데이터를 보고 답하게 만드는 일이기 때문입니다.
할루시네이션은 AI를 쓰지 말아야 할 이유가 아닙니다.
AI를 어떻게 연결하고 검증해야 하는지 알려주는 신호입니다.
AI에게 "모든 걸 알아서 답해줘"라고 맡기는 대신,
"이 데이터를 보고 답해줘, 근거를 함께 보여줘, 모르면 모른다고 해줘"라고 구조를 만들어주는 것. 그 차이가 그럴듯한 AI와 믿을 수 있는 AI를 가릅니다.
출처 : 생성형 AI 작동 원리 일반, BSG Partners SAP·AWS 기반 AI 구축 경험
기획 : 도예원