안녕하세요, 비즈니스 혁신 파트너 BSG입니다.

지난 글에서 직원들이 몰래 개인 AI에 회사 자료를 넣는 섀도우 AI 이야기를 했습니다.
결론은 이랬죠. 금지로는 해결되지 않고, 회사가 제공하는 공식 AI가 개인 AI보다 나아야 한다.

그 글 이후 이런 질문을 받았습니다. "그럼 그 공식 AI는 어떻게 만드나요?"

가장 많이 선택되는 형태가 사내 AI 챗봇입니다. 사내 규정, 업무 매뉴얼, 제품 문서를 근거로 직원 질문에 답하는 AI죠.
오늘은 이걸 AWS 위에서 만들 때 실제로 무엇이 필요한지 정리해보겠습니다.

왜 AWS 위에서 만들까

사내 AI 챗봇을 만드는 방법은 여러 가지지만, 이미 AWS를 쓰는 기업이라면 AWS 위에서 만드는 게 자연스러운 이유가 있습니다.

데이터가 회사 환경 밖으로 나가지 않습니다.
섀도우 AI의 핵심 문제는 회사 자료가 통제되지 않는 외부 서비스로 넘어간다는 것이었습니다.
AWS의 생성형 AI 서비스인 Amazon Bedrock은 회사가 관리하는 클라우드 환경 안에서 동작하고, 입력한 데이터를 모델 학습에 쓰지 않습니다.

모델을 골라 쓸 수 있습니다.
하나의 AI 회사에 묶이지 않고, 여러 회사의 모델 중 용도와 비용에 맞는 것을 선택하고 나중에 바꿀 수도 있습니다.

이미 있는 것과 연결됩니다.
사내 문서가 이미 AWS 저장소에 있고, 계정과 권한 체계도 AWS 안에 있다면 처음부터 새로 만들 것이 줄어듭니다.

만드는 방식은 두 갈래입니다

완성형 서비스를 쓰는 방법.
AWS가 제공하는 업무용 AI 비서 서비스에 사내 데이터 소스를 연결하는 방식입니다.
빠르게 시작할 수 있고 개발 부담이 적습니다.
대신 화면이나 동작 방식을 우리 회사에 맞게 바꾸는 데는 한계가 있습니다.

직접 구성하는 방법.
Bedrock을 중심으로, 사내 문서를 근거로 답하게 하는 지식 기반(Knowledge Bases) 기능과
답변을 통제하는 가드레일(Guardrails) 같은 구성 요소를 조합해 만드는 방식입니다.
손이 더 가지만, 그룹웨어나 ERP 같은 사내 시스템과 연결하거나 우리 업무 방식에 맞추기 좋습니다.

처음에는 완성형으로 빠르게 검증하고, 효과가 확인된 영역부터 직접 구성으로 넓혀가는 기업도 많습니다.

필요한 것 ① — 정리된 문서

챗봇의 품질은 모델보다 문서가 결정합니다.

같은 규정의 2021년 버전과 2025년 버전이 함께 들어가 있으면, 챗봇은 어느 쪽을 근거로 답할지 모릅니다.
폐지된 제도의 안내문, 담당자 개인 메모, 작성 중이던 초안까지 섞여 있으면 답이 흔들립니다.

지난 할루시네이션 글에서 말씀드린 원칙이 그대로 적용됩니다.
AI가 근거를 보고 답하게 하려면, 그 근거부터 정확해야 합니다.
무엇을 넣을지, 무엇이 최신본인지 정하는 작업이 가장 먼저입니다.

필요한 것 ② — 권한을 그대로 따르는 구조

가장 많이 놓치는 부분입니다.

인사 규정은 전 직원이 볼 수 있지만, 임원 보고서나 급여 자료는 그렇지 않습니다.
그런데 모든 문서를 한꺼번에 챗봇에 넣으면, 누군가 "올해 임원 연봉 인상률이 얼마예요?"라고 물었을 때 챗봇이 친절하게 답해버릴 수 있습니다.

그래서 챗봇은 질문한 사람이 원래 볼 수 있는 문서 안에서만 답해야 합니다.
문서마다 접근 범위를 표시해두고, 검색할 때 사용자의 권한에 맞는 문서만 근거로 쓰도록 설계해야 하죠.
지난 “AI 에이전트 권한” 글에서 다룬 원칙이 챗봇에도 똑같이 적용됩니다.

이 부분을 빠뜨리면, 섀도우 AI를 막으려다 회사 안에서 정보가 새는 새로운 문제를 만들게 됩니다.

필요한 것 ③ — 답변을 통제하는 장치

챗봇이 하지 말아야 할 말을 막는 장치도 필요합니다.

주민등록번호나 연락처 같은 개인정보가 답변에 섞여 나오지 않도록 걸러내고, 업무와 무관한 질문이나 부적절한 요청에는 답하지 않도록 정할 수 있습니다.
답변이 실제 근거 문서와 맞는지 확인해 근거 없는 답을 걸러내는 기능도 활용할 수 있고요.

그리고 답변에 근거 문서를 함께 보여주는 것이 좋습니다.
직원이 "이 답이 맞나?" 싶을 때 바로 원문을 확인할 수 있어야 신뢰가 쌓입니다.

필요한 것 ④ — 비용 구조에 대한 이해

사내 AI 챗봇은 서버처럼 매달 고정 비용이 나가는 구조가 아닙니다.
쓰는 만큼 비용이 발생합니다.
질문이 많을수록, 답변이 길수록, 근거로 읽는 문서가 많을수록 비용이 늘어나죠.

그래서 초기 시범 운영 때의 비용만 보고 전사 확대를 결정하면 곤란해질 수 있습니다.
열 명이 쓸 때와 천 명이 쓸 때는 완전히 다른 숫자가 나옵니다.

부서별로 사용량을 나눠 볼 수 있게 하고, 상한을 정해두고, 질문 유형에 따라 더 가벼운 모델을 쓰는 식으로 설계하면 비용을 관리할 수 있습니다.
처음부터 비용이 보이는 구조로 만드는 것이 핵심입니다.

필요한 것 ⑤ — 오픈 이후의 운영

챗봇은 오픈하면 끝나는 프로젝트가 아닙니다.

규정이 바뀌면 문서도 바뀌어야 하고, 새 제품이 나오면 매뉴얼이 추가돼야 합니다.
직원들이 어떤 질문을 했는데 챗봇이 못 답했는지, 틀리게 답했는지도 계속 살펴봐야 하죠.
"답변이 도움이 됐나요?" 같은 피드백을 모아 개선하는 흐름도 필요합니다.

이걸 놓치면 몇 달 뒤 챗봇은 오래된 정보를 자신 있게 말하는 AI가 되고, 직원들은 다시 개인 AI로 돌아갑니다.

시작은 작게

처음부터 전사 문서를 다 넣는 프로젝트는 대개 지칩니다.
문서 정리만으로 몇 달이 걸리니까요.

대신 질문이 많고, 문서가 정돈돼 있고, 틀려도 큰일 나지 않는 영역부터 시작하는 것을 권합니다.
인사 규정과 복리후생 문의, IT 헬프데스크, 제품 매뉴얼 같은 곳이 좋은 출발점입니다.

실제로 이 블로그에서 소개한 LX MMA 사례도 비슷한 출발이었습니다.
방대한 매뉴얼을 AI가 대신 읽고 답하게 만든 사례였죠.
범위가 명확했기 때문에 효과도 분명하게 확인할 수 있었습니다.

마무리

섀도우 AI를 없애는 가장 확실한 방법은, 직원들이 개인 AI보다 회사 AI를 쓰는 게 더 편하다고 느끼게 만드는 것입니다.

그러려면 회사 AI가 우리 회사 문서를 정확히 알고, 권한을 지키고, 근거를 보여주고, 꾸준히 관리돼야 합니다.
모델이 똑똑한 것보다 이 다섯 가지가 갖춰졌는지가 성패를 가릅니다.

BSG는 AWS MSP 인증 파트너로서 LX MMA, LX판토스 등 여러 기업과 AWS 기반 AI 구축을 함께해왔습니다.
사내 AI 챗봇을 어디서부터 시작할지 고민이시라면, 첫 범위를 정하는 것부터 함께 해보시죠.

 출처 : Amazon Bedrock 공식 문서(Knowledge Bases, Guardrails), BSG Partners AWS 기반 AI 구축 경험 
기획 : 도예원