안녕하세요, 비즈니스 혁신 파트너 BSG입니다.

지난 글들에서 기업의 AI 도입을 이야기하며 두 가지 오해를 짚었습니다.
"우리 데이터로 AI를 학습시키면 된다"는 오해, 그리고 "ChatGPT가 우리 사내 시스템이랑 연결이 안 된다"는 현실이었죠.

그러면서 한 가지 질문이 자연스럽게 따라옵니다.
"그럼 우리 회사 데이터를 안전하게 쓰면서, 우리만의 AI를 만들려면 대체 뭘 써야 하나요?"

오늘은 그 질문에 대한 AWS의 대표적인 답, Amazon Bedrock을 풀어보겠습니다.

Bedrock을 한 문장으로 말하면

Amazon Bedrock은 여러 AI 회사의 파운데이션 모델(FM)을 골라 쓰면서, 생성형 AI 애플리케이션과 에이전트를 구축할 수 있는 완전관리형 플랫폼입니다.

용어가 어려우니 비유를 들어볼게요.

ChatGPT가 '완성된 가전제품'이라면, Bedrock은 'AI를 만들 수 있는 잘 갖춰진 주방'에 가깝습니다.
원하는 재료(AI 모델)를 고르고, 우리 회사 데이터라는 비법 소스를 넣어, 우리 업무에 맞는 요리(AI 앱)를 만드는 공간인 셈입니다.

핵심은 '완성품을 그대로 쓰는' 게 아니라, '우리 환경에 맞게 만들어 쓴다'는 데 있습니다.

첫 번째 특징 — 모델을 '골라' 쓴다

Bedrock의 가장 큰 특징은 특정 회사 모델 하나에 묶이지 않는다는 점입니다.

Amazon 자체 모델은 물론 Anthropic, AI21 Labs, Cohere, Meta, Mistral AI, Stability AI 같은 주요 AI 기업의 다양한 모델을 하나의 환경에서 쓸 수 있습니다.
중요한 건 어떤 모델을 고르든 단일 API로 호출할 수 있다는 점입니다.
덕분에 모델을 바꿔도 코드 변경을 최소화하면서 최신 모델로 갈아탈 수 있습니다.

왜 이게 중요할까요?
AI 모델은 몇 달 단위로 새 버전이 쏟아집니다.
특정 모델에 시스템을 통째로 묶어두면, 더 좋은 모델이 나와도 갈아타기가 어렵습니다.
Bedrock은 "글쓰기엔 A 모델, 요약엔 비용이 싼 B 모델" 식으로 업무에 맞게 골라 쓰고, 필요하면 언제든 바꿀 수 있는 유연함을 줍니다.

두 번째 특징 — 우리 데이터를 '안전하게' 붙인다

기업이 AI 도입에서 가장 걱정하는 건 결국 보안입니다.
"우리 회사 기밀 데이터를 외부 AI에 넣어도 괜찮을까?"

Bedrock은 이 지점을 정조준합니다.
개발을 간소화하면서도 개인정보 보호와 보안을 유지하는 완전관리형 서비스로 설계됐고, 모델을 우리 데이터로 사용자 지정하더라도 그 과정이 비공개로 이뤄집니다. 

데이터를 붙이는 방법도 두 가지로 나뉩니다.

하나는 RAG(검색 증강 생성) 방식입니다.
모델 자체를 바꾸지 않고, 질문이 들어오면 우리 회사 문서·매뉴얼·데이터에서 관련 정보를 찾아와 답변에 반영하는 방식입니다. B
edrock의 '지식 기반'이 이 역할을 합니다.

다른 하나는 미세 조정(Fine-tuning) 방식입니다.
우리 데이터로 모델 자체를 우리 업무에 맞게 조정하는 방식이죠.

이전 글에서 "데이터를 무작정 학습시키는 게 능사가 아니다"라고 했는데,
대부분의 기업에는 모델을 통째로 학습시키는 것보다 RAG로 '필요할 때 정확한 자료를 찾아 쓰게 하는' 방식이 더 현실적이고 안전합니다.

세 번째 특징 — 단순 답변을 넘어 '일을 처리'한다

요즘 AI의 화두는 '에이전트(Agent)'입니다. 질문에 답만 하는 게 아니라, 실제 업무를 단계별로 처리하는 AI죠.

Bedrock도 이 방향으로 확장됐습니다.
Bedrock Agents는 회사 시스템·API·데이터 소스에 연결해 사용자 요청을 분류하고, 필요한 정보를 수집해 다단계 작업을 자동으로 완료합니다.

예를 들어볼게요.
고객이 보험 청구 자격을 문의하면, 에이전트가 사내 지식 기반에서 정책을 찾아 "운전면허증, 손상된 차량 사진, 사고 보고서를 제출해야 한다"처럼 실제 제출 서류까지 안내합니다.
복잡한 요구에는 여러 전문 에이전트가 협업해 함께 문제를 푸는 다중 에이전트 방식도 지원합니다.

지난 글에서 다룬 MCP가 "AI와 사내 시스템을 연결하는 표준 통로"였다면, Bedrock Agents는 "그 연결 위에서 실제로 일을 수행하는 실행자"에 해당합니다.

실제로 효과가 있을까?

추상적인 이야기로 들릴 수 있어, 공개된 사례를 하나 보겠습니다.

금융 기업 Robinhood는 Bedrock을 활용해 6개월 만에 일일 토큰 처리량을 5억 개에서 50억 개로 확장하면서, 동시에 AI 비용은 80% 절감하고 개발 시간도 절반으로 줄였습니다. 이 회사 AI 책임자는 Bedrock의 모델 다양성·보안·규정 준수 기능이 규제 산업에 맞게 설계됐다고 평가했습니다.

규제가 까다로운 금융권에서 이런 성과가 나왔다는 점은, 보안과 컴플라이언스가 중요한 국내 기업에도 시사하는 바가 큽니다.

마무리 — "사서 쓰는 AI"에서 "만들어 쓰는 AI"로

정리하면 이렇습니다.

Amazon Bedrock은
① 여러 모델을 골라 쓰고
② 우리 데이터를 안전하게 붙이고
③ 단순 답변을 넘어 실제 업무를 처리하는 에이전트까지 만들 수 있는,
'기업용 AI를 만드는 플랫폼'입니다.

"ChatGPT 구독해서 쓰는 것"과 "우리 회사 데이터와 시스템에 맞는 AI를 만드는 것"은 전혀 다른 이야기입니다.
그리고 후자를 고민하기 시작했다면, Bedrock은 가장 먼저 검토해볼 만한 선택지입니다.

물론 모델 선택, 데이터 연결 방식(RAG vs 미세 조정), 보안 설계는 회사 상황에 따라 달라집니다.
이 부분은 별도로 짚어볼 만한 주제라, 다음 기회에 더 풀어보겠습니다.

 출처 : AWS 공식 홈페이지(Amazon Bedrock) 
기획 : 도예원