오늘날 기업 환경에서 인공지능(AI)은 더 이상 ‘도입할까 말까’의 문제가 아닙니다. 이제는 AI가 어떻게 조직의 전략과 운영 전반에 녹아들 수 있을지가 핵심 과제로 떠올랐습니다. 특히 최근 화두로 떠오른 AI Agents(에이전트)는 기업의 디지털 혁신을 새로운 차원으로 끌어올릴 기술로 주목받고 있습니다.
그러나 동시에 한 가지 우려도 제기됩니다.
“AI Agents는 얼마나 자율적으로 두어야 할까?”
“모든 업무에 복잡한 AI 추론을 적용하는 것이 과연 효율적일까?”
기업은 속도와 비용, 그리고 신뢰성이라는 현실적인 제약 속에서 AI Agents를 활용해야 합니다. 단순히 ‘더 똑똑한 AI’를 쓰는 것이 아니라, 어떤 업무에 얼마만큼의 지능을 적용할지를 정교하게 설계해야 진정한 효과를 얻을 수 있습니다.
사람의 사고 과정도 마찬가지입니다. 노벨 경제학상 수상자 다니엘 카너먼(Daniel Kahneman)의 저서 Thinking, Fast and Slow는 우리가 두 가지 방식으로 사고한다는 점을 보여줍니다. 하나는 빠르고 직관적인 System 1 사고이고, 다른 하나는 느리고 깊이 있는 System 2 사고입니다. 우리는 매일 이 두 가지 방식을 오가며, 단순한 일에는 빠른 판단을, 복잡한 일에는 심층적인 사고를 적용합니다.
AI Agents 또한 같은 원리가 적용됩니다. 모든 업무에 System 2 방식의 복잡한 reasoning을 강제로 입히면, 속도와 비용이 크게 희생됩니다. 하지만 지나치게 단순화하면, 복잡한 문제를 풀지 못하고 신뢰성이 떨어지게 됩니다. 따라서 업무 난이도와 맥락에 따라 AI Agents가 서로 다른 ‘사고 모드’를 적용하도록 설계하는 것이야말로 기업이 AI를 통해 얻을 수 있는 진정한 경쟁력입니다.
SAP는 이 과제를 해결하기 위해 Joule이라는 인텔리전트 코파일럿을 제시합니다. Joule은 업무 성격에 따라 단순한 Skill 기반 자동화부터, 복합적 추론을 수행하는 Agents까지 단계적으로 적용할 수 있도록 설계되었습니다. 이를 통해 기업은 단순한 반복 업무에서는 안정성과 속도를, 복잡한 비즈니스 의사결정에서는 유연성과 깊이를 확보할 수 있습니다.
카너먼의 이론은 AI Agents를 이해하는 데 유용한 프레임을 제공합니다.
System 1 (빠른 사고): 직관적이고 즉각적인 반응. 시리얼 상자를 열거나 자전거 페달을 밟을 때처럼 고민 없이 수행되는 활동.
System 2 (느린 사고): 깊은 분석과 추론이 필요한 사고. 계약 조건을 검토하거나 투자 결정을 내릴 때처럼 신중함이 필요한 상황에서 작동.
AI Agents도 마찬가지로, 빠른 매칭과 실행이 적합한 업무와 복잡한 추론이 필요한 업무를 구분해 처리해야 합니다. 모든 문제를 System 2로 풀려고 하면 속도·비용·안정성 모두 떨어지게 됩니다.
현재 AI 업계에서는 AI Agents가 주목받고 있지만, 단순 업무에도 무겁고 복잡한 reasoning 모델을 적용하려는 경향이 있습니다. 그 결과는 다음과 같습니다.
속도 저하: 불필요하게 느린 의사결정
비용 증가: 고도 연산 자원의 낭비
신뢰성 저하: 불필요한 변수가 개입
사람이 망치질 하나에도 “이 각도가 적절한가, 힘의 크기가 맞는가”를 과도하게 고민하는 것과 같습니다. 실제로는 단순한 비교·매칭·실행으로 충분한 업무가 대부분입니다.
SAP는 이러한 비효율을 해결하기 위해 Joule이라는 인텔리전트 코파일럿을 통해 업무 난이도별 AI Agents 활용 단계를 명확히 구분합니다.
(Joule의 Reason 메커니즘 접근 방식은 위의 세 가지 단계로 구성되어 있습니다)
특징: 반복적이고 단순한 업무에 즉각 대응
사례: 구매 주문 생성, HR 기록 업데이트, 지출 보고 제출
효과: 빠르고 예측 가능하며 안정적. 복잡한 reasoning 불필요
특징: 여러 Skills를 조합하여 일련의 워크플로 자동화
사례: 구매 주문 생성 → 공급업체 확인 → 상태 업데이트
효과: 일정 수준의 추론이 필요하지만 여전히 결정론적. SAP Knowledge Graph를 활용하여 신뢰성과 반복성을 강화
특징: 맥락 이해, 복잡한 의사결정, 비결정론적 문제 해결
사례: 실시간 데이터 분석, 부서 간 자동화, 신규 시장 진출 전략 수립
효과: SAP Knowledge Graph 기반으로 비즈니스 데이터, 로직, 프로세스를 심층적으로 해석하며 고도 추론 수행
자율성은 ‘필요한 만큼만’
단순 업무에는 오히려 자율성을 최소화해야 결과가 더 예측 가능하고 안정적입니다. 일관성과 신뢰성이 핵심 가치이기 때문입니다.
복잡한 과제에는 고도 추론을 집중 적용
데이터 해석, 전략적 의사결정 등 비정형 과제에서는 System 2 추론이 필수입니다. 동시에 이 과정에서 축적된 통찰을 바탕으로 새로운 System 1 스킬을 만들어내어, 반복 업무를 더 단순화할 수 있습니다.
SAP CTO 겸 CAIO, Philipp Herzig은 기업 소프트웨어가 “Insight to Action”에서 “Reason and Act”로 전환하고 있다고 설명합니다.
과거: 사용자가 데이터를 해석하고 수동으로 행동을 결정
미래: 소프트웨어가 데이터를 해석하고 사용자에게 의미 있는 행동을 제안
이는 단순한 기술 발전이 아니라 비즈니스 운영 방식의 패러다임 전환입니다.
운영 효율성: 반복 업무는 Joule Skills로 단순화해 인적 자원을 고부가가치 업무에 집중
의사결정 신뢰성: 복잡한 문제는 Joule Agents가 처리해 일관성과 정밀도 보장
혁신 확장성: 경량 reasoning에서 얻은 학습 효과를 새로운 Skill로 전환, 조직 전반의 AI 활용도 확대
원문: SAP Community, AI agents: Thinking fast, thinking slow
기획자: 박진석