SAP Joule 이해하기 시리즈 #2- Joule은 어떻게 작동하는가

작성자: BSG Partners | 2025. 7. 18 오전 6:58:32

이 블로그는 「8단계로 이해하는 Joule」 시리즈의 일부입니다.
이전 블로그 1편 – Joule 소개에서는 Joule이 무엇인지, 그리고 고객이 어떻게 활용할 수 있는지를 배웠습니다.

이번 포스트에서는 Joule이 실제로 어떻게 작동하는지를 살펴보겠습니다.

지금까지 배운 내용을 간단히 정리해보면:

1. Joule은 고급 생성형 AI 코파일럿입니다.
2. SAP S/4HANA, SAP SuccessFactors 등 다양한 SAP 애플리케이션에 내장되어 있습니다.
3. 사용자는 자연어로 질문을 입력하면, 지능적이고 문맥에 맞는 답변을 받을 수 있습니다.

이제 본격적으로 Joule이 작동하는 과정을 살펴보겠습니다.

아래 이미지는 사용자 입력부터 Joule이 최종 응답을 제공하기까지의 전체 흐름을 요약한 것입니다.

1단계 – 사용자가 프롬프트 입력

사용자는 SAP S/4HANA, SuccessFactors 등 SAP 클라우드 솔루션에 내장된 Joule 클라이언트에서 자연어로 질문을 입력하며 시작합니다.

2단계 – Joule이 요청을 처리하고 조율

1. Joule은 먼저 입력이 시나리오 카탈로그에 해당하는지 분석합니다.

시나리오 카탈로그란?
Joule의 시나리오 카탈로그는 SAP 클라우드 애플리케이션 전반에 걸쳐 정의된 시나리오, 기능, 스킬에 대한 메타데이터가 담긴 포괄적인 저장소입니다.
사용자의 입력은 이 카탈로그와 비교되어, 사전 정의된 시나리오나 기능에 적합한지를 판단합니다.
이 과정을 통해 Joule은 SAP 생태계 내 기능을 기반으로 정확하고 문맥에 맞는 응답을 생성할 수 있습니다.

2. 그 다음, Joule은 Knowledge Catalog를 기반으로 정보 필터링을 수행합니다.
이 과정은 RAG (검색 기반 생성, Retrieval-Augmented Generation) 방식에 기반하여, LLM이 더 정확하고 관련성 높은 응답을 생성할 수 있도록 도와줍니다.

Knowledge Catalog는 SAP의 독자적 지식과, 문서 기반으로 고객이 소유한 정보를 포함하는 저장소입니다 (Document Grounding 기반).

3. Joule은 사용자 맥락 및 대화 이력도 인식합니다.

여기에는 사용자가 현재 사용하는 SAP 클라우드 애플리케이션, 고객이 Joule과 함께 라이선스 및 활성화한 다른 SAP 애플리케이션 정보가 포함됩니다.
또한, 사용자의 역할과 권한도 인식되므로, 사용자가 SAP 애플리케이션에서 직접 수행할 수 없는 작업은 Joule을 통해서도 불가능합니다.

3단계 – Joule이 LLM에 고도화된 질의 전달

이제 Joule은 앞서 분석한 모든 정보를 바탕으로, 보다 풍부한 질의를 LLM(Large Language Model)에 전달합니다.

이러한 LLM은 SAP BTP의 일부인 Generative AI Hub를 통해 제공됩니다.

Joule은 어떤 LLM을 사용하는가?

Joule은 SAP의 멀티 파트너 전략에 따라 다양한 기초 모델(Foundation Model)을 사용할 수 있도록 설계되었습니다.
각 사용 사례에 최적화된 성능을 제공하기 위해 가장 적절한 모델이 선택됩니다.

Joule은 SAP BTP의 AI Foundation 내 Generative AI Hub에서 SAP 고객 및 파트너에게 제공되는 모델만을 사용합니다.

또한, SAP는 LLM 제공업체와의 엄격한 계약을 통해 어떠한 SAP 고객 데이터도 AI 모델의 학습에 사용되지 않도록 보장하고 있습니다.

4단계 – LLM이 Joule에 응답 반환

LLM은 분석을 마친 후 Joule에 응답을 반환합니다.
이 응답은 다음 두 가지 방식 중 하나입니다:

LLM의 학습 데이터 및 지식에 기반한 응답 → 사용자에게 직접 전달
Joule 기능을 호출해야 하는 경우 → SAP 클라우드 애플리케이션의 시나리오와 연결되는 Joule 기능을 통해 실행

즉, 사용자의 질문이 SAP 시스템 내 동작이나 데이터 호출을 요구한다면, LLM은 이를 인식하고 Joule이 관련 기능을 호출하도록 안내합니다. (예: S/4HANA, SuccessFactors 등)

5단계 – Joule이 SAP 백엔드 시스템 호출

필요 시, Joule은 Joule Functions를 활용해 SAP 백엔드 시스템에 요청을 전달합니다.

1. Joule은 적절한 SAP 백엔드 시스템에 요청을 전송합니다.
이때 필요한 정보는 OData 호출을 통해 가져오거나, 대화형 시나리오의 경우 SAP 애플리케이션에서 사용된 또 다른 LLM을 호출하여 처리할 수도 있습니다. (예: 인터뷰 질문 자동 생성 기능)

2. SAP 시스템에서 필요한 정보를 수신한 후 Joule이 이를 처리합니다.

3. 응답은 다시 한번 보안성, 데이터 프라이버시, 책임 있는 AI 원칙에 따라 필터링 및 검증됩니다.
이 단계는 사용자가 신뢰할 수 있는 안전하고 정확한 결과를 받을 수 있도록 보장합니다.

6단계 – 사용자에게 최종 응답 제공

사용자는 Joule로부터 최종 응답을 수신하며, 이 전체 대화 및 응답 프로세스는 기업 보안, 개인정보 보호, 책임 있는 AI 원칙을 철저히 준수하여 처리됩니다.

원문: SAP Community, Understanding Joule
기획자: 박진석

전체 게시물 보기