이 블로그는 8단계로 이해하는 Joule 시리즈의 일부입니다. 진행하기 전에 이전 블로그를 확인해 주세요.

• #1 – Joule 소개

• #2 – Joule의 작동 방식

• #3 – Joule 아키텍처

• #4 – Joule 상호작용 패턴

• #5 – SAP SuccessFactors에서의 Joule

이번 블로그에서는 Joule의 Document Grounding 에 대해 깊이 있게 살펴보겠습니다.

Document Grounding이란 무엇일까요?

예시로 한번 이해해봅시다.

만약 여러분이 Joule에게 이런 질문을 한다고 해봅시다:

“출장에 개인 차량을 사용할 수 있나요?”

이 질문의 답이 회사 내부의 정책 문서에 있다는 건 알지만, 문서를 일일이 찾아보는 대신 Joule을 통해 바로 답을 얻고 싶을 것입니다.

이것이 바로 Joule의 Document Grounding 기능이 할 수 있는 일입니다.

• Document Grounding이 없는 경우: Joule은 일반적인 SAP 지식만을 기반으로 일반적인 답변을 제공합니다.

• Document Grounding이 있는 경우: 회사의 특정 문서(내부 정책, 보고서, 매뉴얼 등)를 활용해 훨씬 더 정확하고 관련성 높은 답변을 제공합니다.

Document Grounding 정의

Document Grounding은 LLM이 특정 문서를 참조하도록 만드는 과정입니다.

LLM이 단순히 사전 학습된 지식에만 의존하는 대신, 외부 출처의 정보를 활용하여 보다 정확하고 최신의 데이터를 제공합니다.

Joule에서의 Document Grounding

Joule의 Document Grounding 기능은 다음을 지원합니다:

• SAP 및 서드파티 저장소에서 문서 업로드 및 연결

• Joule이 해당 문서 정보를 활용해 더 포괄적이고 신뢰성 있는 답변 제공

Joule에서 Document Grounding은 어떻게 작동할까요?

아래 그림은 Joule에서 Document Grounding이 작동하는 방식을 보여줍니다.

먼저 고객은 Joule에서 Document Grounding을 설정해야 합니다:

• 고객은 자신의 Microsoft SharePoint를 통해 문서 저장소를 연결합니다.

• SAP BTP에서 Document Grounding AI Service가 설정됩니다.

• Document Grounding AI Service는 Microsoft SharePoint를 통해 고객 소유의 관련 문서를 가져와 벡터 임베딩(vector embeddings) 을 생성합니다.

• 이 벡터 임베딩은 SAP HANA Cloud Vector Engine에 저장됩니다.

설정이 완료되면, 이 프로세스는 하루에 한 번 실행되어 Joule이 항상 최신 문서 내용을 사용할 수 있도록 합니다.

사용자가 Joule에 질문을 하면, 흐름은 다음과 같이 진행됩니다:

1. 사용자가 Joule UI에 프롬프트 입력 → SAP BTP의 Joule 서비스로 전송

2. Joule의 Dialog Manager → 내부 RAG 서비스로 사용자 질문 전달

3. RAG 서비스 → 질문을 벡터 임베딩으로 변환 (질문을 수치화한 벡터)

   • 이 임베딩으로 SAP HANA Vector Engine에서 “유사성 검색(vector query)” 수행

   • 해당 검색은 질문과 관련 있는 문서 섹션을 반환 (예: 출장 경비와 관련된 직원 매뉴얼)

4. SAP HANA Vector Engine → 관련 문서 발췌본 반환

5. RAG 서비스 → 문서 발췌본과 출처 정보를 Dialog Manager로 전달

6. Dialog Manager → 사용자 질문에 발췌본을 첨부해 보강된(enriched) 프롬프트를 LLM으로 전송

7. LLM → 회사 맞춤형 데이터에 기반한 답변 생성 + 출처 링크 포함

8. Dialog Manager → 답변과 출처 링크를 Joule UI로 전송

9. 사용자 → 신뢰할 수 있고 간결한 자연어 답변 확인, 필요 시 링크를 통해 검증 가능

Joule의 Document Grounding 현재 범위

• 데이터 저장소: Microsoft SharePoint

• 지원 파일 형식: PDF, Microsoft Word, HTML(정적), JPEG, JPG, PNG, TIFF, TXT

• 문서 내용: 일반 텍스트 (표와 이미지는 지원되지 않음)

• 언어: 영어

• 콘텐츠 갱신 주기: 하루 한 번 (SharePoint 업데이트 기준)