생성 AI를 활용한 AI 챗봇 만들기: 5가지 간단한 단계

소개

AI 챗봇은 생성적 AI를 사용하여 지능적이고 상황에 맞는 응답을 제공합니다. 자주 묻는 질문에 따라 미리 정의된 의도와 답변을 우선시하고, 어떤 의도와도 일치하는 내용이 발견되지 않으면 AI 모델을 사용하여 하이브리드 방식을 사용합니다. 이를 통해 효율성이 보장되고 챗봇이 복잡한 쿼리를 동적으로 처리할 수 있습니다.⚡.

구현 프로세스

1. 데이터 수집

다음을 포함하여 챗봇의 지식 기반을 형성하기 위해 관련 데이터 소스가 수집됩니다.

1. - PDF, 웹 페이지, CSV, JSON과 같은 구조화된 문서.
  - 챗봇 도메인과 관련된 고객별 정보입니다.
  - 회사 정책, 의료 지침, 재무 정보 등의 원본 문서입니다.
2. 데이터 전처리

익명화 및 이미지 삭제: 개인정보 보호 규정을 준수하기 위해 특정 데이터 세트에서 민감한 정보가 제거됩니다.

자동화된 전처리: Python 스크립트를 사용하여 파일을 처리하여 식별 정보가 제거된 텍스트만 포함되도록 합니다.

표준 서식: 일관성을 보장하기 위해 텍스트를 추출, 정리, 구조화하여 인덱싱합니다.

1. 데이터 저장

처리된 모든 문서는 Azure Blob Storage, AWS S3, Google Cloud Storage☁️와 같은 클라우드 솔루션에 저장됩니다.

인덱싱에 지원되는 형식에는 CSV, HTML, JSON, PDF, TXT 및 Microsoft Office 형식(Word, PPT, Excel)이 있습니다.

각 챗봇 구현에는 지식 기반 문서를 정리하기 위한 전용 저장 컨테이너가 있습니다.

1. 인덱스 생성

검색 효율성을 최적화하기 위해 Azure OpenAI Studio, ElasticSearch, VectorDB 또는 기타 AI 검색 도구를 사용하여 인덱스를 만듭니다.

색인은 텍스트를 추출하고, 관리하기 쉬운 섹션으로 나누고, 빠른 검색을 위해 이러한 부분을 저장하는 방식으로 구성됩니다.

이를 통해 AI 모델은 런타임에 전체 문서를 처리하는 대신, 효율적으로 관련 정보를 검색하고 가져올 수 있습니다.

1. 생성 AI 모델의 배포

GPT-3.5, GPT-4 또는 기타 LLM과 같은 AI 모델은 클라우드 서비스를 통해 배포됩니다.

모델에 액세스하려면 통합이 필요하며, 할당량 한도는 사용 요구 사항에 따라 조정될 수 있습니다.🔧

임베딩 모델은 의미 검색 기능을 위한 벡터 검색 인덱스를 구현할 때 사용할 수 있으며, 특히 대용량 데이터 세트를 처리할 때 유용합니다.

1. API 구성

검색 인덱스가 구성되고 AI 모델이 배포되면 채팅 완료 API가 구성됩니다.

- 챗봇은 검색 인덱스와 AI 모델을 통합하여 관련 데이터를 얻습니다.
- API 호출은 데이터 검색, 채팅 기록 유지, 요약 응답 생성을 위해 구성됩니다.

AI 챗봇 워크플로

사용자 문의 처리: 사용자가 챗봇에 질문을 보냅니다.

검색 인덱스 복구: 쿼리는 검색 인덱스에 제출되어 유사성을 기준으로 가장 관련성이 높은 K개의 텍스트 조각을 검색합니다.

AI 모델 응답 생성: 검색된 텍스트 조각은 사용자의 질의 및 채팅 기록과 함께 AI 모델에 입력됩니다.

요약 답변 및 인용문: AI 모델은 맥락에 맞는 응답을 생성하는데, 여기에는 종종 원본 출처에 대한 참조가 포함됩니다.

응답 전달: 챗봇은 생성된 응답을 제공하며, 해당되는 경우 인용 문서에 대한 링크도 제공합니다. 🔗

다양한 서비스를 활용하여 챗봇을 효율적으로 구축하는 방법에 대한 추가 설명

문서 보관 및 액세스

문서는 클라우드 스토리지 솔루션에 저장되고 AI 검색 서비스를 통해 색인됩니다.

AI 모델은 색인된 참조를 검색하고 사용자가 액세스할 수 있는 문서 URL을 제공합니다.

익명화가 적용되더라도 사용자는 여전히 저장소에 있는 원본 파일로 리디렉션됩니다.

다양한 유형의 파일 처리

HTML 파일의 경우: 챗봇은 문서에 대한 링크를 제공하는 대신 미들웨어 설정을 통해 사용자를 라이브 웹페이지 버전으로 리디렉션할 수 있습니다.

PDF 및 기타 정적 파일의 경우: 클라우드 스토리지 URL을 통해 색인된 문서에 직접 액세스할 수 있습니다.

검색 인덱스 업데이트

새로운 파일은 클라우드 저장소에 업로드되며 수동으로 색인을 생성해야 합니다.

업데이트, 추가 또는 삭제가 발생할 때마다 인덱스를 다시 만들어야 합니다.

이 프로세스는 완전히 자동화되지 않았으며 최신 데이터를 사용하려면 수동으로 수행해야 합니다.

검색 성능 사용자 지정

Azure AI Search 또는 기타 인덱싱 서비스의 매개변수를 수정하여 응답 정확도를 높일 수 있습니다.

설정에는 성능 최적화를 위한 조각 크기, 정렬 방법, 인덱싱 빈도가 포함됩니다.

빠른 답변 및 계층적 탐색

챗봇은 종종 빠른 응답 버튼(피커)을 사용하여 사용자를 계층적 카테고리로 안내합니다.

이러한 선택기는 대화 흐름에 맞게 챗봇 프레임워크 내에서 수동으로 구성해야 합니다.

문서 저장 및 인덱스 매핑

아래는 챗봇 스토리지, 검색 서비스, 색인화된 지식 기반의 구조화된 예입니다.

범주	리소스 그룹	스토리지 계정	컨테이너	검색 서비스	인덱스 이름
건강	건강 챗봇	건강 서류	건강 데이터	건강 검색 서비스	건강 지수
재원	금융 챗봇	재무 문서	재무 데이터	재정을 찾다	금융 지수
제약	약국 챗봇	약국 문서	약국 데이터	약국 검색	약국 색인