같은 고객이,
다르게 대화하면?
같은 가상 고객·같은 첫 질문으로 동일 모델로 구성한 일반 지원 챗봇과 우리 에이전트에게 각각 말을 걸어요.
편집하지 않은 대화와 대화 후 고객 AI의 구매 의향을 함께 비교합니다.
구매 의향은 고객 AI의 자기보고입니다. 사람의 구매 확률·실제 전환·매출 증거가 아닙니다.
같은 고객의 두 대화 기록을 불러오고 있어요…
구매 의향 비교 완료—평가가 없는 대화는 분모에서 제외
우리 에이전트가 높음 / 동일 / 낮음—비교 가능한 가상 고객의 수 · 실제 고객 전환 수 아님
보조 요약 · 서열 점수 산술평균 · 일반 → 우리—기술 요약만 가능 · 점수 간격이 같은 의미라는 보장 없음
0–4점에 어떻게 나뉘었을까?
비교 결과가 저장되면 분포를 표시합니다.
POST-CONVERSATION SELF-REPORT
구매 의향 0–4는 무엇을 뜻할까?
고객 역할 AI가 대화를 마친 뒤 답한 서열 척도예요. 4점이 80% 구매 확률이라는 뜻은 아닙니다.
이 비교의 조건과 한계
- 각 쌍은 같은 가상 고객 프로필과 정확히 같은 첫 발화로 시작합니다. 이후 대화는 서로 독립된 문맥에서 생성되므로, 두 고객 AI가 매번 같은 말이나 선택을 하지는 않습니다.
- 비교 기준은 경쟁사가 아니라 동일 모델로 구성한 일반 지원 챗봇입니다. 유료 기능을 직접 물으면 답할 수 있습니다. 우리 에이전트는 도움을 주며 관련 맥락을 발견하는 방식으로 비교합니다. 실제 동작 조건은 아래 실행 설정과 원문을 확인해 주세요.
- 대화 후 고객 AI의 자기보고와 대화 기록을 나눠 표시합니다. 내부 사고 과정을 공개하는 자료가 아니며, 고객 AI가 말한 이유는 생성된 평가 응답입니다.
- 완료된 비교뿐 아니라 오류·평가 누락·일반 도우미가 더 높은 경우도 모두 남깁니다. 원문을 편집해 좋은 결과만 골라 보여주지 않습니다.
- 가격·상품 카드를 본 횟수와 정보량 자체도 구매 의향에 영향을 줄 수 있습니다. 점수 차이를 에이전트의 설득력만의 효과라고 해석할 수 없습니다.
- 소수 가상 상황을 한 번씩 실행한 비교입니다. 실제 사람·결제·환불은 측정하지 않았고, 모델과 설정에 따른 편향도 있습니다. 실제 매출 효과는 사람을 대상으로 한 별도 실험이 필요합니다.
실제 구매 버튼을 누르거나 결제하지 않습니다. 어떤 대화에서 카드가 나왔다는 사실만으로 고객이 구매했다고 세지 않습니다.