e2e-auto-insurance-qa-korean Analysis
4516d358
•
ollama/gpt-oss-safeguard:20b
•
2026. 1. 9. 오후 12:51:52
Overview
Performance
Pass Rate
0.0%
Metric Performance

faithfulness
answer_relevancy
Total Test Cases
18
Passed Cases
0
/ 18
Latency / Cost
$0.2536
Threshold Profile
Dataset/default
Test Case Explorer

대인배상 I에서 사망 시 보상 한도는 얼마인가요?
사망 시 1억 5천만원까지 보장됩니다.
QUESTION

대인배상 I에서 사망 시 보상 한도는 얼마인가요?
GENERATED ANSWER

사망 시 1억 5천만원까지 보장됩니다.
GROUND TRUTH

1억 5천만원
RETRIEVED CONTEXTS (2)

대인배상 I은 자동차 사고로 다른 사람을 다치게 하거나 사망하게 한 경우 보상합니다.
책임보험 한도 내에서 보장되며, 사망 시 1억 5천만원, 부상 시 3천만원까지 보장합니다.
METRIC DETAILS

faithfulness
1.00
answer_relevancy
0.35
대인배상 I에서 부상 시 보상 한도는 얼마인가요?
부상 시 3천만원까지 보장됩니다.
QUESTION

대인배상 I에서 부상 시 보상 한도는 얼마인가요?
GENERATED ANSWER

부상 시 3천만원까지 보장됩니다.
GROUND TRUTH

3천만원
RETRIEVED CONTEXTS (2)

대인배상 I은 책임보험 한도 내에서 보장됩니다.
사망 시 1억 5천만원, 부상 시 3천만원까지 보장합니다.
METRIC DETAILS

faithfulness
1.00
answer_relevancy
0.30
대인배상 II는 어떤 보장을 제공하나요?
대인배상 I 한도를 초과하는 손해를 무한으로 보장합니다.
QUESTION

대인배상 II는 어떤 보장을 제공하나요?
GENERATED ANSWER

대인배상 I 한도를 초과하는 손해를 무한으로 보장합니다.
GROUND TRUTH

무한 보장
RETRIEVED CONTEXTS (2)

대인배상 II는 대인배상 I의 한도를 초과하는 손해를 무한으로 보장합니다.
중상해 사고 시 필수적으로 가입을 권장합니다.
METRIC DETAILS

faithfulness
0.00
answer_relevancy
0.55
대물배상 가입 한도 범위는 어떻게 되나요?
2천만원부터 10억원까지 선택 가능합니다.
QUESTION

대물배상 가입 한도 범위는 어떻게 되나요?
GENERATED ANSWER

2천만원부터 10억원까지 선택 가능합니다.
GROUND TRUTH

2천만원~10억원
RETRIEVED CONTEXTS (2)

대물배상은 다른 사람의 차량이나 재물을 손괴한 경우 보상합니다.
보장 한도는 2천만원에서 10억원까지 선택 가능합니다.
METRIC DETAILS

faithfulness
1.00
answer_relevancy
0.26
자기신체사고에서 사망 시 최대 보상액은 얼마인가요?
최대 1억원까지 보장됩니다.
QUESTION

자기신체사고에서 사망 시 최대 보상액은 얼마인가요?
GENERATED ANSWER

최대 1억원까지 보장됩니다.
GROUND TRUTH

1억원
RETRIEVED CONTEXTS (2)

자기신체사고는 운전자 본인의 상해를 보상합니다.
사망 시 최대 1억원, 부상 시 최대 3천만원 보장입니다.
METRIC DETAILS

faithfulness
1.00
answer_relevancy
0.36
마일리지 특약에서 연간 3천km 이하 주행 시 할인율은 얼마인가요?
47% 할인입니다.
QUESTION

마일리지 특약에서 연간 3천km 이하 주행 시 할인율은 얼마인가요?
GENERATED ANSWER

47% 할인입니다.
GROUND TRUTH

47%
RETRIEVED CONTEXTS (2)

마일리지 특약은 연간 주행거리에 따라 보험료를 할인해주는 특약입니다.
3천km 이하: 47% 할인, 5천km 이하: 38% 할인.
METRIC DETAILS

faithfulness
1.00
answer_relevancy
0.41
마일리지 특약에서 연간 1만km 이하 주행 시 할인율은 얼마인가요?
19% 할인입니다.
QUESTION

마일리지 특약에서 연간 1만km 이하 주행 시 할인율은 얼마인가요?
GENERATED ANSWER

19% 할인입니다.
GROUND TRUTH

19%
RETRIEVED CONTEXTS (2)

7천km 이하: 29% 할인, 1만km 이하: 19% 할인.
마일리지 특약은 연간 주행거리에 따라 보험료를 할인합니다.
METRIC DETAILS

faithfulness
0.00
answer_relevancy
0.42
운전자 한정 특약에서 1인 한정 할인율은 얼마인가요?
10% 할인입니다.
QUESTION

운전자 한정 특약에서 1인 한정 할인율은 얼마인가요?
GENERATED ANSWER

10% 할인입니다.
GROUND TRUTH

10%
RETRIEVED CONTEXTS (2)

운전자 범위를 제한하면 보험료를 할인받을 수 있습니다.
1인 한정: 10% 할인, 부부 한정: 7% 할인.
METRIC DETAILS

faithfulness
1.00
answer_relevancy
0.48
운전자 한정 특약에서 부부 한정 할인율은 얼마인가요?
7% 할인입니다.
QUESTION

운전자 한정 특약에서 부부 한정 할인율은 얼마인가요?
GENERATED ANSWER

7% 할인입니다.
GROUND TRUTH

7%
RETRIEVED CONTEXTS (2)

운전자 한정 특약은 운전자 범위를 제한하여 보험료를 할인받는 특약입니다.
부부 한정: 7% 할인, 가족 한정: 5% 할인.
METRIC DETAILS

faithfulness
1.00
answer_relevancy
0.44
블랙박스 2채널 이상 장착 시 할인율은 얼마인가요?
5% 할인입니다.
QUESTION

블랙박스 2채널 이상 장착 시 할인율은 얼마인가요?
GENERATED ANSWER

5% 할인입니다.
GROUND TRUTH

5%
RETRIEVED CONTEXTS (2)

블랙박스 장착 차량에 대해 보험료를 할인합니다.
2채널 이상: 5% 할인, 1채널: 3% 할인.
METRIC DETAILS

faithfulness
0.00
answer_relevancy
0.43
가입 가능한 운전자 조건은 어떻게 되나요?
만 21세 이상이며 면허 취득 후 1년 이상 경과해야 합니다.
QUESTION

가입 가능한 운전자 조건은 어떻게 되나요?
GENERATED ANSWER

만 21세 이상이며 면허 취득 후 1년 이상 경과해야 합니다.
GROUND TRUTH

만 21세 이상, 면허 취득 후 1년 이상
RETRIEVED CONTEXTS (2)

운전자 조건: 만 21세 이상 운전면허 보유자.
운전면허 취득 후 1년 이상 경과해야 합니다.
METRIC DETAILS

faithfulness
1.00
answer_relevancy
0.36
차량 등록 후 몇 년 이하 차량이 가입 가능한가요?
차량 등록 후 15년 이하 차량이 가능합니다.
QUESTION

차량 등록 후 몇 년 이하 차량이 가입 가능한가요?
GENERATED ANSWER

차량 등록 후 15년 이하 차량이 가능합니다.
GROUND TRUTH

15년 이하
RETRIEVED CONTEXTS (2)

차량 조건: 차량 등록 후 15년 이하 차량.
승용차, SUV, 승합차 가입 가능.
METRIC DETAILS

faithfulness
1.00
answer_relevancy
0.55
영업용 차량 가입은 어떻게 되나요?
영업용 차량은 별도 상품 가입이 필요합니다.
QUESTION

영업용 차량 가입은 어떻게 되나요?
GENERATED ANSWER

영업용 차량은 별도 상품 가입이 필요합니다.
GROUND TRUTH

별도 상품 필요
RETRIEVED CONTEXTS (2)

승용차, SUV, 승합차 가입 가능.
영업용 차량은 별도 상품 가입 필요.
METRIC DETAILS

faithfulness
1.00
answer_relevancy
0.41
보험료 일시납 시 할인율은 얼마인가요?
1% 할인입니다.
QUESTION

보험료 일시납 시 할인율은 얼마인가요?
GENERATED ANSWER

1% 할인입니다.
GROUND TRUTH

1% 할인
RETRIEVED CONTEXTS (2)

납입 방법: 일시납은 1% 할인.
2회 분납은 할인 없음.
METRIC DETAILS

faithfulness
1.00
answer_relevancy
0.49
6회 분납 시 보험료는 어떻게 되나요?
2% 할증됩니다.
QUESTION

6회 분납 시 보험료는 어떻게 되나요?
GENERATED ANSWER

2% 할증됩니다.
GROUND TRUTH

2% 할증
RETRIEVED CONTEXTS (2)

납입 방법: 6회 분납은 2% 할증.
일시납은 1% 할인.
METRIC DETAILS

faithfulness
1.00
answer_relevancy
0.19
자동이체 등록 시 추가 할인은 얼마인가요?
1% 추가 할인입니다.
QUESTION

자동이체 등록 시 추가 할인은 얼마인가요?
GENERATED ANSWER

1% 추가 할인입니다.
GROUND TRUTH

1% 추가 할인
RETRIEVED CONTEXTS (2)

계좌 자동이체 등록 시 1% 추가 할인.
자동이체는 납입 편의를 제공합니다.
METRIC DETAILS

faithfulness
1.00
answer_relevancy
0.48
사고 접수 콜센터 번호는 무엇인가요?
1588-5114입니다.
QUESTION

사고 접수 콜센터 번호는 무엇인가요?
GENERATED ANSWER

1588-5114입니다.
GROUND TRUTH

1588-5114
RETRIEVED CONTEXTS (2)

사고 접수: 24시간 콜센터 1588-5114.
모바일 앱: 삼성화재 다이렉트 앱.
METRIC DETAILS

faithfulness
1.00
answer_relevancy
0.14
보상금 지급은 언제까지 이뤄지나요?
서류 완비 시 14일 이내 지급됩니다.
QUESTION

보상금 지급은 언제까지 이뤄지나요?
GENERATED ANSWER

서류 완비 시 14일 이내 지급됩니다.
GROUND TRUTH

14일 이내
RETRIEVED CONTEXTS (2)

접수 후 3일 이내 담당자 배정.
14일 이내 보상금 지급 (서류 완비 시).
METRIC DETAILS

faithfulness
1.00
answer_relevancy
0.36
