# EvalVault Analysis Report

**Run ID:** `1d91a667-4288-4742-be3a-a8f5310c5140`
**Generated:** 2026-01-04 00:53:05

## Executive Summary

**Overall Status:** ❌ FAIL
**Pass Rate:** 0.0%

### Metric Pass Rates
| Metric | Pass Rate |
|--------|-----------|
| answer_relevancy | 0.0% |
| faithfulness | 80.0% |

## Statistical Analysis

### Metric Statistics
| Metric | Mean | Std | Min | Max |
|--------|------|-----|-----|-----|
| answer_relevancy | 0.000 | 0.000 | 0.000 | 0.000 |
| faithfulness | 0.800 | 0.400 | 0.000 | 1.000 |

### Low Performing Cases
| Test Case | Question | Metric | Score |
|-----------|----------|--------|-------|
| kr-001 | 이 보험의 사망보험금은 얼마인가요? | answer_relevancy | 0.00 |
| kr-002 | 보험료 납입 기간은 어떻게 되나요? | faithfulness | 0.00 |
| kr-002 | 보험료 납입 기간은 어떻게 되나요? | answer_relevancy | 0.00 |
| kr-003 | 암 진단비는 얼마를 받을 수 있나요? | answer_relevancy | 0.00 |
| kr-004 | 보험 해지 시 환급금은 얼마인가요? | answer_relevancy | 0.00 |

### Insights
- Low pass rate requires attention: 0.0%
- Best performing metric: faithfulness (mean: 0.800)
- Worst performing metric: answer_relevancy (mean: 0.000)
- High variance metrics (std > 0.2): faithfulness
- Found 6 low-performing test cases (score < threshold)
- Most problematic metric: answer_relevancy (5 low performers)

## Recommendations

> **Critical:** Overall pass rate is below 50%. Review the evaluation pipeline and data quality.

> **Improve answer_relevancy:** Pass rate is 0.0%. Consider reviewing context quality and answer generation.

> **Review low performers:** 6 cases are underperforming. Consider retraining or adjusting prompts.

---

*Report generated by EvalVault on 2026-01-04 00:53:05*

## Stage Metrics Summary

- Total metrics: 13
- Evaluated: 7
- Passed: 7 / Failed: 0
- Pass rate: 100.0%


# RAG 개선 가이드 리포트

## 요약

- **평가 ID**: `1d91a667-4288-4742-be3a-a8f5310c5140`
- **생성 시간**: 2026-01-04 00:53:05
- **테스트 케이스**: 5개
- **통과율**: 0.0%

### 메트릭별 현황

| 메트릭 | 점수 | 목표 | 갭 | 상태 |
|--------|------|------|-----|------|
| faithfulness | 0.800 | 0.70 | -0.100 | ✅ |
| answer_relevancy | 0.000 | 0.70 | +0.700 | ❌ |

### 단계 메트릭 요약

- 총 메트릭: 13개
- 평가 대상(임계값 있음): 7개
- 통과: 7개 / 실패: 0개
- 통과율: 100.0%

---

## 1. Generator 개선 🟠

**우선순위**: p1_high
**대상 메트릭**: answer_relevancy

### 문제 패턴

- **off_topic_response**: 5/5건 (100.0%)

### 개선 액션

#### 1. 질문 재강조 프롬프트 (예상 개선: +12%) 🟢

프롬프트에서 질문을 다시 언급

```
# 프롬프트 템플릿
"""
질문: {question}

컨텍스트: {context}

위 질문에 대해서만 답변하세요.
다른 주제로 벗어나지 마세요.

질문 다시 확인: {question}

답변:
"""

```

#### 2. Few-shot 예제 (예상 개선: +15%) 🟢

좋은 답변 예시 제공

```
few_shot_examples = [
    {"question": "보험료 납입 방법은?",
     "answer": "보험료는 월납, 연납, 일시납 중 선택 가능합니다."},
    {"question": "해지환급금은 언제 받을 수 있나요?",
     "answer": "해지 신청 후 3영업일 이내 지급됩니다."}
]

# 프롬프트에 예제 포함
prompt = f"""
다음 예시처럼 답변하세요:
{format_examples(few_shot_examples)}

질문: {question}
답변:
"""

```

### 검증 방법

```bash
# 개선 전/후 비교
evalvault run dataset.json --metrics answer_relevancy --tag baseline
# ... 개선 적용 ...
evalvault run dataset.json --metrics answer_relevancy --tag after_fix
evalvault compare baseline after_fix --metrics answer_relevancy
```

---

*Generated by EvalVault*
