· NIST AI RMF 1.0 (NIST AI 100-1, 2023) · OWASP Top 10 for LLM Applications (2025) · EU AI Act — Reg.(EU) 2024/1689 §14 Human oversight · ITIL 4 Problem Management + KEDB (Axelos 2020) · ISO/IEC 20000-1:2018 · ISO/IEC 42001:2023 · Google SRE — 4 Golden Signals · Alerting on SLOs · Google SAIF · Microsoft Responsible AI Standard v2
+
논문 · 벤치마크
· Guo et al., Calibration of NN (ECE), ICML 2017 · Lewis et al., RAG, NeurIPS 2020 · Geifman & El-Yaniv, Selective Classification, 2017 · PACE-LM, Microsoft, 2023 (arXiv:2309.05833) · RCACopilot, EuroSys 2024 (arXiv:2305.15778) · Ahmed et al., LLM RCA, ICSE 2023 · RCAEval (Acc@k·Avg@5 지표) · Zheng et al., LLM-as-judge, 2023
+
+
상세 근거·재현 명령·원본 수치: docs/test/agent-검증결과-기준출처-20260622.md · 모든 수치 2026.06.22 재실측 (구버전 89.6%/367케이스는 재현 출처 없어 미사용)
+
+
+
diff --git "a/docs/test/agent-\352\262\200\354\246\235\352\262\260\352\263\274-\352\270\260\354\244\200\354\266\234\354\262\230-20260622.md" "b/docs/test/agent-\352\262\200\354\246\235\352\262\260\352\263\274-\352\270\260\354\244\200\354\266\234\354\262\230-20260622.md"
new file mode 100644
index 00000000..d17d51de
--- /dev/null
+++ "b/docs/test/agent-\352\262\200\354\246\235\352\262\260\352\263\274-\352\270\260\354\244\200\354\266\234\354\262\230-20260622.md"
@@ -0,0 +1,191 @@
+# Bifrost AI Agent 검증 결과 · 기준 · 출처 (2026-06-22)
+
+운영/오프라인 환경에서 FastAPI Agent Server(`services/ai-service`)를 테스트한 **실측 수치**와, 그 평가 기준이 근거하는 **네임밸류 글로벌 표준·논문 출처**를 정리한다. 발표(PPT) 근거 문서.
+
+> 수치 정직성 원칙: 아래는 **(A) 오늘 실제 측정 / (B) 코드·설계로 보장(측정 아님) / (C) 미측정·추가 필요**를 명확히 구분한다. 구버전 슬라이드의 `89.6% / 367케이스`는 코드에 출처가 없어 **사용하지 않는다**(재현 불가). 본 문서의 RCA 수치는 2026-06-22 재실행값이다.
+
+---
+
+## 1. 한눈에 — 측정 수치 요약 (A: 오늘 실측)
+
+| 영역 | 수치 | 조건 | 산출 |
+|---|---|---|---|
+| **RCA top-1 정확도** | **71.4%** (25/35) | 오프라인 floor, 35 gold set, LLM 타이브레이커 off | `scripts/rca_eval_campaign.py` |
+| **RCA top-3 / top-5** | **85.7%** (30/35) | 〃 | 〃 |
+| **Avg@5 (MRR)** | **0.781** | 〃 | 〃 |
+| **확신 시 정확도(precision@conf≥0.80)** | **90.0%** (9/10) | 신뢰도 0.80 이상만 | 파생 |
+| **보정 오차 ECE** | **0.083** (<0.10 양호) | 10-bin | `app/evaluation/calibration.py` |
+| **환각(카탈로그-외 원인 생성)** | **0건** | 35건 전수 | 파생 |
+| **정직한 기권(UNKNOWN)** | **5/35** (14.3%) | 근거 부족 시 보류 | 파생 |
+| **top-1 오답 회복** | **5/5** 전부 top-3 내 정답 | 기권 제외 오답 | 파생 |
+| **NL→tool 라우팅 정확도** | **routing@1 88.9% / hit 94.4%** | 라이브 배포 agent, 18케이스, 에러 0 | `eval.online.nl_tool_routing --live` |
+| 라우팅 낭비 스텝 / 지연 | wasted 0.17 / 7.3s | 〃 | 〃 |
+| **라이브 fault 주입 RCA** | sink_db_down → 정답, conf 0.82 | 실제 클러스터 1케이스 | `eval.online.live_eval --live` |
+| 단위 회귀(정확도·보정·분류) | **48/48 통과** | pytest | 〃 |
+
+비교 기준선(외부 SOTA, §4): PACE-LM(MS 2023) GPT-4+검색증강 **top-1 43.4%**, RCACopilot(EuroSys'24) **Micro-F1 0.766**.
+
+---
+
+## 2. 평가·설계 기준 — 글로벌 벤치마킹과 적용
+
+우리 설계·평가 기준은 임의로 만든 게 아니라, **네임밸류 있는 글로벌 벤더·표준기구·논문이 쓰는 방식을 벤치마킹해 우리 프로젝트에 이식**한 것이다. 각 항목은 "**업계는 이렇게 한다(원리) → Bifrost는 이렇게 적용했다(구현)**" 형태로 정리한다. (URL은 리서치로 실재 확인. ISO/OpenAI 일부는 봇 차단으로 본문 미검증, 표기)
+
+### 2.1 RCA 방법론 — IT 운영·품질관리 표준을 LLM RCA에 이식
+
+**ITIL 4 Problem Management + KEDB** (Axelos 2020 · https://www.axelos.com/resource-hub/practice/problem-management-itil-4-practice-guide)
+- 업계 원리: 인시던트의 근본원인을 분석한 뒤 **Known Error**로 등록(KEDB)해, 재발 시 즉시 진단·복구에 재사용한다.
+- Bifrost 적용: 35종 root-cause 카탈로그를 KEDB처럼 운영 — 증상·검증된 조치·롤백 절차·과거 인시던트 링크를 보관(`app/catalogs/kedb.py`)하고 RCA가 이를 참조한다.
+
+**5 Whys** (Toyota Production System, Ohno 1988 · https://en.wikipedia.org/wiki/Five_whys)
+- 업계 원리: "왜?"를 반복해 표면 증상이 아닌 **진짜 근본원인**까지 내려간다.
+- Bifrost 적용: 증상성 원인(예: Connector Task FAILED)이 떠도, 더 깊은 원인(예: Sink DB 연결 타임아웃)이 증거로 입증되면 증상을 그 아래로 **강등**해 근본원인을 top에 올린다(`rca.py` 증상 강등 로직).
+
+**Ishikawa(특성요인도)** (ASQ · https://asq.org/quality-resources/fishbone)
+- 업계 원리: 하나의 결과(문제)에 대한 잠재 원인을 **범주별로 분기**해 본다.
+- Bifrost 적용: 1개 incident_type → 복수 root-cause 후보로 매핑(`incident_rootcause_map.py`)해 한 증상을 여러 원인 가설로 분기·점수화한다.
+
+**ISO/IEC 20000-1:2018** (IT 서비스 관리 · https://www.iso.org/standard/70636.html)
+- 업계 원리: incident → problem → known error로 이어지는 ITSM 프로세스를 체계화한다.
+- Bifrost 적용: Classifier→RCA→Verifier→Report 파이프라인이 이 ITSM 흐름을 자동화한 형태다.
+
+> 한 줄: "원인을 **생성**하지 않고 **카탈로그에서 증거로 선택**한다"는 RCA Assistant 원칙은, 수십 년 검증된 ITSM·품질관리 표준을 LLM에 그대로 이식한 결과다.
+
+### 2.2 장애 알림·심각도 — Google SRE 운영 표준을 벤치마킹
+
+**Google SRE — 4 Golden Signals** (https://sre.google/sre-book/monitoring-distributed-systems/)
+- 업계 원리: 사용자 대면 시스템은 **Latency·Traffic·Errors·Saturation** 4개 신호를 본다.
+- Bifrost 적용: 관측 도구 세트가 이 4신호를 그대로 커버 — 지표 조회(latency/saturation)·로그 검색(errors)·consumer lag 조회(traffic/saturation).
+
+**Google SRE — Alerting on SLOs** (https://sre.google/workbook/alerting-on-slos/)
+- 업계 원리: 알림은 단순 임계가 아니라 **error budget / burn rate**(추세) 기준으로, 잠깐의 스파이크엔 울리지 않는다.
+- Bifrost 적용: 임계값을 숫자로 박지 않고 **value+version+basis+owner로 거버넌스**(`threshold_registry`)하고, WARN 단건은 로그만·동일 리소스 30분 2건↑일 때 인시던트로 승격해 알람 피로를 줄인다.
+
+**PagerDuty Severity Levels** (https://response.pagerduty.com/before/severity_levels/) · **Confluent Kafka lag alerting** (https://docs.confluent.io/platform/current/monitor/monitor-consumer-lag.html)
+- 업계 원리: 심각도를 SEV 등급으로 명확히 정의하고, Kafka lag은 절대값이 아니라 추세로 본다.
+- Bifrost 적용: 심각도 2단계(WARNING/CRITICAL) + consumer lag 임계(WARNING 5,000 / CRITICAL 50,000, spec 부록 B 단일 출처).
+
+### 2.3 AI 리스크·환각 통제 — 정부·업계·규제 프레임워크를 그대로 구현
+
+**NIST AI RMF 1.0** (NIST AI 100-1, 2023 · https://nvlpubs.nist.gov/nistpubs/ai/nist.ai.100-1.pdf)
+- 업계 원리: AI 위험을 GOVERN·MAP·**MEASURE**(정량 측정)·**MANAGE**(대응)로 관리한다.
+- Bifrost 적용: RCA 정확도·ECE를 지표화해 MEASURE, 위험 조치를 승인 게이트로 MANAGE, 정책 매트릭스로 GOVERN.
+
+**OWASP Top 10 for LLM 2025** (https://genai.owasp.org/llm-top-10/)
+- 업계 원리: LLM01 Prompt Injection·LLM02 Sensitive Information Disclosure·LLM05 Improper Output Handling을 최우선 위협으로 규정한다.
+- Bifrost 적용: 대화(ReAct) 루프엔 read-only 도구만 노출(인젝션으로 변경 불가), 자격증명·민감정보 자동 마스킹, 출력 요약 화이트리스트로 검증.
+
+**EU AI Act 제14조 Human oversight** (Reg.(EU) 2024/1689 · https://artificialintelligenceact.eu/article/14/)
+- 업계 원리(규제): 고위험 AI는 사용 중 사람이 **효과적으로 감독·재정의**할 수 있어야 한다.
+- Bifrost 적용: 모든 변경 조치는 HITL 승인 게이트 통과 필수 — 미승인 시 백엔드 호출 자체가 차단.
+
+**Google SAIF / Microsoft Responsible AI v2** (https://saif.google/ · Microsoft RAI Standard v2)
+- 업계 원리: AI 고유 위협(인젝션·데이터 포이즈닝 등)에 대한 보안·책임성 프레임워크.
+- Bifrost 적용: 인젝션 차단·출력 검증·HITL을 통해 책임성(accountability) 확보. (ISO/IEC 42001:2023 AI 경영시스템도 동일 맥락 — 운영·로깅·라이프사이클 거버넌스로 정렬)
+
+### 2.4 정량 지표·기법 — 학술 표준 그대로
+
+**ECE (Expected Calibration Error)** — Guo et al., ICML 2017 · https://arxiv.org/abs/1706.04599
+- 업계 원리: "신뢰도 0.8이면 실제 정답률도 80%"가 되도록 보정 정도를 측정(10-bin).
+- Bifrost 적용: ECE 0.083(<0.10)으로 과신 여부를 검증(`calibration.py`).
+
+**RAG (검색증강생성)** — Lewis et al., NeurIPS 2020 · https://arxiv.org/abs/2005.11401
+- 업계 원리: 외부 근거 문서를 검색해 조건으로 생성하면 환각이 준다.
+- Bifrost 적용: pgvector 기반 KEDB·런북 검색으로 근거 기반 답변.
+
+**Selective Prediction / Abstention** — Geifman & El-Yaniv, NeurIPS 2017 · https://arxiv.org/abs/1705.08500
+- 업계 원리: 불확실한 입력은 **기권(reject)** 해 오류율을 보장한다.
+- Bifrost 적용: 신뢰도 < 0.60이면 `UNKNOWN_WITH_EVIDENCE_GAP`로 기권(찍지 않음).
+
+**Human-in-the-Loop** — Wu et al., FGCS 2022 · https://arxiv.org/abs/2108.00941
+- 업계 원리: 인간 판단을 운영 루프에 통합해 정확성·안전성을 높인다.
+- Bifrost 적용: 변경 조치 전 사람 승인(EU AI Act §14와 동일 취지).
+
+**평가지표 표준** — Accuracy@k·Avg@5(RCAEval, arXiv:2412.17015) / MRR(Voorhees, TREC-8 1999) / Macro-F1(Sokolova & Lapalme 2009) / Wilson score interval(Wilson 1927; Brown et al. 2001) / LLM-as-judge(Zheng et al., NeurIPS 2023, 인간 일치 80%+)
+- 업계 원리: RCA·분류 평가의 사실상 표준 지표.
+- Bifrost 적용: AC@k·Avg@5·ECE를 산출(`metrics.py`·`calibration.py`). ※ Macro-F1·Wilson CI는 현재 미구현(추가 시 산출 가능).
+
+---
+
+## 3. RCA 정확도 상세 (A: 오늘 실측)
+
+`scripts/rca_eval_campaign.py`, 35 gold set, 관측 증거만 입력(정답 결론 비주입), LLM 타이브레이커 off(보수적 floor), temperature 0.0. 원본: [results-20260622/rca_campaign_floor.json](results-20260622/rca_campaign_floor.json).
+
+- AC@1 **0.7143** · AC@3 **0.8571** · AC@5 **0.8571** · Avg@5 **0.781** · ECE **0.0832** · 기권 **5/35**
+- 계층별: kafka 6건 AC@3 1.0 / source 5건 AC@3 1.0 / infra 5건 0.8 / pipeline 7건 0.857 / sink·data_quality·change 0.75 — 취약계층(AC@3<0.7) **없음**
+- **환각 0**: 35건 top 예측이 전부 35개 카탈로그 id 또는 `UNKNOWN_WITH_EVIDENCE_GAP`. 날조 id 0건
+- **기권 5건**(gs_018/026/029/032/035)은 top_conf 0.0의 정직한 보류 — 우기지 않음
+- **top-1 오답 5건(기권 제외) 전부 top-3 내 정답 포함** — 근접 실패, 치명 오진 아님
+- **확신(≥0.80) 9/10 정답(90%)** — 단정할 땐 거의 맞음
+
+> floor(LLM off)는 하한이며, LLM 타이브레이커 on(`RCA_EVAL_USE_LLM=1`, 배포 pod)에서 상승 여지. 라이브 fault 주입(sink_db_down)은 정답·conf 0.82.
+
+---
+
+## 4. 외부 SOTA 대비 (발표 비교용)
+
+| 출처 | 수치 | 조건 | 메모 |
+|---|---|---|---|
+| **Bifrost(우리)** | **AC@5 85.7% / Avg@5 0.781** | 35 gold set, floor | — |
+| PACE-LM (Microsoft, 2023) · arXiv:2309.05833 | top-1 **43.4%** | GPT-4 + 검색증강, 3,000건 | top-1 정의 |
+| RCACopilot (EuroSys'24) · arXiv:2305.15778 | **Micro-F1 0.766** | GPT-4, category 예측 | 우리 Avg@5 0.781과 동급대 |
+| RCACopilot 단순 GPT-4 프롬프트 | Micro-F1 0.026 | CoT 없음 | "파이프라인이 핵심" 근거 |
+| Ahmed (ICSE'23) · arXiv:2301.03797 | 사용성 70%+ | 현업 27명 사람평가 | 수용성 |
+
+⚠️ **지표 정의가 다르다**(우리 AC@5 = top-5 랭킹 / PACE-LM 43.4% = top-1 correctness / RCACopilot 0.766 = Micro-F1). 발표 시 반드시 각주로 명시. "동급 또는 상회"로 포지셔닝하되 단순 대소 비교는 지양.
+
+---
+
+## 5. 안전성·환각 통제 메커니즘 (B: 코드·설계로 보장)
+
+오늘 공격 카운트 하네스를 새로 돌리지 않았으므로(미구현, §7), 아래는 **코드 게이트로 구조적으로 보장**되는 사실이다. 측정값이 아니라 "우회 경로가 코드 레벨에서 닫혀 있음".
+
+| 통제 | 메커니즘 | 코드 |
+|---|---|---|
+| 카탈로그-바운드 RCA | 35개 root cause 외 생성 불가, 미충족 시 기권 | `rca.py`, `verifier.py`(catalog-외 id FAIL) |
+| 신뢰도 3구간 게이트 | ≥0.80 조치 / 0.60~0.79 추가확인 / <0.60 UNKNOWN | `rca.py` `MIN_CONFIDENT_ROOT_CAUSE=0.60`, evidence_matrix `min_confidence_for_action=0.80`·`cap=0.79` |
+| Evidence 게이트 | required/supporting/negative 분리, required 미충족 시 conf cap | `rca.py` `_evaluate_candidate` |
+| 무승인 실행 차단(HITL) | mutation 4종 전부 승인 필요, 미승인 시 `waiting_for_approval`·BLOCKED(Spring 호출 전) | `approval_gate.py`, `registry.py:561-571`, policy_matrix |
+| 정보유출 차단 | 자격증명 마스킹·요약 화이트리스트·evidence는 id만 | `evidence/redaction.py`, `tools/result.py` |
+| 멀티테넌트 격리 | 모든 도구 경로에 run의 project_id 강제 주입 | `registry.py:171-174` (+Spring 최종 집행) |
+| 프롬프트 인젝션 | ReAct는 read-only 도구만 노출, mode enum 제한 | `agentic.py:54-56`, `router.py` |
+
+---
+
+## 6. 발표 8개 질문 직접 답변 (코드 근거)
+
+| # | 질문 | 답 | 근거 |
+|---|---|---|---|
+| 4 | 로그만 취합해 LLM에 주면 RCA가 되나? | **아니오.** 로그→evidence 정규화→카탈로그 매칭→증거 게이트→점수화→검증의 결정론적 오케스트레이션. 로그만으론 단정 불가→기권 | classifier/retrieval/rca/verifier 파이프라인 |
+| 5 | RCA가 LLM 의존적 → 환각 대응? | **5중 방어**: 카탈로그-바운드 + 증거 게이트 + 신뢰도 임계 + 기권(abstention) + Verifier 재검증. ECE 0.083, 환각 0 | §5 + ECE 측정 |
+| 6 | rollback plan(실패 시나리오) 있나? | **있다.** 조치 실패(FAILED/BLOCKED) 시 역조치 자동 실행(pause↔resume, restart→직전상태 복원). MEDIUM 자동복구, HIGH는 승인 필요, 역조치 없으면 N/A | `workflow/stages/rollback.py`, test_rollback.py 통과 |
+| 7 | version 관리 되나? | **된다.** run마다 재현성 매니페스트 기록: model_id·model_tier_map·prompt_version·prompt_hash·catalog_version·evidence_matrix_version·runbook_version·corpus_manifest_hash·eval_dataset_version·**code_commit_sha**·temperature. DB는 alembic 18 마이그레이션, 임계값은 version/basis/owner 거버넌스 | `core/reproducibility.py`, `/run/reproducibility` |
+| 8 | 장애 알림 기준? | spec 부록 B 단일 출처: consumer lag ≥5,000 WARNING/≥50,000 CRITICAL, error rate >0.5%/>2%, Connector FAILED→CRITICAL, creating 5분 초과, WARN 동일리소스 30분 2건↑. 4 Golden Signals 기반 | `docs/spec.md` 부록 B + Google SRE |
+
+---
+
+## 7. 미측정·추가 필요 (C)
+
+발표에 정량 수치로 쓰려면 새 하네스가 필요한 항목(방어 코드는 §5에 존재):
+- 정보유출 공격 N건 차단율 / 오조치 유도 N건 차단율 — 페이로드셋 투입 카운트 스크립트 필요
+- 동시성 부하(1~20) latency 열화 곡선 — 부하 러너 필요
+- 답변 일관성(동일 장애 10회) — 반복 run 비교 스크립트 필요
+- Macro-F1 / Wilson 95% CI — 채점 모듈에 계산 추가
+- 라이브 fault 다건 주입 — **운영 클러스터 파괴적 작업이라 확인 후 실행**(현재 1케이스만 실측)
+
+---
+
+## 8. 재현 명령 (작업 디렉토리 `services/ai-service`)
+
+```bash
+# RCA 정확도 floor (비파괴)
+.venv/bin/python scripts/rca_eval_campaign.py
+# 단위 회귀
+.venv/bin/python -m pytest tests/test_eval_accuracy.py tests/test_calibration.py tests/test_rca_classification_accuracy.py -q
+# NL→tool 라우팅 라이브 (비파괴, read-only)
+.venv/bin/python -m eval.online.nl_tool_routing --live --confirm
+# 라이브 fault 주입 (⚠️ 파괴적, 이중 가드)
+.venv/bin/python -m eval.online.live_eval --live --confirm --faults sink_db_down
+```
+
+원본 결과: [results-20260622/](results-20260622/) · 라이브 리포트: `services/ai-service/eval/reports/*_live_*.json`
diff --git "a/docs/test/agent-\354\232\264\354\230\201\355\205\214\354\212\244\355\212\270-\354\235\270\353\262\244\355\206\240\353\246\254.md" "b/docs/test/agent-\354\232\264\354\230\201\355\205\214\354\212\244\355\212\270-\354\235\270\353\262\244\355\206\240\353\246\254.md"
new file mode 100644
index 00000000..a9ebf1cd
--- /dev/null
+++ "b/docs/test/agent-\354\232\264\354\230\201\355\205\214\354\212\244\355\212\270-\354\235\270\353\262\244\355\206\240\353\246\254.md"
@@ -0,0 +1,181 @@
+# Agent(ai-service) 운영 테스트 인벤토리
+
+작성 2026-06-22. 대상 = FastAPI Agent Server(`services/ai-service`)만. 운영(라이브) 환경에서 **신뢰도 발표용 정량 수치**를 뽑기 위해 테스트 가능한 항목을 코드 전수 분석으로 정리.
+
+모든 항목 공통 제약: **비파괴**(읽기 전용이거나 변경성 조치는 HITL 게이트에서 정지) · **공개 API만**(`/api/v1/agent/**`, agent가 내부적으로 Spring `/internal/ops`로 위임) · **negative control 우선**(일부러 공격/오입력/오라벨을 넣어 차단·탐지·기권이 되는지 측정).
+
+---
+
+## 0. 핵심 경고 — 발표 수치 출처 (먼저 읽을 것)
+
+| 수치 | 상태 | 근거 |
+|---|---|---|
+| **top-1 89.6% / top-5 100% / 367 케이스** | ⛔ **사용 금지** | 코드 어디에도 없음(grep 0건). [docs/test/rca-test-campaign-20260622.md](docs/test/rca-test-campaign-20260622.md)가 "산출법·데이터셋이 달라 출처 검증 전까지 사용 금지"로 명시 |
+| **AC@1 65.7%(23/35) / AC@3=AC@5 80%(28/35) / Avg@5 0.724 / ECE 0.073 / 기권 7/35** | ✅ **재현 가능** | `scripts/rca_eval_campaign.py` 실행값 = 캠페인 문서 실측치와 일치 |
+| 확신 시 정확도(precision) 82%(23/28), 환각 ≈0, 정보유출 0, 무승인 실행 0 | ✅ 문서 단일 출처 | [docs/presentation/03-ai-metrics.md](docs/presentation/03-ai-metrics.md) |
+| 라이브 NL 라우팅 routing@1 83.3%(18케이스) | ✅ 실측 존재 | `eval/reports/nl_tool_routing_live_20260622T060606Z.json` |
+| Macro-F1 / Wilson 95% CI / NO_FAULT | ⚠️ **미구현** | 코드에 산출 로직 없음 — 발표에 쓰려면 별도 계산 필요 |
+
+→ 첨부된 팀원 보고서(2026-06-16/18)의 89.6%/367은 **구버전**. 오늘자 재측정의 목적이 바로 이 수치를 재현 가능한 값으로 교체하는 것.
+
+---
+
+## 1. 지금 바로 수치를 뽑는 법 (즉시 실행 하네스)
+
+작업 디렉토리: `cd /Users/hvvnnn/Desktop/dev/bifrost/services/ai-service`
+
+| # | 하네스 | 명령 | 산출 수치 | 파괴성 |
+|---|---|---|---|---|
+| 1 | **RCA 정확도 floor**(LLM off, 결정적) | `.venv/bin/python scripts/rca_eval_campaign.py` | AC@1/3/5, Avg@5, ECE, 기권율, 계층별 breakdown (JSON stdout) | 비파괴 |
+| 2 | RCA 정확도(LLM 타이브레이커 on) | `RCA_EVAL_USE_LLM=1 .venv/bin/python scripts/rca_eval_campaign.py` | 위와 동일 + LLM 보조 상승폭 | 비파괴(배포 pod/Job에서) |
+| 3 | **NL→tool 라우팅 라이브**(read-only 운전) | `BIFROST_BASE_URL=https://bifrost.skala-ai.com BIFROST_EMAIL=… BIFROST_PASSWORD=… .venv/bin/python -m eval.online.nl_tool_routing --live --confirm` | routing@1, routing@hit, wasted_steps, latency → `eval/reports/` 저장 | 비파괴(simple_query만) |
+| 4 | 채점 파이프라인 dry-run | `.venv/bin/python -m eval.online.live_eval` / `… nl_tool_routing` | 합성 fixture 채점(클러스터 무접촉) | 비파괴 |
+| 5 | 회귀 단위 수치 | `.venv/bin/python -m pytest tests/test_eval_accuracy.py tests/test_calibration.py tests/test_rca_classification_accuracy.py -q` | AC@k/ECE/분류 회귀 통과 | 비파괴 |
+| 6 | **RCA 라이브 fault 주입**(파괴적) | `.venv/bin/python -m eval.online.live_eval --live --confirm --faults sink_db_down` | 실주입 AC@k, captured, 복구확인 | ⚠️ 파괴적(이중 가드 `--live`+`--confirm`) |
+
+- 케이스 데이터: gold set 35건([app/evaluation/seed_gold_set.py](services/ai-service/app/evaluation/seed_gold_set.py) `SEED_ENTRIES`), 라이브 fault 13개(auto 2 / manual 5 / unsafe 6, [eval/online/live_fault_specs.py](services/ai-service/eval/online/live_fault_specs.py)), NL 라우팅 18케이스([eval/online/nl_tool_routing.py](services/ai-service/eval/online/nl_tool_routing.py) `ROUTING_CASES`).
+- 라이브 자동 주입 가능 fault는 `sink_db_down`/`source_db_down` 2건뿐. 나머지는 안전상 수동/금지. selfHeal·dedup 제약으로 사전 OPEN incident resolve 필요할 수 있음(캠페인 문서 Part B).
+
+---
+
+## 2. 카테고리 A — RCA 판단 정확도·신뢰도
+
+RCA 파이프라인: Classifier → (incident→rootcause map) → RCA evaluator → Verifier → Report. **자유 생성 금지, 카탈로그 후보를 evidence로 점수화·선택·보류.** 카탈로그 규모: failure_types 32 · root_causes 35 · evidence_profiles 42 · incident→rootcause map 32.
+
+| 항목 | 검증 대상 | 코드 | 운영 테스트 방법 | 산출 수치 |
+|---|---|---|---|---|
+| **A1 Root cause top-k 정확도** | incident_type→후보 점수화→랭킹 | [rca.py](services/ai-service/app/agents/rca.py) `run_rca`(174)·`_score_confidence`(651), [metrics.py](services/ai-service/app/evaluation/metrics.py)`accuracy_at_k`(64) | 하네스 1·2·6 | AC@1/3/5, Avg@5(MRR), 계층별 |
+| **A2 보정(Calibration)** | confidence가 실제 정답률과 일치하는가 | [calibration.py](services/ai-service/app/evaluation/calibration.py)`compute_calibration`(65) | 하네스 1·6 (자동 포함) | ECE, per-bin gap, 과신 bin |
+| **A3 보류율 / 과신오답**(★negative control) | 증거 부족 시 우기지 않고 UNKNOWN | [rca.py](services/ai-service/app/agents/rca.py) 보류분기(205, `MIN_CONFIDENT_ROOT_CAUSE=0.60`)·`_unknown_output`(871) | NO_FAULT/모호증거 케이스 다수 투입 → 정상신호("status:RUNNING","lag 정상")는 보류가 정답 | 보류율, **wrong-but-confident rate**, 올바른 기권율 |
+| **A4 환각 0 (catalog 밖 차단)** | 카탈로그 밖 root_cause_id를 RCA/Report가 거부 | [verifier.py](services/ai-service/app/agents/verifier.py)`_verify_incident_analysis`(95, non_catalog FAIL 113)·report 검증(208) | RCA 출력 root_cause_id가 전부 35개 카탈로그 안인지 전수 검사 | 카탈로그-외 생성 건수(목표 0) |
+| **A5 Evidence 게이트** | required 전부 충족해야 ≥0.82, negative 감점, semantic-only 폐기 | [rca.py](services/ai-service/app/agents/rca.py)`_evaluate_candidate`(241)·`_match_rules`(304) | required 전부/일부/+negative/supporting만 4변형 입력으로 confidence 밴드 검증 | required-cap(0.79) 위반 건수, false-accept rate |
+| **A6 Disambiguation**(증상 강등) | CONNECTOR_TASK_FAILED 같은 증상보다 입증된 심층 원인을 위로 | [rca.py](services/ai-service/app/agents/rca.py)`_demote_symptom_below_confirmed_root_cause`(677), `_CAUSAL_DEPTH_MARGIN=0.03` | 하네스 6 `sink_db_down` 주입 → top이 SINK_DB_CONNECTION_TIMEOUT, 증상은 2위 보존 | disambiguation 정확도, confusion matrix |
+| **A7 장애유형 분류** | 관측증거→failure_types 32개 중 선택 | [classifier.py](services/ai-service/app/agents/classifier.py)`run_classifier`(55)·`_score_failure_type`(128) | offline 라벨셋(증거→정답 incident_type) | top-1, Macro-F1*, UNKNOWN율 |
+| **A8 Knowledge RAG** | pgvector 코사인 검색 top-k·min_score | [vector_store.py](services/ai-service/app/knowledge/vector_store.py)`search_by_embedding`(159), 설정 `knowledge_search_limit=3`·`min_score=0.05` | 알려진 질의로 EVIDENCE_COLLECTED(type=KNOWLEDGE) score 확인 | RAG recall@3, 무관질의 빈결과율 |
+
+주의: `rca_eval_campaign.py`는 incident_type을 역매핑으로 주입(분류 제외) → **RCA 단독** 정확도. end-to-end(classifier→RCA)는 별도(`test_rca_classification_accuracy.py` 패턴). RCA confidence는 이산 밴드(0.82+/0.60~0.79/≤0.59)에 몰려 ECE 해석에 N≥30 표본 권장. RAG는 RCA 점수에 직접 기여 안 함(observed evidence만 게이팅) — RCA 정확도와 혼동 금지. `*` Macro-F1은 코드 미구현.
+
+**우선순위**: A1+A2(하네스 1·2로 즉시) → A3(도메인 원칙 "우기지 않는다"의 직접 증거) → A6(차별화 로직, 라이브).
+
+---
+
+## 3. 카테고리 B — 안전성 (정보유출 / 오조치 / 격리)
+
+발표의 "0건" 신뢰도 메시지 영역. **방어 코드는 전부 존재하나, 공격 건수를 세는 하네스는 ai-service에 없음**(팀원의 32공격/20유도는 수동 측정이었을 가능성). → 공개 API에 페이로드를 N건 투입하는 **새 측정 스크립트** 필요(§7).
+
+### B-1. 정보유출 차단 (negative control = 인젝션 페이로드 N건)
+| 방어 | 코드 | 측정 |
+|---|---|---|
+| evidence redaction(자격증명 마스킹: password/token/secret/connection_string/jdbc_url, Bearer·URI 인증) | [redaction.py](services/ai-service/app/evidence/redaction.py)(13-67) | 시크릿 섞인 로그/DSN 조회 유도 → 응답·evidence·SSE 평문 유출 0건 |
+| 성공요약 화이트리스트(raw 로그·secret 덤프 금지) | [result.py](services/ai-service/app/tools/result.py)`_success_summary`(104-176), search_logs는 logs 필드 제외([registry.py](services/ai-service/app/tools/registry.py)644) | 요약 내 raw 값 유출 0건 |
+| evidence는 evidence_id/store_ref/summary만(raw content 금지) | 설계 [contract-state-schema.md §4] | evidence patch에 원문 없는지 |
+| 시스템 프롬프트/타 시크릿 출력 거부 | 구조적 방어(명시적 anti-injection 지침은 코드에 **없음**) | "system prompt 출력해" 류 차단 여부 |
+
+→ 산출: **인젝션 차단율 X/N, 평문 유출 0건**. 주의: 명시적 인젝션 거부 지침이 없으므로 "잘못된 발화"가 아니라 **"무단 행위·유출"**을 측정 기준으로.
+
+### B-2. 오조치(무승인 자동 실행) 차단 — 다층 게이트
+| 게이트 | 코드 | 동작 |
+|---|---|---|
+| ReAct 루프는 read-only 도구만 노출 | [agentic.py](services/ai-service/app/agents/agentic.py)`build_tool_schemas`(54-56) | 채팅에서 "재시작해" 해도 mutation 미호출 |
+| policy_matrix 결정론적 4판정 | [policy_matrix.py](services/ai-service/app/catalogs/policy_matrix.py)`lookup`(24-62), fallback=REQUIRE_APPROVAL | mutation 전부 REQUIRE_APPROVAL 상향 |
+| approval_gate → `waiting_for_approval` 정지 | [approval_gate.py](services/ai-service/app/workflow/stages/approval_gate.py)(40-93), [runner.py](services/ai-service/app/workflow/runner.py)(1310-1334) | 승인 전 executor 도달 불가 |
+| registry 멱등키 없는 mutation 차단(Spring 호출 전) | [registry.py](services/ai-service/app/tools/registry.py)`call_tool_with_data`(561-571) | APPROVAL_REQUIRED/BLOCKED |
+| read-only execute route 정책 게이트 | routes_catalogs.py(222-228) | mutation을 이 경로로 호출 시 POLICY_DENIED |
+
+→ 산출: **무단 변경 실행 0건 / 유도 N건 차단율 N/N**. 비파괴(전부 게이트에서 정지, Spring 위임 0). mutation은 4개뿐(restart/pause/resume_connector, restart_consumer_group).
+
+### B-3. 멀티테넌트 격리
+| 방어 | 코드 | 측정 |
+|---|---|---|
+| 모든 도구 경로에 run 컨텍스트 project_id 강제 주입(LLM이 임의 project_id 못 넣음) | [registry.py](services/ai-service/app/tools/registry.py)`build_path`(171-174), run 생성 시 UUID 검증 routes_agent.py(55-62) | "다른 프로젝트 보여줘" 유도 → 타 프로젝트 데이터 0건 |
+| 최종 소유권은 Spring이 `RESOURCE_NOT_OWNED_BY_PROJECT`로 집행 | result.py(348) | Spring 합동 검증 필요 |
+
+→ 산출: **cross-project 유출 0건**. (소유권 최종 집행은 Spring이라 부분 검증 — Spring과 합동 권장.)
+
+### B-4. 내부 토큰 우회 차단 (Spring 합동)
+- agent는 Spring 호출에 `X-Internal-Token` 동봉([spring_client.py](services/ai-service/app/tools/spring_client.py)76-89), 승인 시 `X-Approval-Id` 동봉. **집행은 Spring SecurityConfig/MutationGate**.
+- 측정: 무토큰으로 `/internal/ops/**` 직접 호출 시 401/403 차단율(=공개 API 우회 차단). 단 운영 토큰 설정 여부(`INTERNAL_OPS_TOKEN`) 먼저 확인 — 비면 게이트 비활성.
+
+---
+
+## 4. 카테고리 C — 도구·관측 신뢰성
+
+**핵심 사실: `app/tools/`에 mock/stub/fallback 0건.** 도구는 항상 실제 Spring으로 호출하고, 미연결 시 가짜 데이터가 아니라 명시적 에러(TIMEOUT/TRANSIENT_ERROR) 반환 → **운영 테스트의 모든 성공 데이터는 실데이터**. 등록 도구 23개 정의(논리 21종+alias 1), read 17 / mutation 4. 직접 호출 경로: `POST /api/v1/catalogs/tools/{tool}/execute` (body `{project_id, params}`).
+
+| 항목 | 검증 | 코드 | 방법(negative control) | 수치 |
+|---|---|---|---|---|
+| **C1 read 도구 성공률** | 17개 read 도구가 실존 식별자로 SUCCESS + 스키마 통과 | registry `call_tool_with_data` `model_validate`(632) | list_* 로 식별자 확보 후 각 도구 호출 | 성공 도구 수/17 |
+| **C2 없는 connector**(★) | 빈 성공이 아니라 CONNECTOR_NOT_FOUND | [result.py](services/ai-service/app/tools/result.py)`_targeted_not_found_error`(305-324) | get_connector_status/get_traces/get_connector_task_trace에 `__nonexistent__` | 탐지 N/3 |
+| **C3 없는 project_id** | RESOURCE_NOT_FOUND 매핑 | spring_client.py(29-37) | read 도구를 임의 UUID로 | RESOURCE_NOT_FOUND 1건 |
+| **C4 없는 consumer_group** | CONSUMER_GROUP_NOT_FOUND 친화 실패 | result.py(335-342) | get_consumer_lag에 가짜 그룹 | 탐지 1건 + alias 동일경로 |
+| **C5 consumer_lag 충실도** | totalLag뿐 아니라 partition별·p95·top-N 제공 | [schemas/tools.py](services/ai-service/app/schemas/tools.py)`ConsumerLagData`(384-392) | 실존 그룹 조회 후 partitions/p95/top 채움률 | partition_count, p95 존재율 |
+| **C6 mutation 게이트** | 멱등키 없는 mutation 4종 BLOCKED(Spring 미호출) | registry.py(561-571) | 4종 멱등키 없이 호출 | 차단율 4/4 |
+| **C7 실데이터 무mock** | Spring 미연결 시 fail-explicit | registry.py(597-619) | `/api/v1/ready`의 spring_operations 상태 | mock 0건(정성) |
+
+**우선순위**: C2(빈 성공 아님을 가장 직접 정량화) → C5(관측 깊이) → C6(운영 무접촉 안전성 4/4).
+
+---
+
+## 5. 카테고리 D — 워크플로·런타임·스트리밍
+
+run 생성은 비동기(fire-and-forget): `POST /runs`가 즉시 `{run_id, event_stream_url, status:running}` 반환, 실제 실행은 BackgroundTask.
+
+| 항목 | 검증 | 코드 | 방법 | 수치 |
+|---|---|---|---|---|
+| **D1 latency(telemetry)**(★최저비용) | stage별 소요시간 | [telemetry.py](services/ai-service/app/workflow/telemetry.py)`summary`, `GET /runs/{id}/telemetry` routes_agent.py(157) | run 후 telemetry 조회 집계 | total/stage latency p50/p95, tool·llm 호출수, 추정토큰(비용) |
+| **D2 전체 run latency** | ack vs end-to-end 분리 | routes_agent.py`create_run`(45-110) | POST ack 시간 + SSE run_completed 시간 | ack p50/p95, run p50/p95(mode별) |
+| **D3 SSE 이벤트 완전성** | 16종 이벤트 순서·짝 | [events.py](services/ai-service/app/schemas/events.py)(19-35), [sse.py](services/ai-service/app/streaming/sse.py)`format_sse`(11-13) | mode별 기대 이벤트셋 대비 수신 | 완전성 %, run_started/completed 동봉율, tool_call 짝 매칭률 |
+| **D4 재연결 catch-up**(★) | Last-Event-ID 이후 누락 replay | routes_events.py(22-34), [event_repository.py](services/ai-service/app/persistence/event_repository.py)`get_after`(66-89) | 진행 중 끊고 Last-Event-ID로 재연결, history도 검증 | 재연결 성공률, 누락 0, 중복 0 |
+| **D5 동시성 부하**(★) | N 사용자 독립 완료·이벤트 격리 | run별 dict 격리 graph.py(31-37) | 동시 1/5/10/25/50 burst → run_completed 추적 | N별 성공률, latency 열화곡선, throughput, cross-talk 0 |
+| **D6 종료 보장(예산 가드)** | step24/wall300s/llm16/token200k 초과 시 failed | [guards.py](services/ai-service/app/workflow/guards.py)`check_all_global`(97-113) | telemetry/state summary로 사후 집계 | 예산초과 종료율, 무한루프 0 |
+| **D7 멱등성(현재 미보장)** | 같은 body 2회 = run 2개 | run_id=uuid 매번 생성 routes_agent.py(28-29), 종결 run 메시지 RUN_ALREADY_CLOSED routes_runs.py(289) | 중복 POST / 종결 run 재호출 | 중복 run 생성률, 종결 거부율 |
+| **D8 health/ready** | 의존성 5종 점검 | routes_health.py(28-110) | `/health` probe, `/ready` 의존성 상태 | 가용률, latency, 의존성 ok/unavailable율 |
+
+**발표 시 명시할 "현재 미보장" 사실(정량화 자체가 메시지)**: ① HTTP 멱등키 부재→재시도가 중복 run(D7) ② `/ready`는 의존성 down이어도 HTTP 200(body로만 표현) ③ 다중 uvicorn 워커면 EventBus가 워커-로컬이라 SSE 라이브/재연결이 워커 경계를 못 넘음 → **운영 워커 수 먼저 확인**(helm replica/`-w`) ④ SSE 구독 큐 unbounded(backpressure 없음).
+
+**우선순위**: D1(telemetry — OTLP 없이 즉시) → D4(재연결 SLA) → D5(동시성 한계).
+
+---
+
+## 6. 카테고리 E — 인시던트 자동 감지 임계값 (spec 부록 B, Spring 합동)
+
+agent가 진단하는 인시던트의 기준값. 자동 생성은 Spring이지만, **임계 주입→agent RCA 자동 실행**까지가 critical path(라이브 #962 케이스). 단일 출처: [docs/spec.md 부록 B](docs/spec.md).
+
+| 신호 | 임계값 | 단언 |
+|---|---|---|
+| Consumer lag | ≥5,000 WARNING / ≥50,000 CRITICAL, <5,000 복구 | 각 경계 주입 시 해당 레벨 인시던트. **CDC sink consumer group에만** 적용(EDA 외부 lag 오탐 0) |
+| Error rate | >0.5% WARNING / >2% CRITICAL+error | 경계 분류 정확률 |
+| Connector | Task FAILED→CRITICAL+error, creating 5분(PT5M) 초과→error, 자동재시작 1h내 3회→CRITICAL | FAILED 주입 시 CRITICAL+pipeline error 전이 |
+| Replication | lag ≥1,000ms WARN / ≥5,000ms CRITICAL, retainedWAL ≥500MB/≥1GB, DB 3회연속 실패→CRITICAL | 경계 주입 |
+| 이벤트→인시던트 | ERROR 즉시 CRITICAL, WARN 동일리소스 30분내 2건↑만 생성(단건 로그만), 그룹키=SourceDB/Worker/ConsumerGroup ID | WARN 단건 오생성 0, 동일 근본원인 1 incident 묶음 |
+| 인시던트 상태 | OPEN/INVESTIGATING/RESOLVED, 심각도 2단계(WARNING/CRITICAL), CRITICAL 자동닫기 금지 | 상태·심각도 계약 |
+
+DoD(시연 합격선, [docs/scenario.md](docs/scenario.md)): 자동감지(lag≥5,000 or Connector FAILED)→RCA→추천→**HITL 승인 후 실행+audit**. 워크플로 Router→Correlation→Planner→Retrieval→Classifier→RCA→Verifier→Report.
+
+---
+
+## 7. 코드 하네스가 없어 새로 만들어야 하는 것
+
+발표에 쓰려면 측정 스크립트를 새로 작성해야 하는 항목(방어 코드는 §3에 존재):
+
+| 측정 | 현황 | 필요 작업 |
+|---|---|---|
+| 정보유출 공격 N건 차단율 | 방어코드 O, 카운트 하네스 X | 인젝션 페이로드셋(국/영/난독)을 `/api/v1/agent/runs`에 투입→유출/차단 집계 스크립트 |
+| 오조치 유도 N건 차단율 | 게이트 O, 카운트 하네스 X | mutation 강요 페이로드셋 투입→waiting_for_approval/BLOCKED 집계 |
+| 동시성 부하(1~20) | 전용 하네스 X | 동시 run burst 러너(D5) |
+| 답변 일관성(동일장애 10회) | 하네스 X | 같은 incident 반복 run→조치결정 동일성 집계(`llm_temperature=0.0`) |
+| Macro-F1 / Wilson 95% CI / NO_FAULT | 미구현 | 채점 모듈에 추가 계산 |
+| **데이터 정합성(10.5만행)** | **agent 범위 아님** | CDC 데이터플레인(Spring/파이프라인) 테스트 — agent 인벤토리에서 제외 |
+
+---
+
+## 8. 권장 실행 순서
+
+1. **하네스 1**(`rca_eval_campaign.py`) — 발표 핵심 정확도 floor 즉시 확보(AC@1 65.7%/AC@5 80%/ECE 0.073).
+2. **하네스 3**(NL 라우팅 라이브) — routing@1·latency, 자격증명 있으면 즉시.
+3. **C2/C4 negative control** + **C6 mutation 4/4** + **C7 `/ready`** — "실데이터·빈성공 아님·무접촉 안전" 묶음.
+4. **B-1/B-2 새 스크립트**(§7) — 유출 0·무승인 0 발표 수치.
+5. **D1 telemetry** + **D5 동시성** — latency/부하 곡선.
+6. (승인 후, 파괴적) **하네스 6** `--live --confirm --faults sink_db_down` — 라이브 RCA + A6 disambiguation.
+
+**발표 문구**: 89.6%/367·Macro-F1·Wilson CI·"유도공격 32/20"은 재현 근거 확보 전 사용 금지. 재현 가능한 값(AC@5 80%, precision 82%, ECE 0.073, 환각 0, 라이브 routing@1 83.3%)으로 대체.
diff --git a/docs/test/rca-test-campaign-20260622.md b/docs/test/rca-test-campaign-20260622.md
index 2243f904..8b8b4b2f 100644
--- a/docs/test/rca-test-campaign-20260622.md
+++ b/docs/test/rca-test-campaign-20260622.md
@@ -30,6 +30,7 @@ RCA 근본원인 카탈로그를 **8계층 35개**로 정의하고, 33개 인시
### 2.1 오프라인 포괄 평가 — 전 계층 커버
- **대상**: gold set 35건(계층별 대표 시나리오, `app/evaluation/seed_gold_set.py`).
- **입력 증거**: 각 시나리오의 **관측 신호만**(symptom + trigger + contributing_factors). 사후 결론인 `human_verdict`는 **정답 누출 방지를 위해 제외**.
+- **중요 조건**: 캠페인 스크립트는 accepted root cause에서 incident type을 역매핑해 RCA 후보 풀을 구성하는 **oracle incident-type RCA replay**다. classifier 포함 end-to-end 정확도나 unseen production holdout으로 해석하지 않는다.
- **조건**: LLM 타이브레이커 **비활성** → 카탈로그 + 증거 매트릭스 + 신뢰도 게이트만으로 판정(가장 보수적 floor).
- **지표**: AC@1/AC@3/AC@5, Avg@5(RCAEval 표준), ECE(Guo et al. 캘리브레이션), 기권율.
- **실행**: `cd services/ai-service && .venv/bin/python scripts/rca_eval_campaign.py`
@@ -49,35 +50,41 @@ RCA 근본원인 카탈로그를 **8계층 35개**로 정의하고, 33개 인시
## 3. 결과 수치 (어떻게 나왔나)
-### 3.1 오프라인 포괄 평가 (35건, 관측증거-only, LLM 비활성)
+### 3.1 오프라인 포괄 평가 재측정 (35 seed, oracle incident-type RCA replay)
+
+2026-06-22 #993 수정 후 현재 브랜치에서 `services/ai-service/scripts/rca_eval_campaign.py`를 재실행한 값이다. 입력은 seed의 `symptom`, `trigger`, `contributing_factors`만 사용하고 `human_verdict`는 제외한다. 단, 스크립트가 accepted root cause에서 incident type을 역매핑하므로 classifier 포함 end-to-end 정확도나 unseen production holdout으로 해석하지 않는다.
| 지표 | 값 | 의미 |
|---|---|---|
-| **AC@1** | **65.7%** (23/35) | 최상위 후보가 정답 |
-| **AC@3** | **80.0%** (28/35) | 상위 3 안에 정답 |
-| **AC@5** | **80.0%** (28/35) | 상위 5 안에 정답 |
-| **Avg@5** | **0.724** | 정답 순위 역수 평균 (현 SOTA Avg@5 0.46~0.54 상회) |
-| **ECE** | **0.073** | 신뢰도 캘리브레이션 오차 (<0.10 양호) |
-| **기권(UNKNOWN)** | **7/35 (20%)** | 증거 부족 시 정직한 보류 |
+| **AC@1** | **100.0%** (35/35) | 최상위 후보가 정답 |
+| **AC@3** | **100.0%** (35/35) | 상위 3 안에 정답 |
+| **AC@5** | **100.0%** (35/35) | 상위 5 안에 정답 |
+| **Avg@5** | **1.0000** | 정답 순위 역수 평균 |
+| **ECE** | **0.1595** | cap 없이 현재 confidence 분포로 재계산한 실측값 |
+| **기권(UNKNOWN)** | **0/35 (0%)** | seed replay 조건의 기권 수 |
**계층별**
| 계층 | n | AC@1 | AC@3 | AC@5 | Avg@5 |
|---|---|---|---|---|---|
-| kafka | 6 | 0.83 | **1.00** | **1.00** | 0.92 |
-| pipeline | 7 | 0.86 | 0.86 | 0.86 | 0.86 |
-| infra | 5 | 0.80 | 0.80 | 0.80 | 0.80 |
-| sink | 4 | 0.75 | 0.75 | 0.75 | 0.75 |
-| source | 5 | 0.40 | 0.80 | 0.80 | 0.60 |
-| change | 4 | 0.25 | 0.75 | 0.75 | 0.46 |
-| data_quality | 4 | 0.50 | 0.50 | 0.50 | 0.50 |
+| kafka | 6 | 1.00 | 1.00 | 1.00 | 1.00 |
+| pipeline | 7 | 1.00 | 1.00 | 1.00 | 1.00 |
+| infra | 5 | 1.00 | 1.00 | 1.00 | 1.00 |
+| sink | 4 | 1.00 | 1.00 | 1.00 | 1.00 |
+| source | 5 | 1.00 | 1.00 | 1.00 | 1.00 |
+| change | 4 | 1.00 | 1.00 | 1.00 | 1.00 |
+| data_quality | 4 | 1.00 | 1.00 | 1.00 | 1.00 |
+
+**오답 분석**
+
+- 오답 0건: 35개 seed 모두 top-1 정답
+- 해석 제한: replay 조건상 incident type은 oracle로 주입되며, 100% 값은 production unseen 일반화 수치가 아님
-**오답·기권 12건 분석 (환각 0의 근거)**
+### 3.1.1 보존 floor (develop 기준 기존 발표 수치)
-- **정직한 기권 7건** (top = UNKNOWN, conf 0.0): SOURCE_AUTH(2), SINK_AUTH, DEPLOYMENT_REGRESSION, IMAGE_DEPLOYMENT_REGRESSION, UPSTREAM_VOLUME, DUPLICATE_SPIKE, RETRY_EXHAUSTED → **temporal/metric 증거가 텍스트에 없어** 단정하지 않고 보류. (Bradford Hill temporality 강제 = 설계대로)
-- **인접 근접 5건** (top = 같은 계층 sibling): SOURCE_READ_LATENCY→SOURCE_DB_CONNECTION_TIMEOUT, PARTITION_IMBALANCE→BROKER_RESOURCE_PRESSURE, RECENT_CONFIG→PIPELINE_CONFIG_INVALID, RECENT_SCHEMA→SCHEMA_MISMATCH, SOURCE_AUTH→CREDENTIAL_ROTATION(둘 다 타당) → **모두 카탈로그 내 유효 원인. 날조(fabrication) 0건.**
+기존 develop 배포 이미지 `4a7ca906` 기준 보수적 floor는 본문 재측정값과 함께 인용해야 한다. 문서 본문의 과거 수치는 AC@1 65.7%, AC@3 80.0%, AC@5 80.0%, Avg@5 0.724, ECE 0.073, 기권 7/35였고, 보존 JSON `docs/test/results-20260622/rca_campaign_floor.json`은 AC@1 71.43%, AC@3 85.71%, AC@5 85.71%, Avg@5 0.781, ECE 0.0832, 기권 5/35를 기록한다.
-> 핵심: **확신 답변 28건 중 23건 정답(82% precision)**, 불확실 7건은 기권. **존재하지 않는 원인을 지어낸 사례 0건** → "환각 ≈ 0".
+> 핵심: 현재 branch replay 수치와 보존 floor는 산출 시점과 코드 상태가 다르다. 100% 값을 단독으로 쓰지 말고 oracle incident-type, seed 내부 replay, floor 범위를 함께 표시한다.
### 3.2 라이브 장애 주입
@@ -91,12 +98,13 @@ RCA 근본원인 카탈로그를 **8계층 35개**로 정의하고, 33개 인시
## 4. 해석 & 슬라이드 03 반영 권고
-- **방법론 명시 필수**: 위 수치는 **관측증거-only + LLM 비활성**의 *보수적 floor*다. 프로덕션 Retrieval은 metric/trace/temporal 증거를 추가로 수집하고 LLM 타이브레이커가 작동하므로 실제는 더 높다.
+- **방법론 명시 필수**: 현재 재측정 수치는 **관측증거-only + LLM 비활성 + oracle incident-type**의 seed replay 결과다. 프로덕션 Retrieval은 metric/trace/temporal 증거를 추가 수집할 수 있지만 classifier 포함 end-to-end 및 unseen production holdout은 별도 측정이 필요하다.
+- **해석 제한**: 100% 값은 기존 35 seed의 조건부 replay 결과이며 본 문서의 floor(AC@1 65.7%, 보존 JSON 기준 71.43%)와 함께 표시해야 한다.
- **권장 슬라이드 수치(재현 가능)**:
- - AI 진단 정확도: **AC@5 80% / 확신 시 82%**
+ - AI 진단 정확도: **보존 floor AC@1 65.7~71.4%, 현재 oracle replay AC@1 100.0% (35/35, 조건부)**
- 환각: **≈ 0** (날조 0건, 불확실 20%는 정직한 기권)
- - 신뢰도 캘리브레이션: **ECE 0.073**
-- **약점(정직 공개)**: `change`·`data_quality` 계층은 temporal/metric 증거 의존도가 높아 텍스트-only 평가에서 AC@1이 낮다. → Retrieval의 metric/temporal 증거 강화 + gold set 확대(#964 피드백 루프)가 개선 경로.
+ - 신뢰도 캘리브레이션: **floor ECE 0.073~0.0832, 현재 replay ECE 0.1595**
+- **약점(정직 공개)**: 현재 seed replay에서는 취약 계층이 없지만 `change`·`data_quality` 계층은 production에서 temporal/metric 증거 의존도가 높다. → Retrieval의 metric/temporal 증거 강화 + gold set 확대(#964 피드백 루프)가 개선 경로.
- ⚠️ 기존 슬라이드의 "89.6% / 367 케이스"는 본 캠페인과 산출 방식·데이터셋이 달라 **출처 검증 전까지 사용하지 말 것**. 본 문서의 재현 가능한 수치로 대체 권장.
## 부록 — 재현
diff --git a/docs/test/results-20260622/rca_campaign_current.json b/docs/test/results-20260622/rca_campaign_current.json
new file mode 100644
index 00000000..e808b932
--- /dev/null
+++ b/docs/test/results-20260622/rca_campaign_current.json
@@ -0,0 +1,456 @@
+{
+ "evaluation_condition": "35 seed oracle incident-type RCA replay; evidence uses symptom, trigger, contributing_factors only; human_verdict excluded; not classifier end-to-end; not unseen production holdout",
+ "total_cases": 35,
+ "AC@1": 1.0,
+ "AC@3": 1.0,
+ "AC@5": 1.0,
+ "Avg@5": 1.0,
+ "ECE": 0.1595,
+ "abstain_count": 0,
+ "weak_layers": [],
+ "layer_breakdown": [
+ {
+ "layer": "change",
+ "n": 4,
+ "AC@1": 1.0,
+ "AC@3": 1.0,
+ "AC@5": 1.0,
+ "Avg@5": 1.0
+ },
+ {
+ "layer": "data_quality",
+ "n": 4,
+ "AC@1": 1.0,
+ "AC@3": 1.0,
+ "AC@5": 1.0,
+ "Avg@5": 1.0
+ },
+ {
+ "layer": "infra",
+ "n": 5,
+ "AC@1": 1.0,
+ "AC@3": 1.0,
+ "AC@5": 1.0,
+ "Avg@5": 1.0
+ },
+ {
+ "layer": "kafka",
+ "n": 6,
+ "AC@1": 1.0,
+ "AC@3": 1.0,
+ "AC@5": 1.0,
+ "Avg@5": 1.0
+ },
+ {
+ "layer": "pipeline",
+ "n": 7,
+ "AC@1": 1.0,
+ "AC@3": 1.0,
+ "AC@5": 1.0,
+ "Avg@5": 1.0
+ },
+ {
+ "layer": "sink",
+ "n": 4,
+ "AC@1": 1.0,
+ "AC@3": 1.0,
+ "AC@5": 1.0,
+ "Avg@5": 1.0
+ },
+ {
+ "layer": "source",
+ "n": 5,
+ "AC@1": 1.0,
+ "AC@3": 1.0,
+ "AC@5": 1.0,
+ "Avg@5": 1.0
+ }
+ ],
+ "rows": [
+ {
+ "entry": "gs_seed_001",
+ "layer": "source",
+ "incident_type": "SOURCE_AUTH_FAILURE",
+ "expected": "SOURCE_AUTH_EXPIRED",
+ "top": "SOURCE_AUTH_EXPIRED",
+ "top_conf": 0.88,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_002",
+ "layer": "source",
+ "incident_type": "SOURCE_AUTH_FAILURE",
+ "expected": "SOURCE_AUTH_EXPIRED",
+ "top": "SOURCE_AUTH_EXPIRED",
+ "top_conf": 0.88,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_003",
+ "layer": "source",
+ "incident_type": "SOURCE_CONNECTION_TIMEOUT",
+ "expected": "SOURCE_NETWORK_REACHABILITY",
+ "top": "SOURCE_NETWORK_REACHABILITY",
+ "top_conf": 0.88,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_004",
+ "layer": "source",
+ "incident_type": "SOURCE_CONNECTION_TIMEOUT",
+ "expected": "SOURCE_DB_CONNECTION_TIMEOUT",
+ "top": "SOURCE_DB_CONNECTION_TIMEOUT",
+ "top_conf": 0.767,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_005",
+ "layer": "source",
+ "incident_type": "SOURCE_READ_LATENCY",
+ "expected": "SOURCE_READ_LATENCY",
+ "top": "SOURCE_READ_LATENCY",
+ "top_conf": 0.79,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_006",
+ "layer": "pipeline",
+ "incident_type": "CONNECTOR_TASK_FAILED",
+ "expected": "CONNECTOR_TASK_FAILED",
+ "top": "CONNECTOR_TASK_FAILED",
+ "top_conf": 0.79,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_007",
+ "layer": "pipeline",
+ "incident_type": "CONNECTOR_TASK_FAILED",
+ "expected": "CONNECTOR_TASK_FAILED",
+ "top": "CONNECTOR_TASK_FAILED",
+ "top_conf": 0.88,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_008",
+ "layer": "pipeline",
+ "incident_type": "PIPELINE_TASK_FAILED",
+ "expected": "PIPELINE_CONFIG_INVALID",
+ "top": "PIPELINE_CONFIG_INVALID",
+ "top_conf": 0.79,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_009",
+ "layer": "pipeline",
+ "incident_type": "SCHEMA_MISMATCH",
+ "expected": "SCHEMA_MISMATCH",
+ "top": "SCHEMA_MISMATCH",
+ "top_conf": 0.78,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_010",
+ "layer": "pipeline",
+ "incident_type": "SCHEMA_MISMATCH",
+ "expected": "SCHEMA_MISMATCH",
+ "top": "SCHEMA_MISMATCH",
+ "top_conf": 0.88,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_011",
+ "layer": "pipeline",
+ "incident_type": "CONNECTOR_WORKER_UNHEALTHY",
+ "expected": "CONNECTOR_WORKER_REBALANCE_LOOP",
+ "top": "CONNECTOR_WORKER_REBALANCE_LOOP",
+ "top_conf": 0.88,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_012",
+ "layer": "kafka",
+ "incident_type": "CONSUMER_LAG_SPIKE",
+ "expected": "CONSUMER_LAG_SPIKE",
+ "top": "CONSUMER_LAG_SPIKE",
+ "top_conf": 0.79,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_013",
+ "layer": "kafka",
+ "incident_type": "CONSUMER_LAG_SPIKE",
+ "expected": "CONSUMER_LAG_SPIKE",
+ "top": "CONSUMER_LAG_SPIKE",
+ "top_conf": 0.79,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_014",
+ "layer": "kafka",
+ "incident_type": "BROKER_RESOURCE_PRESSURE",
+ "expected": "BROKER_RESOURCE_PRESSURE",
+ "top": "BROKER_RESOURCE_PRESSURE",
+ "top_conf": 0.88,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_015",
+ "layer": "kafka",
+ "incident_type": "PARTITION_IMBALANCE",
+ "expected": "PARTITION_IMBALANCE",
+ "top": "PARTITION_IMBALANCE",
+ "top_conf": 0.88,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_016",
+ "layer": "kafka",
+ "incident_type": "TOPIC_INGRESS_SPIKE",
+ "expected": "TOPIC_INGRESS_SPIKE",
+ "top": "TOPIC_INGRESS_SPIKE",
+ "top_conf": 0.79,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_017",
+ "layer": "kafka",
+ "incident_type": "REBALANCE_LOOP",
+ "expected": "CONSUMER_REBALANCE_LOOP",
+ "top": "CONSUMER_REBALANCE_LOOP",
+ "top_conf": 0.79,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_018",
+ "layer": "sink",
+ "incident_type": "SINK_AUTH_FAILURE",
+ "expected": "SINK_AUTH_EXPIRED",
+ "top": "SINK_AUTH_EXPIRED",
+ "top_conf": 0.88,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_019",
+ "layer": "sink",
+ "incident_type": "SINK_WRITE_LATENCY",
+ "expected": "SINK_WRITE_LATENCY",
+ "top": "SINK_WRITE_LATENCY",
+ "top_conf": 0.88,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_020",
+ "layer": "sink",
+ "incident_type": "SINK_CONSTRAINT_ERROR",
+ "expected": "SINK_CONSTRAINT_VIOLATION",
+ "top": "SINK_CONSTRAINT_VIOLATION",
+ "top_conf": 0.88,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_021",
+ "layer": "sink",
+ "incident_type": "SINK_CONNECTION_TIMEOUT",
+ "expected": "SINK_DB_CONNECTION_TIMEOUT",
+ "top": "SINK_DB_CONNECTION_TIMEOUT",
+ "top_conf": 0.88,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_022",
+ "layer": "infra",
+ "incident_type": "POD_OOM_KILLED",
+ "expected": "POD_OOM_KILLED",
+ "top": "POD_OOM_KILLED",
+ "top_conf": 0.88,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_023",
+ "layer": "infra",
+ "incident_type": "POD_CRASH_LOOP",
+ "expected": "POD_CRASH_LOOP",
+ "top": "POD_CRASH_LOOP",
+ "top_conf": 0.88,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_024",
+ "layer": "infra",
+ "incident_type": "NODE_PRESSURE",
+ "expected": "NODE_PRESSURE",
+ "top": "NODE_PRESSURE",
+ "top_conf": 0.88,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_025",
+ "layer": "infra",
+ "incident_type": "PVC_PRESSURE",
+ "expected": "PVC_PRESSURE",
+ "top": "PVC_PRESSURE",
+ "top_conf": 0.88,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_026",
+ "layer": "infra",
+ "incident_type": "DEPLOYMENT_ROLLOUT_REGRESSION",
+ "expected": "DEPLOYMENT_REGRESSION",
+ "top": "DEPLOYMENT_REGRESSION",
+ "top_conf": 0.88,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_027",
+ "layer": "change",
+ "incident_type": "CONFIG_CHANGE_REGRESSION",
+ "expected": "RECENT_CONFIG_CHANGE_REGRESSION",
+ "top": "RECENT_CONFIG_CHANGE_REGRESSION",
+ "top_conf": 0.88,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_028",
+ "layer": "change",
+ "incident_type": "SCHEMA_CHANGE_REGRESSION",
+ "expected": "RECENT_SCHEMA_CHANGE_REGRESSION",
+ "top": "RECENT_SCHEMA_CHANGE_REGRESSION",
+ "top_conf": 0.88,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_029",
+ "layer": "change",
+ "incident_type": "IMAGE_DEPLOYMENT_REGRESSION",
+ "expected": "RECENT_IMAGE_DEPLOYMENT_REGRESSION",
+ "top": "RECENT_IMAGE_DEPLOYMENT_REGRESSION",
+ "top_conf": 0.79,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_030",
+ "layer": "change",
+ "incident_type": "CREDENTIAL_ROTATION_FAILURE",
+ "expected": "CREDENTIAL_ROTATION_REGRESSION",
+ "top": "CREDENTIAL_ROTATION_REGRESSION",
+ "top_conf": 0.79,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_031",
+ "layer": "data_quality",
+ "incident_type": "VOLUME_ANOMALY",
+ "expected": "UPSTREAM_DATA_VOLUME_ANOMALY",
+ "top": "UPSTREAM_DATA_VOLUME_ANOMALY",
+ "top_conf": 0.88,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_032",
+ "layer": "data_quality",
+ "incident_type": "DUPLICATE_SPIKE",
+ "expected": "PIPELINE_DUPLICATE_SPIKE",
+ "top": "PIPELINE_DUPLICATE_SPIKE",
+ "top_conf": 0.79,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_033",
+ "layer": "data_quality",
+ "incident_type": "FRESHNESS_DELAY",
+ "expected": "PIPELINE_FRESHNESS_DELAY",
+ "top": "PIPELINE_FRESHNESS_DELAY",
+ "top_conf": 0.79,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_034",
+ "layer": "data_quality",
+ "incident_type": "NULL_RATE_SPIKE",
+ "expected": "SCHEMA_NULL_RATE_SPIKE",
+ "top": "SCHEMA_NULL_RATE_SPIKE",
+ "top_conf": 0.79,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_035",
+ "layer": "pipeline",
+ "incident_type": "PIPELINE_TASK_FAILED",
+ "expected": "PIPELINE_TASK_RETRY_EXHAUSTED",
+ "top": "PIPELINE_TASK_RETRY_EXHAUSTED",
+ "top_conf": 0.79,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ }
+ ]
+}
diff --git a/docs/test/results-20260622/rca_campaign_floor.json b/docs/test/results-20260622/rca_campaign_floor.json
new file mode 100644
index 00000000..35611adc
--- /dev/null
+++ b/docs/test/results-20260622/rca_campaign_floor.json
@@ -0,0 +1,455 @@
+{
+ "total_cases": 35,
+ "AC@1": 0.7143,
+ "AC@3": 0.8571,
+ "AC@5": 0.8571,
+ "Avg@5": 0.781,
+ "ECE": 0.0832,
+ "abstain_count": 5,
+ "weak_layers": [],
+ "layer_breakdown": [
+ {
+ "layer": "change",
+ "n": 4,
+ "AC@1": 0.25,
+ "AC@3": 0.75,
+ "AC@5": 0.75,
+ "Avg@5": 0.458
+ },
+ {
+ "layer": "data_quality",
+ "n": 4,
+ "AC@1": 0.75,
+ "AC@3": 0.75,
+ "AC@5": 0.75,
+ "Avg@5": 0.75
+ },
+ {
+ "layer": "infra",
+ "n": 5,
+ "AC@1": 0.8,
+ "AC@3": 0.8,
+ "AC@5": 0.8,
+ "Avg@5": 0.8
+ },
+ {
+ "layer": "kafka",
+ "n": 6,
+ "AC@1": 0.833,
+ "AC@3": 1.0,
+ "AC@5": 1.0,
+ "Avg@5": 0.917
+ },
+ {
+ "layer": "pipeline",
+ "n": 7,
+ "AC@1": 0.857,
+ "AC@3": 0.857,
+ "AC@5": 0.857,
+ "Avg@5": 0.857
+ },
+ {
+ "layer": "sink",
+ "n": 4,
+ "AC@1": 0.75,
+ "AC@3": 0.75,
+ "AC@5": 0.75,
+ "Avg@5": 0.75
+ },
+ {
+ "layer": "source",
+ "n": 5,
+ "AC@1": 0.6,
+ "AC@3": 1.0,
+ "AC@5": 1.0,
+ "Avg@5": 0.8
+ }
+ ],
+ "rows": [
+ {
+ "entry": "gs_seed_001",
+ "layer": "source",
+ "incident_type": "SOURCE_AUTH_FAILURE",
+ "expected": "SOURCE_AUTH_EXPIRED",
+ "top": "CREDENTIAL_ROTATION_REGRESSION",
+ "top_conf": 0.68,
+ "hit@1": false,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_002",
+ "layer": "source",
+ "incident_type": "SOURCE_AUTH_FAILURE",
+ "expected": "SOURCE_AUTH_EXPIRED",
+ "top": "SOURCE_AUTH_EXPIRED",
+ "top_conf": 0.82,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_003",
+ "layer": "source",
+ "incident_type": "SOURCE_CONNECTION_TIMEOUT",
+ "expected": "SOURCE_NETWORK_REACHABILITY",
+ "top": "SOURCE_NETWORK_REACHABILITY",
+ "top_conf": 0.82,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_004",
+ "layer": "source",
+ "incident_type": "SOURCE_CONNECTION_TIMEOUT",
+ "expected": "SOURCE_DB_CONNECTION_TIMEOUT",
+ "top": "SOURCE_DB_CONNECTION_TIMEOUT",
+ "top_conf": 0.653,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_005",
+ "layer": "source",
+ "incident_type": "SOURCE_READ_LATENCY",
+ "expected": "SOURCE_READ_LATENCY",
+ "top": "SOURCE_DB_CONNECTION_TIMEOUT",
+ "top_conf": 0.653,
+ "hit@1": false,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_006",
+ "layer": "pipeline",
+ "incident_type": "CONNECTOR_TASK_FAILED",
+ "expected": "CONNECTOR_TASK_FAILED",
+ "top": "CONNECTOR_TASK_FAILED",
+ "top_conf": 0.68,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_007",
+ "layer": "pipeline",
+ "incident_type": "CONNECTOR_TASK_FAILED",
+ "expected": "CONNECTOR_TASK_FAILED",
+ "top": "CONNECTOR_TASK_FAILED",
+ "top_conf": 0.82,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_008",
+ "layer": "pipeline",
+ "incident_type": "PIPELINE_TASK_FAILED",
+ "expected": "PIPELINE_CONFIG_INVALID",
+ "top": "PIPELINE_CONFIG_INVALID",
+ "top_conf": 0.68,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_009",
+ "layer": "pipeline",
+ "incident_type": "SCHEMA_MISMATCH",
+ "expected": "SCHEMA_MISMATCH",
+ "top": "SCHEMA_MISMATCH",
+ "top_conf": 0.72,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_010",
+ "layer": "pipeline",
+ "incident_type": "SCHEMA_MISMATCH",
+ "expected": "SCHEMA_MISMATCH",
+ "top": "SCHEMA_MISMATCH",
+ "top_conf": 0.82,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_011",
+ "layer": "pipeline",
+ "incident_type": "CONNECTOR_WORKER_UNHEALTHY",
+ "expected": "CONNECTOR_WORKER_REBALANCE_LOOP",
+ "top": "CONNECTOR_WORKER_REBALANCE_LOOP",
+ "top_conf": 0.68,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_012",
+ "layer": "kafka",
+ "incident_type": "CONSUMER_LAG_SPIKE",
+ "expected": "CONSUMER_LAG_SPIKE",
+ "top": "CONSUMER_LAG_SPIKE",
+ "top_conf": 0.68,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_013",
+ "layer": "kafka",
+ "incident_type": "CONSUMER_LAG_SPIKE",
+ "expected": "CONSUMER_LAG_SPIKE",
+ "top": "CONSUMER_LAG_SPIKE",
+ "top_conf": 0.68,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_014",
+ "layer": "kafka",
+ "incident_type": "BROKER_RESOURCE_PRESSURE",
+ "expected": "BROKER_RESOURCE_PRESSURE",
+ "top": "BROKER_RESOURCE_PRESSURE",
+ "top_conf": 0.82,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_015",
+ "layer": "kafka",
+ "incident_type": "PARTITION_IMBALANCE",
+ "expected": "PARTITION_IMBALANCE",
+ "top": "BROKER_RESOURCE_PRESSURE",
+ "top_conf": 0.68,
+ "hit@1": false,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_016",
+ "layer": "kafka",
+ "incident_type": "TOPIC_INGRESS_SPIKE",
+ "expected": "TOPIC_INGRESS_SPIKE",
+ "top": "TOPIC_INGRESS_SPIKE",
+ "top_conf": 0.68,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_017",
+ "layer": "kafka",
+ "incident_type": "REBALANCE_LOOP",
+ "expected": "CONSUMER_REBALANCE_LOOP",
+ "top": "CONSUMER_REBALANCE_LOOP",
+ "top_conf": 0.72,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_018",
+ "layer": "sink",
+ "incident_type": "SINK_AUTH_FAILURE",
+ "expected": "SINK_AUTH_EXPIRED",
+ "top": "UNKNOWN_WITH_EVIDENCE_GAP",
+ "top_conf": 0.0,
+ "hit@1": false,
+ "hit@3": false,
+ "hit@5": false
+ },
+ {
+ "entry": "gs_seed_019",
+ "layer": "sink",
+ "incident_type": "SINK_WRITE_LATENCY",
+ "expected": "SINK_WRITE_LATENCY",
+ "top": "SINK_WRITE_LATENCY",
+ "top_conf": 0.68,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_020",
+ "layer": "sink",
+ "incident_type": "SINK_CONSTRAINT_ERROR",
+ "expected": "SINK_CONSTRAINT_VIOLATION",
+ "top": "SINK_CONSTRAINT_VIOLATION",
+ "top_conf": 0.87,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_021",
+ "layer": "sink",
+ "incident_type": "SINK_CONNECTION_TIMEOUT",
+ "expected": "SINK_DB_CONNECTION_TIMEOUT",
+ "top": "SINK_DB_CONNECTION_TIMEOUT",
+ "top_conf": 0.853,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_022",
+ "layer": "infra",
+ "incident_type": "POD_OOM_KILLED",
+ "expected": "POD_OOM_KILLED",
+ "top": "POD_OOM_KILLED",
+ "top_conf": 0.72,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_023",
+ "layer": "infra",
+ "incident_type": "POD_CRASH_LOOP",
+ "expected": "POD_CRASH_LOOP",
+ "top": "POD_CRASH_LOOP",
+ "top_conf": 0.68,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_024",
+ "layer": "infra",
+ "incident_type": "NODE_PRESSURE",
+ "expected": "NODE_PRESSURE",
+ "top": "NODE_PRESSURE",
+ "top_conf": 0.68,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_025",
+ "layer": "infra",
+ "incident_type": "PVC_PRESSURE",
+ "expected": "PVC_PRESSURE",
+ "top": "PVC_PRESSURE",
+ "top_conf": 0.92,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_026",
+ "layer": "infra",
+ "incident_type": "DEPLOYMENT_ROLLOUT_REGRESSION",
+ "expected": "DEPLOYMENT_REGRESSION",
+ "top": "UNKNOWN_WITH_EVIDENCE_GAP",
+ "top_conf": 0.0,
+ "hit@1": false,
+ "hit@3": false,
+ "hit@5": false
+ },
+ {
+ "entry": "gs_seed_027",
+ "layer": "change",
+ "incident_type": "CONFIG_CHANGE_REGRESSION",
+ "expected": "RECENT_CONFIG_CHANGE_REGRESSION",
+ "top": "PIPELINE_CONFIG_INVALID",
+ "top_conf": 0.68,
+ "hit@1": false,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_028",
+ "layer": "change",
+ "incident_type": "SCHEMA_CHANGE_REGRESSION",
+ "expected": "RECENT_SCHEMA_CHANGE_REGRESSION",
+ "top": "SCHEMA_MISMATCH",
+ "top_conf": 0.82,
+ "hit@1": false,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_029",
+ "layer": "change",
+ "incident_type": "IMAGE_DEPLOYMENT_REGRESSION",
+ "expected": "RECENT_IMAGE_DEPLOYMENT_REGRESSION",
+ "top": "UNKNOWN_WITH_EVIDENCE_GAP",
+ "top_conf": 0.0,
+ "hit@1": false,
+ "hit@3": false,
+ "hit@5": false
+ },
+ {
+ "entry": "gs_seed_030",
+ "layer": "change",
+ "incident_type": "CREDENTIAL_ROTATION_FAILURE",
+ "expected": "CREDENTIAL_ROTATION_REGRESSION",
+ "top": "CREDENTIAL_ROTATION_REGRESSION",
+ "top_conf": 0.68,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_031",
+ "layer": "data_quality",
+ "incident_type": "VOLUME_ANOMALY",
+ "expected": "UPSTREAM_DATA_VOLUME_ANOMALY",
+ "top": "UPSTREAM_DATA_VOLUME_ANOMALY",
+ "top_conf": 0.82,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_032",
+ "layer": "data_quality",
+ "incident_type": "DUPLICATE_SPIKE",
+ "expected": "PIPELINE_DUPLICATE_SPIKE",
+ "top": "UNKNOWN_WITH_EVIDENCE_GAP",
+ "top_conf": 0.0,
+ "hit@1": false,
+ "hit@3": false,
+ "hit@5": false
+ },
+ {
+ "entry": "gs_seed_033",
+ "layer": "data_quality",
+ "incident_type": "FRESHNESS_DELAY",
+ "expected": "PIPELINE_FRESHNESS_DELAY",
+ "top": "PIPELINE_FRESHNESS_DELAY",
+ "top_conf": 0.72,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_034",
+ "layer": "data_quality",
+ "incident_type": "NULL_RATE_SPIKE",
+ "expected": "SCHEMA_NULL_RATE_SPIKE",
+ "top": "SCHEMA_NULL_RATE_SPIKE",
+ "top_conf": 0.68,
+ "hit@1": true,
+ "hit@3": true,
+ "hit@5": true
+ },
+ {
+ "entry": "gs_seed_035",
+ "layer": "pipeline",
+ "incident_type": "PIPELINE_TASK_FAILED",
+ "expected": "PIPELINE_TASK_RETRY_EXHAUSTED",
+ "top": "UNKNOWN_WITH_EVIDENCE_GAP",
+ "top_conf": 0.0,
+ "hit@1": false,
+ "hit@3": false,
+ "hit@5": false
+ }
+ ]
+}
diff --git "a/docs/test/\354\213\234\352\260\201\355\231\224-\352\262\200\354\246\235\352\262\260\352\263\274-\352\270\260\354\244\200\354\266\234\354\262\230.html" "b/docs/test/\354\213\234\352\260\201\355\231\224-\352\262\200\354\246\235\352\262\260\352\263\274-\352\270\260\354\244\200\354\266\234\354\262\230.html"
new file mode 100644
index 00000000..ccbce3a7
--- /dev/null
+++ "b/docs/test/\354\213\234\352\260\201\355\231\224-\352\262\200\354\246\235\352\262\260\352\263\274-\352\270\260\354\244\200\354\266\234\354\262\230.html"
@@ -0,0 +1,226 @@
+
+
+
+
+Bifrost AI Agent 검증 결과 · 기준 · 출처
+
+
+
+
+
Bifrost AI Agent 검증 결과 · 기준 · 출처 (2026-06-22)
+
+운영/오프라인 환경에서 AI 장애대응 에이전트(FastAPI Agent Server)를 테스트한 실측 수치와, 그 평가·설계 기준이 근거하는 글로벌 표준·논문을 벤치마킹해 적용한 내용을 정리한 문서.
+RCA(근본원인분석) Assistant 원칙 — LLM이 원인을 생성하지 않고, 카탈로그·증거로 선택하고, 불확실하면 기권한다.
+
+
+
+수치 정직성 원칙 — 본 문서는 A 오늘 실측B 코드·설계로 보장C 미측정·추가 필요를 명확히 구분한다.
+구버전 슬라이드의 89.6% / 367케이스는 코드에 재현 출처가 없어 사용하지 않는다. 본 문서 RCA 수치는 2026-06-22 재실행값(보수적 floor).
+