· NIST AI RMF 1.0 (NIST AI 100-1, 2023) · OWASP Top 10 for LLM Applications (2025) · EU AI Act — Reg.(EU) 2024/1689 §14 Human oversight · ITIL 4 Problem Management + KEDB (Axelos 2020) · ISO/IEC 20000-1:2018 · ISO/IEC 42001:2023 · Google SRE — 4 Golden Signals · Alerting on SLOs · Google SAIF · Microsoft Responsible AI Standard v2
-
논문 · 벤치마크
· Guo et al., Calibration of NN (ECE), ICML 2017 · Lewis et al., RAG, NeurIPS 2020 · Geifman & El-Yaniv, Selective Classification, 2017 · PACE-LM, Microsoft, 2023 (arXiv:2309.05833) · RCACopilot, EuroSys 2024 (arXiv:2305.15778) · Ahmed et al., LLM RCA, ICSE 2023 · RCAEval (Acc@k·Avg@5 지표) · Zheng et al., LLM-as-judge, 2023
-
-
상세 근거·재현 명령·원본 수치: docs/test/agent-검증결과-기준출처-20260622.md · 모든 수치 2026.06.22 재실측 (구버전 89.6%/367케이스는 재현 출처 없어 미사용)
정상(ACTIVE)·지연은 무채색, 실패(FAILED)만 빨강 + 행에 옅은 빨강 배경. 5개 중 빨강이 하나뿐이라 실패가 떠도(아니, 떠야) 즉시 눈에 박힙니다. 만약 ACTIVE를 초록으로 칠하면 빨강이 초록과 경쟁해서 오히려 문제 인지가 느려집니다 — 그래서 정상에서 색을 빼는 게 맞습니다. (지연을 한 단계 강조하고 싶으면 옅은 호박색 옵션도 가능)
-
-
-
-
-
-
diff --git a/docs/team/rca-followup-handoff.md b/docs/team/rca-followup-handoff.md
deleted file mode 100644
index fa69b43b..00000000
--- a/docs/team/rca-followup-handoff.md
+++ /dev/null
@@ -1,119 +0,0 @@
-# RCA·장애대응 에이전트 개선 — 작업 핸드오프
-
-| 항목 | 내용 |
-|---|---|
-| 담당 | @baekkangmin |
-| 원본 이슈 | #877 ([docs] RCA 표준 검토 — **문서화까지만 완료**, 구현은 후속 이슈로 분리) |
-| 기준 문서 | [`docs/design/rca-standards-review.md`](../design/rca-standards-review.md) |
-| 판단 기준 | **develop 브랜치 현재 코드** |
-| 범위 | `services/ai-service` (RCA·Remediation 에이전트) + `services/operations-backend` (인시던트·알림) |
-
-> ⚠️ `feat/ai-eval-harness`·`feat/confidence-calibration` 브랜치는 **머지 대상이 아니다.** 평가 하네스/캘리브레이션이 거기 일부 있지만, 본 작업은 모두 **develop 기준 미구현 상태**에서 시작한다.
-
----
-
-## 한눈에 보기
-
-#877은 "현재 RCA 구현을 표준·논문 기준으로 검토하고, 개선해야 할 지점을 식별해 문서화"하는 작업이었고 **문서화는 끝났다.** 이제 그 문서의 **개선 로드맵 13단계를 실제 코드로 구현**하는 단계다. 각 단계 = GitHub 이슈 1개.
-
-현재 구현은 이미 안전한 골격(카탈로그 기반 RCA + 증거 매트릭스 + UNKNOWN 폴백 + 승인/멱등성/감사로그)을 갖췄다. 남은 것은 **운영 자동화·재현성·평가·알림 성숙도**다.
-
----
-
-## 이슈별 쉬운 설명 (비전공자용)
-
-각 이슈가 정확히 무슨 작업인지 1~2문장으로 풀어 썼다. (각 GitHub 이슈 맨 위에도 동일하게 적혀 있다.)
-
-1. **#882 실행 깊이 제어** — 지금은 "상태 좀 봐줘" 같은 쉬운 질문에도 AI가 매번 모든 분석 절차를 끝까지 돌려서 느리고 비용이 큽니다. 질문이 쉬우면 짧게, 어려우면 깊게, 질문 난이도에 맞춰 AI가 하는 일의 양을 자동으로 조절하도록 만드는 작업입니다.
-2. **#883 실행 관측성** — AI가 한 번 분석할 때 어느 단계에서 시간·비용이 얼마나 들었고 도구를 몇 번 썼는지 기록이 남지 않습니다. 나중에 "왜 느렸지/비쌌지"를 추적할 수 있도록 실행 영수증(기록)을 남기는 작업입니다.
-3. **#884 threshold 레지스트리** — "이 수치를 넘으면 경고" 같은 기준 숫자들이 코드 곳곳에 흩어져 박혀 있어, 누가 왜 그 값으로 정했는지 알 수 없습니다. 이 기준값들을 한 곳에 모아 값·이유·담당자·변경이력과 함께 관리하는 작업입니다.
-4. **#885 재현성 스키마** — 지금은 "AI가 그때 어떤 모델·설정으로 판단했는지" 기록이 부족해, 같은 장애를 나중에 다시 분석하면 결과가 달라질 수 있습니다. 당시 판단을 똑같이 재현할 수 있도록 사용한 모델·버전·설정을 기록에 고정하는 작업입니다.
-5. **#886 자동 롤백** — AI가 자동으로 조치를 했다가 실패하면, 지금은 사람이 직접 손으로 되돌려야 합니다. 조치가 실패하면 시스템이 스스로 원래 상태로 되돌리는(undo) 안전장치를 만드는 작업입니다.
-6. **#887 gold set·라벨링** — AI의 장애 원인 추측이 실제로 맞는지 채점하려면 "정답지"가 필요한데 지금은 없습니다. 실제로 해결된 과거 장애들에 대해 사람이 "진짜 원인은 이것이었다"라고 정리한 정답 모음을 만드는 작업입니다.
-7. **#888 AC@k 평가** — AI는 장애 원인 후보를 여러 개 순위로 내놓는데, 그 순위 안에 진짜 원인이 얼마나 잘 들어오는지(예: 상위 3개 안에 정답이 있는 비율)를 점수로 측정하는 작업입니다. (6번 "정답지"가 있어야 가능)
-8. **#889 ECE 캘리브레이션** — AI가 "이 원인일 확률 80%"라고 말할 때 실제로도 그만큼 맞는지 검증하는 작업입니다. 과하게 자신만만한 구간을 찾아 AI의 신뢰도 표현을 현실에 맞게 보정합니다. (6·7번 필요)
-9. **#890 drift 감시** — 시간이 지나면서 AI의 판단 경향이 슬슬 이상해지거나(특정 원인만 자꾸 지목한다든지), 사람이 AI 결과를 고치는 일이 늘어나는 것을 자동으로 감지해 알려주는 작업입니다. (6·8번 필요)
-10. **#891 SLI 정의** — 지금 알림은 "lag 5000 초과" 같은 내부 기술 수치를 기준으로 울립니다. 그 대신 "사용자 입장에서 데이터가 제때, 빠짐없이 도착했는가" 같은 실제 체감 품질 지표를 정의하는 작업입니다.
-11. **#892 SLO burn-rate 알림** — 사용자 체감 품질이 빠르게 나빠질 때만 긴급 호출(page)을 보내고, 단순 기술 수치 초과는 덜 급한 알림으로 내려서 "불필요한 알림 폭탄"을 줄이는 작업입니다. (10번 필요)
-12. **#893 인과/상관 증거 태그** — "같이 일어났다"와 "이것이 원인이다"는 다릅니다. AI가 단순히 동시에 나타난 현상을 진짜 원인으로 착각하지 않도록, 시간 순서(원인이 먼저 일어났는지)를 따져 증거의 무게를 다르게 매기는 작업입니다.
-13. **#894 KEDB 확장** — 장애 원인 목록이 지금은 고정된 사전에 불과합니다. 원인마다 "담당자·증상·검증된 해결법·재발 횟수·관련 장애"를 계속 쌓아가는, 살아있는 운영 지식 DB로 키우는 작업입니다.
-
----
-
-## 작업 목록 (이슈 13개)
-
-| 단계 | 이슈 | 제목 | 영역 | 선행 | 비고 |
-|---|---|---|---|---|---|
-| 1 | #882 | 자연어 질의 실행 깊이 제어 | ai-service | — | **자체완결·테스트 검증 용이** |
-| 2 | #883 | agent 실행 관측성(run telemetry) | ai-service | — | |
-| 3 | #884 | threshold governance(임계값 레지스트리) | ai-service+Spring | — | 7·8의 보정값 수렴처 |
-| 4 | #885 | run 단위 재현성 스키마 | ai-service | — | 모델 날짜 핀고정 |
-| 5 | #886 | 조치 실패 시 자동 롤백 | ai-service | — | **안전성 최우선** |
-| 6 | #887 | RCA gold set·라벨링 프로토콜 | ai-service | — | **7·8·9의 전제** |
-| 7 | #888 | AC@k/Avg@k 평가 리포트 | ai-service | 6 | |
-| 8 | #889 | ECE confidence 캘리브레이션 | ai-service | 6,7 | 결과 → 3 |
-| 9 | #890 | online feedback·drift 감시 | ai-service | 6,8 | |
-| 10 | #891 | 사용자 영향 SLI 정의 | Spring | — | **11의 전제** |
-| 11 | #892 | SLO burn-rate 알림 | Spring | 10 | |
-| 12 | #893 | 인과/상관 증거 태그 | ai-service | — | |
-| 13 | #894 | KEDB형 카탈로그 확장 | ai-service | (6 권장) | |
-
----
-
-## 의존성 그래프
-
-```text
-독립 착수 가능
- ├─ #882 실행 깊이 제어
- ├─ #883 관측성
- ├─ #884 threshold registry ◄────────────┐ (보정값 반영)
- ├─ #885 재현성
- ├─ #886 자동 롤백
- ├─ #893 인과 증거 태그
- │
- ├─ #887 gold set ─► #888 AC@k ─► #889 ECE ─┘
- │ └──────────────────► #890 drift ◄─ (#889)
- │ └─(권장)─► #894 KEDB
- │
- └─ #891 SLI 정의 ─► #892 SLO burn-rate 알림
-```
-
-핵심 선행 관계 2개만 기억하면 된다:
-1. **#887(gold set) → #888 → #889 → #890** : 평가·캘리브레이션은 실제 정답셋이 있어야 의미가 있다. 합성 데이터로는 ECE/AC@k가 실제 정답률을 못 맞춘다.
-2. **#891(SLI) → #892(SLO 알림)** : 알림은 SLI 정의 위에서만 burn-rate를 계산할 수 있다.
-
-나머지(#882·#883·#884·#885·#886·#893)는 **선행 없이 바로 착수 가능**하다.
-
----
-
-## 권장 진행 순서
-
-| 웨이브 | 이슈 | 이유 |
-|---|---|---|
-| **1차** | #882, #886, #885 | #882=자체완결·즉시 비용/지연 개선, #886=안전성 1순위, #885=재현성(모델 핀고정) |
-| **2차** | #887 → #888 → #889 | 평가 체인. #887 gold set이 모든 평가의 전제 |
-| **3차** | #883, #884 | 관측성·threshold registry (측정 인프라) |
-| **4차** | #891 → #892 | 사용자 영향 SLI → SLO burn-rate 알림 |
-| **5차** | #893, #890, #894 | 인과 태그·drift·KEDB |
-
-> 설계문서 §1.3 우선순위(자동 롤백 / 모델 핀고정 / 알림 SLO화 / RCA 설명력)와 의존성을 함께 반영한 순서다.
-
----
-
-## 작업 방식 (팀 컨벤션)
-
-각 이슈 본문에 **현재 상태(develop) + 파일 경로 + 해야 할 일 + 완료 조건**이 들어 있어 이슈만 보고 작업할 수 있다. 더 깊은 근거가 필요하면 이슈가 가리키는 [`rca-standards-review.md`](../design/rca-standards-review.md) 해당 §를 참고한다.
-
-[`docs/team/git-convention.md`](./git-convention.md) 기준:
-
-```
-1. 이슈 확인 (#882 등)
-2. develop에서 브랜치 생성: feat/#882
-3. 커밋: #882 [feat] <메시지>
-4. PR base = develop, 제목 = #882 [feat] <메시지>
-5. Squash and merge
-```
-
-- 모든 이슈는 `feat` 라벨, develop이 base.
-- ai-service 이슈와 Spring 이슈는 영역이 분리돼 있어 병렬 진행 가능.
-- 한 단계가 여러 PR로 쪼개져도 무방 — 완료 조건 체크박스를 기준으로 한다.
diff --git "a/docs/test/agent-\352\262\200\354\246\235\352\262\260\352\263\274-\352\270\260\354\244\200\354\266\234\354\262\230-20260622.md" "b/docs/test/agent-\352\262\200\354\246\235\352\262\260\352\263\274-\352\270\260\354\244\200\354\266\234\354\262\230-20260622.md"
deleted file mode 100644
index 67696872..00000000
--- "a/docs/test/agent-\352\262\200\354\246\235\352\262\260\352\263\274-\352\270\260\354\244\200\354\266\234\354\262\230-20260622.md"
+++ /dev/null
@@ -1,191 +0,0 @@
-# Bifrost AI Agent 검증 결과 · 기준 · 출처 (2026-06-22)
-
-운영/오프라인 환경에서 FastAPI Agent Server(`services/ai-service`)를 테스트한 **실측 수치**와, 그 평가 기준이 근거하는 **네임밸류 글로벌 표준·논문 출처**를 정리한다. 발표(PPT) 근거 문서.
-
-> 수치 정직성 원칙: 아래는 **(A) 오늘 실제 측정 / (B) 코드·설계로 보장(측정 아님) / (C) 미측정·추가 필요**를 명확히 구분한다. 구버전 슬라이드의 `89.6% / 367케이스`는 코드에 출처가 없어 **사용하지 않는다**(재현 불가). 본 문서의 RCA 수치는 2026-06-22 재실행값이다.
-
----
-
-## 1. 한눈에 — 측정 수치 요약 (A: 오늘 실측)
-
-| 영역 | 수치 | 조건 | 산출 |
-|---|---|---|---|
-| **RCA top-1 정확도** | **71.4%** (25/35) | 오프라인 floor, 35 gold set, LLM 타이브레이커 off | `scripts/rca_eval_campaign.py` |
-| **RCA top-3 / top-5** | **85.7%** (30/35) | 〃 | 〃 |
-| **Avg@5 (MRR)** | **0.781** | 〃 | 〃 |
-| **확신 시 정확도(precision@conf≥0.80)** | **90.0%** (9/10) | 신뢰도 0.80 이상만 | 파생 |
-| **보정 오차 ECE** | **0.083** (<0.10 양호) | 10-bin | `app/evaluation/calibration.py` |
-| **환각(카탈로그-외 원인 생성)** | **0건** | 35건 전수 | 파생 |
-| **정직한 기권(UNKNOWN)** | **5/35** (14.3%) | 근거 부족 시 보류 | 파생 |
-| **top-1 오답 회복** | **5/5** 전부 top-3 내 정답 | 기권 제외 오답 | 파생 |
-| **NL→tool 라우팅 정확도** | **routing@1 88.9% / hit 94.4%** | 라이브 배포 agent, 18케이스, 에러 0 | `eval.online.nl_tool_routing --live` |
-| 라우팅 낭비 스텝 / 지연 | wasted 0.17 / 7.3s | 〃 | 〃 |
-| **라이브 fault 주입 RCA** | sink_db_down → 정답, conf 0.82 | 실제 클러스터 1케이스 | `eval.online.live_eval --live` |
-| 단위 회귀(정확도·보정·분류) | **48/48 통과** | pytest | 〃 |
-
-비교 기준선(외부 SOTA, §4): PACE-LM(MS 2023) GPT-4+검색증강 **top-1 43.4%**, RCACopilot(EuroSys'24) **Micro-F1 0.766**.
-
----
-
-## 2. 평가·설계 기준 — 글로벌 벤치마킹과 적용
-
-우리 설계·평가 기준은 임의로 만든 게 아니라, **네임밸류 있는 글로벌 벤더·표준기구·논문이 쓰는 방식을 벤치마킹해 우리 프로젝트에 이식**한 것이다. 각 항목은 "**업계는 이렇게 한다(원리) → Bifrost는 이렇게 적용했다(구현)**" 형태로 정리한다. (URL은 리서치로 실재 확인. ISO/OpenAI 일부는 봇 차단으로 본문 미검증, 표기)
-
-### 2.1 RCA 방법론 — IT 운영·품질관리 표준을 LLM RCA에 이식
-
-**ITIL 4 Problem Management + KEDB** (Axelos 2020 · https://www.axelos.com/resource-hub/practice/problem-management-itil-4-practice-guide)
-- 업계 원리: 인시던트의 근본원인을 분석한 뒤 **Known Error**로 등록(KEDB)해, 재발 시 즉시 진단·복구에 재사용한다.
-- Bifrost 적용: 35종 root-cause 카탈로그를 KEDB처럼 운영 — 증상·검증된 조치·롤백 절차·과거 인시던트 링크를 보관(`app/catalogs/kedb.py`)하고 RCA가 이를 참조한다.
-
-**5 Whys** (Toyota Production System, Ohno 1988 · https://en.wikipedia.org/wiki/Five_whys)
-- 업계 원리: "왜?"를 반복해 표면 증상이 아닌 **진짜 근본원인**까지 내려간다.
-- Bifrost 적용: 증상성 원인(예: Connector Task FAILED)이 떠도, 더 깊은 원인(예: Sink DB 연결 타임아웃)이 증거로 입증되면 증상을 그 아래로 **강등**해 근본원인을 top에 올린다(`rca.py` 증상 강등 로직).
-
-**Ishikawa(특성요인도)** (ASQ · https://asq.org/quality-resources/fishbone)
-- 업계 원리: 하나의 결과(문제)에 대한 잠재 원인을 **범주별로 분기**해 본다.
-- Bifrost 적용: 1개 incident_type → 복수 root-cause 후보로 매핑(`incident_rootcause_map.py`)해 한 증상을 여러 원인 가설로 분기·점수화한다.
-
-**ISO/IEC 20000-1:2018** (IT 서비스 관리 · https://www.iso.org/standard/70636.html)
-- 업계 원리: incident → problem → known error로 이어지는 ITSM 프로세스를 체계화한다.
-- Bifrost 적용: Classifier→RCA→Verifier→Report 파이프라인이 이 ITSM 흐름을 자동화한 형태다.
-
-> 한 줄: "원인을 **생성**하지 않고 **카탈로그에서 증거로 선택**한다"는 RCA Assistant 원칙은, 수십 년 검증된 ITSM·품질관리 표준을 LLM에 그대로 이식한 결과다.
-
-### 2.2 장애 알림·심각도 — Google SRE 운영 표준을 벤치마킹
-
-**Google SRE — 4 Golden Signals** (https://sre.google/sre-book/monitoring-distributed-systems/)
-- 업계 원리: 사용자 대면 시스템은 **Latency·Traffic·Errors·Saturation** 4개 신호를 본다.
-- Bifrost 적용: 관측 도구 세트가 이 4신호를 그대로 커버 — 지표 조회(latency/saturation)·로그 검색(errors)·consumer lag 조회(traffic/saturation).
-
-**Google SRE — Alerting on SLOs** (https://sre.google/workbook/alerting-on-slos/)
-- 업계 원리: 알림은 단순 임계가 아니라 **error budget / burn rate**(추세) 기준으로, 잠깐의 스파이크엔 울리지 않는다.
-- Bifrost 적용: 임계값을 숫자로 박지 않고 **value+version+basis+owner로 거버넌스**(`threshold_registry`)하고, WARN 단건은 로그만·동일 리소스 30분 2건↑일 때 인시던트로 승격해 알람 피로를 줄인다.
-
-**PagerDuty Severity Levels** (https://response.pagerduty.com/before/severity_levels/) · **Confluent Kafka lag alerting** (https://docs.confluent.io/platform/current/monitor/monitor-consumer-lag.html)
-- 업계 원리: 심각도를 SEV 등급으로 명확히 정의하고, Kafka lag은 절대값이 아니라 추세로 본다.
-- Bifrost 적용: 심각도 2단계(WARNING/CRITICAL) + consumer lag 임계(WARNING 5,000 / CRITICAL 50,000, spec 부록 B 단일 출처).
-
-### 2.3 AI 리스크·환각 통제 — 정부·업계·규제 프레임워크를 그대로 구현
-
-**NIST AI RMF 1.0** (NIST AI 100-1, 2023 · https://nvlpubs.nist.gov/nistpubs/ai/nist.ai.100-1.pdf)
-- 업계 원리: AI 위험을 GOVERN·MAP·**MEASURE**(정량 측정)·**MANAGE**(대응)로 관리한다.
-- Bifrost 적용: RCA 정확도·ECE를 지표화해 MEASURE, 위험 조치를 승인 게이트로 MANAGE, 정책 매트릭스로 GOVERN.
-
-**OWASP Top 10 for LLM 2025** (https://genai.owasp.org/llm-top-10/)
-- 업계 원리: LLM01 Prompt Injection·LLM02 Sensitive Information Disclosure·LLM05 Improper Output Handling을 최우선 위협으로 규정한다.
-- Bifrost 적용: 대화(ReAct) 루프엔 read-only 도구만 노출(인젝션으로 변경 불가), 자격증명·민감정보 자동 마스킹, 출력 요약 화이트리스트로 검증.
-
-**EU AI Act 제14조 Human oversight** (Reg.(EU) 2024/1689 · https://artificialintelligenceact.eu/article/14/)
-- 업계 원리(규제): 고위험 AI는 사용 중 사람이 **효과적으로 감독·재정의**할 수 있어야 한다.
-- Bifrost 적용: 모든 변경 조치는 HITL 승인 게이트 통과 필수 — 미승인 시 백엔드 호출 자체가 차단.
-
-**Google SAIF / Microsoft Responsible AI v2** (https://saif.google/ · Microsoft RAI Standard v2)
-- 업계 원리: AI 고유 위협(인젝션·데이터 포이즈닝 등)에 대한 보안·책임성 프레임워크.
-- Bifrost 적용: 인젝션 차단·출력 검증·HITL을 통해 책임성(accountability) 확보. (ISO/IEC 42001:2023 AI 경영시스템도 동일 맥락 — 운영·로깅·라이프사이클 거버넌스로 정렬)
-
-### 2.4 정량 지표·기법 — 학술 표준 그대로
-
-**ECE (Expected Calibration Error)** — Guo et al., ICML 2017 · https://arxiv.org/abs/1706.04599
-- 업계 원리: "신뢰도 0.8이면 실제 정답률도 80%"가 되도록 보정 정도를 측정(10-bin).
-- Bifrost 적용: ECE 0.083(<0.10)으로 과신 여부를 검증(`calibration.py`).
-
-**RAG (검색증강생성)** — Lewis et al., NeurIPS 2020 · https://arxiv.org/abs/2005.11401
-- 업계 원리: 외부 근거 문서를 검색해 조건으로 생성하면 환각이 준다.
-- Bifrost 적용: pgvector 기반 KEDB·런북 검색으로 근거 기반 답변.
-
-**Selective Prediction / Abstention** — Geifman & El-Yaniv, NeurIPS 2017 · https://arxiv.org/abs/1705.08500
-- 업계 원리: 불확실한 입력은 **기권(reject)** 해 오류율을 보장한다.
-- Bifrost 적용: 신뢰도 < 0.60이면 `UNKNOWN_WITH_EVIDENCE_GAP`로 기권(찍지 않음).
-
-**Human-in-the-Loop** — Wu et al., FGCS 2022 · https://arxiv.org/abs/2108.00941
-- 업계 원리: 인간 판단을 운영 루프에 통합해 정확성·안전성을 높인다.
-- Bifrost 적용: 변경 조치 전 사람 승인(EU AI Act §14와 동일 취지).
-
-**평가지표 표준** — Accuracy@k·Avg@5(RCAEval, arXiv:2412.17015) / MRR(Voorhees, TREC-8 1999) / Macro-F1(Sokolova & Lapalme 2009) / Wilson score interval(Wilson 1927; Brown et al. 2001) / LLM-as-judge(Zheng et al., NeurIPS 2023, 인간 일치 80%+)
-- 업계 원리: RCA·분류 평가의 사실상 표준 지표.
-- Bifrost 적용: AC@k·Avg@5·ECE를 산출(`metrics.py`·`calibration.py`). ※ Macro-F1·Wilson CI는 현재 미구현(추가 시 산출 가능).
-
----
-
-## 3. RCA 정확도 상세 (A: 오늘 실측)
-
-`scripts/rca_eval_campaign.py`, 35 gold set, 관측 증거만 입력(정답 결론 비주입), LLM 타이브레이커 off(보수적 floor), temperature 0.0. 원본: [results-20260622/rca_campaign_floor.json](results-20260622/rca_campaign_floor.json).
-
-- AC@1 **0.7143** · AC@3 **0.8571** · AC@5 **0.8571** · Avg@5 **0.781** · ECE **0.0832** · 기권 **5/35**
-- 계층별: kafka 6건 AC@3 1.0 / source 5건 AC@3 1.0 / infra 5건 0.8 / pipeline 7건 0.857 / sink·data_quality·change 0.75 — 취약계층(AC@3<0.7) **없음**
-- **환각 0**: 35건 top 예측이 전부 35개 카탈로그 id 또는 `UNKNOWN_WITH_EVIDENCE_GAP`. 날조 id 0건
-- **기권 5건**(gs_018/026/029/032/035)은 top_conf 0.0의 정직한 보류 — 우기지 않음
-- **top-1 오답 5건(기권 제외) 전부 top-3 내 정답 포함** — 근접 실패, 치명 오진 아님
-- **확신(≥0.80) 9/10 정답(90%)** — 단정할 땐 거의 맞음
-
-> floor(LLM off)는 하한이며, LLM 타이브레이커 on(`RCA_EVAL_USE_LLM=1`, 배포 pod)에서 상승 여지. 라이브 fault 주입(sink_db_down)은 정답·conf 0.82.
-
----
-
-## 4. 외부 SOTA 대비 (발표 비교용)
-
-| 출처 | 수치 | 조건 | 메모 |
-|---|---|---|---|
-| **Bifrost(우리)** | **AC@5 85.7% / Avg@5 0.781** | 35 gold set, floor | — |
-| PACE-LM (Microsoft, 2023) · arXiv:2309.05833 | top-1 **43.4%** | GPT-4 + 검색증강, 3,000건 | top-1 정의 |
-| RCACopilot (EuroSys'24) · arXiv:2305.15778 | **Micro-F1 0.766** | GPT-4, category 예측 | 우리 Avg@5 0.781과 동급대 |
-| RCACopilot 단순 GPT-4 프롬프트 | Micro-F1 0.026 | CoT 없음 | "파이프라인이 핵심" 근거 |
-| Ahmed (ICSE'23) · arXiv:2301.03797 | 사용성 70%+ | 현업 27명 사람평가 | 수용성 |
-
-⚠️ **지표 정의가 다르다**(우리 AC@5 = top-5 랭킹 / PACE-LM 43.4% = top-1 correctness / RCACopilot 0.766 = Micro-F1). 발표 시 반드시 각주로 명시. "동급 또는 상회"로 포지셔닝하되 단순 대소 비교는 지양.
-
----
-
-## 5. 안전성·환각 통제 메커니즘 (B: 코드·설계로 보장)
-
-오늘 공격 카운트 하네스를 새로 돌리지 않았으므로(미구현, §7), 아래는 **코드 게이트로 구조적으로 보장**되는 사실이다. 측정값이 아니라 "우회 경로가 코드 레벨에서 닫혀 있음".
-
-| 통제 | 메커니즘 | 코드 |
-|---|---|---|
-| 카탈로그-바운드 RCA | 35개 root cause 외 생성 불가, 미충족 시 기권 | `rca.py`, `verifier.py`(catalog-외 id FAIL) |
-| 신뢰도 3구간 게이트 | ≥0.80 조치 / 0.60~0.79 추가확인 / <0.60 UNKNOWN | `rca.py` `MIN_CONFIDENT_ROOT_CAUSE=0.60`, `EvidenceProfile.min_confidence_for_action=0.80`, `needs_more_evidence_band=(0.60, 0.79)` |
-| Evidence 게이트 | required/supporting/negative 분리, required 미충족 시 conf cap | `rca.py` `_evaluate_candidate` |
-| 무승인 실행 차단(HITL) | mutation 4종 전부 승인 필요, 미승인 시 `waiting_for_approval`·BLOCKED(Spring 호출 전) | `approval_gate.py`, `registry.py:561-571`, policy_matrix |
-| 정보유출 차단 | 자격증명 마스킹·요약 화이트리스트·evidence는 id만 | `evidence/redaction.py`, `tools/result.py` |
-| 멀티테넌트 격리 | 모든 도구 경로에 run의 project_id 강제 주입 | `registry.py:171-174` (+Spring 최종 집행) |
-| 프롬프트 인젝션 | ReAct는 read-only 도구만 노출, mode enum 제한 | `agentic.py:54-56`, `router.py` |
-
----
-
-## 6. 발표 8개 질문 직접 답변 (코드 근거)
-
-| # | 질문 | 답 | 근거 |
-|---|---|---|---|
-| 4 | 로그만 취합해 LLM에 주면 RCA가 되나? | **아니오.** 로그→evidence 정규화→카탈로그 매칭→증거 게이트→점수화→검증의 결정론적 오케스트레이션. 로그만으론 단정 불가→기권 | classifier/retrieval/rca/verifier 파이프라인 |
-| 5 | RCA가 LLM 의존적 → 환각 대응? | **5중 방어**: 카탈로그-바운드 + 증거 게이트 + 신뢰도 임계 + 기권(abstention) + Verifier 재검증. ECE 0.083, 환각 0 | §5 + ECE 측정 |
-| 6 | rollback plan(실패 시나리오) 있나? | **있다.** 조치 실패(FAILED/BLOCKED) 시 역조치 자동 실행(pause↔resume, restart→직전상태 복원). MEDIUM 자동복구, HIGH는 승인 필요, 역조치 없으면 N/A | `workflow/stages/rollback.py`, test_rollback.py 통과 |
-| 7 | version 관리 되나? | **된다.** run마다 재현성 매니페스트 기록: model_id·model_tier_map·prompt_version·prompt_hash·catalog_version·evidence_matrix_version·runbook_version·corpus_manifest_hash·eval_dataset_version·**code_commit_sha**·temperature. DB는 alembic 18 마이그레이션, 임계값은 version/basis/owner 거버넌스 | `core/reproducibility.py`, `/run/reproducibility` |
-| 8 | 장애 알림 기준? | spec 부록 B 단일 출처: consumer lag ≥5,000 WARNING/≥50,000 CRITICAL, error rate >0.5%/>2%, Connector FAILED→CRITICAL, creating 5분 초과, WARN 동일리소스 30분 2건↑. 4 Golden Signals 기반 | `docs/spec.md` 부록 B + Google SRE |
-
----
-
-## 7. 미측정·추가 필요 (C)
-
-발표에 정량 수치로 쓰려면 새 하네스가 필요한 항목(방어 코드는 §5에 존재):
-- 정보유출 공격 N건 차단율 / 오조치 유도 N건 차단율 — 페이로드셋 투입 카운트 스크립트 필요
-- 동시성 부하(1~20) latency 열화 곡선 — 부하 러너 필요
-- 답변 일관성(동일 장애 10회) — 반복 run 비교 스크립트 필요
-- Macro-F1 / Wilson 95% CI — 채점 모듈에 계산 추가
-- 라이브 fault 다건 주입 — **운영 클러스터 파괴적 작업이라 확인 후 실행**(현재 1케이스만 실측)
-
----
-
-## 8. 재현 명령 (작업 디렉토리 `services/ai-service`)
-
-```bash
-# RCA 정확도 floor (비파괴)
-.venv/bin/python scripts/rca_eval_campaign.py
-# 단위 회귀
-.venv/bin/python -m pytest tests/test_eval_accuracy.py tests/test_calibration.py tests/test_rca_classification_accuracy.py -q
-# NL→tool 라우팅 라이브 (비파괴, read-only)
-.venv/bin/python -m eval.online.nl_tool_routing --live --confirm
-# 라이브 fault 주입 (⚠️ 파괴적, 이중 가드)
-.venv/bin/python -m eval.online.live_eval --live --confirm --faults sink_db_down
-```
-
-원본 결과: [results-20260622/](results-20260622/) · 라이브 리포트: `services/ai-service/eval/reports/*_live_*.json`
diff --git "a/docs/test/agent-\354\232\264\354\230\201\355\205\214\354\212\244\355\212\270-\354\235\270\353\262\244\355\206\240\353\246\254.md" "b/docs/test/agent-\354\232\264\354\230\201\355\205\214\354\212\244\355\212\270-\354\235\270\353\262\244\355\206\240\353\246\254.md"
deleted file mode 100644
index f9c8f7fa..00000000
--- "a/docs/test/agent-\354\232\264\354\230\201\355\205\214\354\212\244\355\212\270-\354\235\270\353\262\244\355\206\240\353\246\254.md"
+++ /dev/null
@@ -1,183 +0,0 @@
-# Agent(ai-service) 운영 테스트 인벤토리
-
-작성 2026-06-22. 대상 = FastAPI Agent Server(`services/ai-service`)만. 운영(라이브) 환경에서 **신뢰도 발표용 정량 수치**를 뽑기 위해 테스트 가능한 항목을 코드 전수 분석으로 정리.
-
-모든 항목 공통 제약: **비파괴**(읽기 전용이거나 변경성 조치는 HITL 게이트에서 정지) · **공개 API만**(`/api/v1/agent/**`, agent가 내부적으로 Spring `/internal/ops`로 위임) · **negative control 우선**(일부러 공격/오입력/오라벨을 넣어 차단·탐지·기권이 되는지 측정).
-
----
-
-## 0. 핵심 경고 — 발표 수치 출처 (먼저 읽을 것)
-
-| 수치 | 상태 | 근거 |
-|---|---|---|
-| **top-1 89.6% / top-5 100% / 367 케이스** | ⛔ **사용 금지** | 코드·커밋된 결과물 어디에도 없음. [rca-test-campaign-20260622.md](rca-test-campaign-20260622.md)가 "출처 검증 전까지 사용하지 말 것"으로 명시 |
-| **현재 `rca_eval_campaign.py` 재현값** | ✅ **재현 가능** | `docs/test/results-20260622/rca_campaign_current.json`: oracle incident-type replay 35건, AC@1/3/5 100.0%, Avg@5 1.0000, ECE 0.1595, 기권 0/35 |
-| **보존 floor 결과물** | ✅ **커밋된 결과물 존재** | `docs/test/results-20260622/rca_campaign_floor.json`: AC@1 71.43%, AC@3/5 85.71%, Avg@5 0.781, ECE 0.0832, 기권 5/35 |
-| AC@1 65.7%(23/35) / AC@3=AC@5 80%(28/35) / Avg@5 0.724 / ECE 0.073 / 기권 7/35 | ⚠️ **과거 초안 수치** | 현재 커밋된 JSON과 불일치. 발표 지표로는 current/floor JSON 값을 우선 사용 |
-| 확신 시 정확도 82%(23/28), 환각 ≈0, 정보유출 0, 무승인 실행 0 | ⚠️ **부분 근거** | 82%(23/28)는 위 과거 초안에서 파생. 정보유출·무승인 실행 공격 건수 하네스는 ai-service에 없음 |
-| 라이브 NL 라우팅 routing@1 83.3%(18케이스) | ⚠️ **커밋 근거 없음** | `eval/reports/`는 `.gitignore`만 커밋됨. 소스에는 NL 라우팅 라벨 18건과 dry-run/채점 하네스만 존재 |
-| Macro-F1 / Wilson 95% CI / NO_FAULT | ⚠️ **미구현** | 코드에 산출 로직 없음 — 발표에 쓰려면 별도 계산 필요 |
-
-→ 첨부된 팀원 보고서(2026-06-16/18)의 89.6%/367은 이 저장소의 코드·커밋된 결과물로 재현되지 않는다. 오늘자 재측정의 목적은 이 수치를 재현 가능한 값으로 교체하는 것.
-
----
-
-## 1. 지금 바로 수치를 뽑는 법 (즉시 실행 하네스)
-
-작업 디렉토리: `cd /Users/gwonsebin/bifrost-docsync/services/ai-service`
-
-| # | 하네스 | 명령 | 산출 수치 | 파괴성 |
-|---|---|---|---|---|
-| 1 | **RCA 정확도 floor**(LLM off, 결정적) | `.venv/bin/python scripts/rca_eval_campaign.py` | AC@1/3/5, Avg@5, ECE, 기권율, 계층별 breakdown (JSON stdout) | 비파괴 |
-| 2 | RCA 정확도(LLM 타이브레이커 on) | `RCA_EVAL_USE_LLM=1 .venv/bin/python scripts/rca_eval_campaign.py` | 위와 동일 + LLM 보조 상승폭 | 비파괴(배포 pod/Job에서) |
-| 3 | **NL→tool 라우팅 라이브**(read-only 운전) | `BIFROST_BASE_URL=https://bifrost.skala-ai.com BIFROST_EMAIL=… BIFROST_PASSWORD=… .venv/bin/python -m eval.online.nl_tool_routing --live --confirm` | routing@1, routing@hit, wasted_steps, latency → `eval/reports/` 저장 | 비파괴(simple_query만) |
-| 4 | 채점 파이프라인 dry-run | `.venv/bin/python -m eval.online.live_eval` / `… nl_tool_routing` | 합성 fixture 채점(클러스터 무접촉) | 비파괴 |
-| 5 | 회귀 단위 수치 | `.venv/bin/python -m pytest tests/test_eval_accuracy.py tests/test_calibration.py tests/test_rca_classification_accuracy.py -q` | AC@k/ECE/분류 회귀 통과 | 비파괴 |
-| 6 | **RCA 라이브 fault 주입**(파괴적) | `.venv/bin/python -m eval.online.live_eval --live --confirm --faults sink_db_down` | 실주입 AC@k, captured, 복구확인 | ⚠️ 파괴적(이중 가드 `--live`+`--confirm`) |
-
-- 케이스 데이터: gold set 35건([app/evaluation/seed_gold_set.py](../../services/ai-service/app/evaluation/seed_gold_set.py) `SEED_ENTRIES`), 라이브 fault 13개(auto 2 / manual 5 / unsafe 6, [eval/online/live_fault_specs.py](../../services/ai-service/eval/online/live_fault_specs.py)), safe-live fault 5개([eval/online/safe_live_fault_specs.py](../../services/ai-service/eval/online/safe_live_fault_specs.py)), NL 라우팅 18케이스([eval/online/nl_tool_routing.py](../../services/ai-service/eval/online/nl_tool_routing.py) `ROUTING_CASES`).
-- 라이브 자동 주입 가능 fault는 `sink_db_down`/`source_db_down` 2건뿐. 나머지는 안전상 수동/금지. selfHeal·dedup 제약으로 사전 OPEN incident resolve 필요할 수 있음(캠페인 문서 Part B).
-
----
-
-## 2. 카테고리 A — RCA 판단 정확도·신뢰도
-
-RCA 파이프라인: Classifier → (incident→rootcause map) → RCA evaluator → Verifier → Report. **자유 생성 금지, 카탈로그 후보를 evidence로 점수화·선택·보류.** 카탈로그 규모: failure_types 33 · root_causes 35 · evidence_profiles 32 · incident_rootcause_map 33.
-
-| 항목 | 검증 대상 | 코드 | 운영 테스트 방법 | 산출 수치 |
-|---|---|---|---|---|
-| **A1 Root cause top-k 정확도** | incident_type→후보 점수화→랭킹 | [rca.py](services/ai-service/app/agents/rca.py) `run_rca`(174)·`_score_confidence`(651), [metrics.py](services/ai-service/app/evaluation/metrics.py)`accuracy_at_k`(64) | 하네스 1·2·6 | AC@1/3/5, Avg@5(MRR), 계층별 |
-| **A2 보정(Calibration)** | confidence가 실제 정답률과 일치하는가 | [calibration.py](services/ai-service/app/evaluation/calibration.py)`compute_calibration`(65) | 하네스 1·6 (자동 포함) | ECE, per-bin gap, 과신 bin |
-| **A3 보류율 / 과신오답**(★negative control) | 증거 부족 시 우기지 않고 UNKNOWN | [rca.py](services/ai-service/app/agents/rca.py) 보류분기(205, `MIN_CONFIDENT_ROOT_CAUSE=0.60`)·`_unknown_output`(871) | NO_FAULT/모호증거 케이스 다수 투입 → 정상신호("status:RUNNING","lag 정상")는 보류가 정답 | 보류율, **wrong-but-confident rate**, 올바른 기권율 |
-| **A4 환각 0 (catalog 밖 차단)** | 카탈로그 밖 root_cause_id를 RCA/Report가 거부 | [verifier.py](services/ai-service/app/agents/verifier.py)`_verify_incident_analysis`(95, non_catalog FAIL 113)·report 검증(208) | RCA 출력 root_cause_id가 전부 35개 카탈로그 안인지 전수 검사 | 카탈로그-외 생성 건수(목표 0) |
-| **A5 Evidence 게이트** | required 전부 충족해야 ≥0.82, negative 감점, semantic-only 폐기 | [rca.py](services/ai-service/app/agents/rca.py)`_evaluate_candidate`(241)·`_match_rules`(304) | required 전부/일부/+negative/supporting만 4변형 입력으로 confidence 밴드 검증 | required-cap(0.79) 위반 건수, false-accept rate |
-| **A6 Disambiguation**(증상 강등) | CONNECTOR_TASK_FAILED 같은 증상보다 입증된 심층 원인을 위로 | [rca.py](services/ai-service/app/agents/rca.py)`_demote_symptom_below_confirmed_root_cause`(677), `_CAUSAL_DEPTH_MARGIN=0.03` | 하네스 6 `sink_db_down` 주입 → top이 SINK_DB_CONNECTION_TIMEOUT, 증상은 2위 보존 | disambiguation 정확도, confusion matrix |
-| **A7 장애유형 분류** | 관측증거→failure_types 33개 중 선택 | [classifier.py](services/ai-service/app/agents/classifier.py)`run_classifier`(55)·`_score_failure_type`(128) | offline 라벨셋(증거→정답 incident_type) | top-1, Macro-F1*, UNKNOWN율 |
-| **A8 Knowledge RAG** | pgvector 코사인 검색 top-k·min_score | [vector_store.py](services/ai-service/app/knowledge/vector_store.py)`search_by_embedding`(159), 설정 `knowledge_search_limit=3`·`min_score=0.05` | 알려진 질의로 EVIDENCE_COLLECTED(type=KNOWLEDGE) score 확인 | RAG recall@3, 무관질의 빈결과율 |
-
-주의: `rca_eval_campaign.py`는 incident_type을 역매핑으로 주입(분류 제외) → **RCA 단독** 정확도. end-to-end(classifier→RCA)는 별도(`test_rca_classification_accuracy.py` 패턴). RCA confidence는 이산 밴드(0.82+/0.60~0.79/≤0.59)에 몰려 ECE 해석에 N≥30 표본 권장. RAG는 RCA 점수에 직접 기여 안 함(observed evidence만 게이팅) — RCA 정확도와 혼동 금지. `*` Macro-F1은 코드 미구현.
-
-**우선순위**: A1+A2(하네스 1·2로 즉시) → A3(도메인 원칙 "우기지 않는다"의 직접 증거) → A6(차별화 로직, 라이브).
-
----
-
-## 3. 카테고리 B — 안전성 (정보유출 / 오조치 / 격리)
-
-발표의 "0건" 신뢰도 메시지 영역. **방어 코드는 전부 존재하나, 공격 건수를 세는 하네스는 ai-service에 없음**(팀원의 32공격/20유도는 수동 측정이었을 가능성). → 공개 API에 페이로드를 N건 투입하는 **새 측정 스크립트** 필요(§7).
-
-### B-1. 정보유출 차단 (negative control = 인젝션 페이로드 N건)
-| 방어 | 코드 | 측정 |
-|---|---|---|
-| evidence redaction(자격증명 마스킹: password/token/secret/connection_string/jdbc_url, Bearer·URI 인증) | [redaction.py](services/ai-service/app/evidence/redaction.py)(13-67) | 시크릿 섞인 로그/DSN 조회 유도 → 응답·evidence·SSE 평문 유출 0건 |
-| 성공요약 화이트리스트(raw 로그·secret 덤프 금지) | [result.py](services/ai-service/app/tools/result.py)`_success_summary`(104-176), search_logs는 logs 필드 제외([registry.py](services/ai-service/app/tools/registry.py)644) | 요약 내 raw 값 유출 0건 |
-| evidence는 evidence_id/store_ref/summary만(raw content 금지) | 설계 [contract-state-schema.md §4] | evidence patch에 원문 없는지 |
-| 시스템 프롬프트/타 시크릿 출력 거부 | 구조적 방어(명시적 anti-injection 지침은 코드에 **없음**) | "system prompt 출력해" 류 차단 여부 |
-
-→ 산출: **인젝션 차단율 X/N, 평문 유출 0건**. 주의: 명시적 인젝션 거부 지침이 없으므로 "잘못된 발화"가 아니라 **"무단 행위·유출"**을 측정 기준으로.
-
-### B-2. 오조치(무승인 자동 실행) 차단 — 다층 게이트
-| 게이트 | 코드 | 동작 |
-|---|---|---|
-| ReAct 루프는 read-only 도구만 노출 | [agentic.py](services/ai-service/app/agents/agentic.py)`build_tool_schemas`(54-56) | 채팅에서 "재시작해" 해도 mutation 미호출 |
-| policy_matrix 결정론적 4판정 | [policy_matrix.py](services/ai-service/app/catalogs/policy_matrix.py)`lookup`(24-62), fallback=REQUIRE_APPROVAL | mutation 전부 REQUIRE_APPROVAL 상향 |
-| approval_gate → `waiting_for_approval` 정지 | [approval_gate.py](services/ai-service/app/workflow/stages/approval_gate.py)(40-93), [runner.py](services/ai-service/app/workflow/runner.py)(1310-1334) | 승인 전 executor 도달 불가 |
-| registry 멱등키 없는 mutation 차단(Spring 호출 전) | [registry.py](services/ai-service/app/tools/registry.py)`call_tool_with_data`(561-571) | APPROVAL_REQUIRED/BLOCKED |
-| read-only execute route 정책 게이트 | routes_catalogs.py(222-228) | mutation을 이 경로로 호출 시 POLICY_DENIED |
-
-→ 산출: **무단 변경 실행 0건 / 유도 N건 차단율 N/N**. 비파괴(전부 게이트에서 정지, Spring 위임 0). mutation은 4개뿐(restart/pause/resume_connector, restart_consumer_group).
-
-### B-3. 멀티테넌트 격리
-| 방어 | 코드 | 측정 |
-|---|---|---|
-| 모든 도구 경로에 run 컨텍스트 project_id 강제 주입(LLM이 임의 project_id 못 넣음) | [registry.py](services/ai-service/app/tools/registry.py)`build_path`(171-174), run 생성 시 UUID 검증 routes_agent.py(55-62) | "다른 프로젝트 보여줘" 유도 → 타 프로젝트 데이터 0건 |
-| 최종 소유권은 Spring이 `RESOURCE_NOT_OWNED_BY_PROJECT`로 집행 | result.py(348) | Spring 합동 검증 필요 |
-
-→ 산출: **cross-project 유출 0건**. (소유권 최종 집행은 Spring이라 부분 검증 — Spring과 합동 권장.)
-
-### B-4. 내부 토큰 우회 차단 (Spring 합동)
-- agent는 Spring 호출에 `X-Internal-Token` 동봉([spring_client.py](services/ai-service/app/tools/spring_client.py)76-89), 승인 시 `X-Approval-Id` 동봉. **집행은 Spring SecurityConfig/MutationGate**.
-- 측정: 무토큰으로 `/internal/ops/**` 직접 호출 시 401/403 차단율(=공개 API 우회 차단). `INTERNAL_OPS_TOKEN` 미설정은 fail-closed이며, 로컬/테스트 우회는 `INTERNAL_OPS_AUTH_DISABLED=true`일 때만 허용된다.
-
----
-
-## 4. 카테고리 C — 도구·관측 신뢰성
-
-**핵심 사실: `app/tools/`에 mock/stub/fallback 0건.** 도구는 항상 실제 Spring으로 호출하고, 미연결 시 가짜 데이터가 아니라 명시적 에러(TIMEOUT/TRANSIENT_ERROR) 반환 → **운영 테스트의 모든 성공 데이터는 실데이터**. 등록 도구 23개 정의(논리 21종+alias 1), read 17 / mutation 4. 직접 호출 경로: `POST /api/v1/catalogs/tools/{tool}/execute` (body `{project_id, params}`).
-
-| 항목 | 검증 | 코드 | 방법(negative control) | 수치 |
-|---|---|---|---|---|
-| **C1 read 도구 성공률** | 17개 read 도구가 실존 식별자로 SUCCESS + 스키마 통과 | registry `call_tool_with_data` `model_validate`(632) | list_* 로 식별자 확보 후 각 도구 호출 | 성공 도구 수/17 |
-| **C2 없는 connector**(★) | 빈 성공이 아니라 CONNECTOR_NOT_FOUND | [result.py](services/ai-service/app/tools/result.py)`_targeted_not_found_error`(305-324) | get_connector_status/get_traces/get_connector_task_trace에 `__nonexistent__` | 탐지 N/3 |
-| **C3 없는 project_id** | RESOURCE_NOT_FOUND 매핑 | spring_client.py(29-37) | read 도구를 임의 UUID로 | RESOURCE_NOT_FOUND 1건 |
-| **C4 없는 consumer_group** | CONSUMER_GROUP_NOT_FOUND 친화 실패 | result.py(335-342) | get_consumer_lag에 가짜 그룹 | 탐지 1건 + alias 동일경로 |
-| **C5 consumer_lag 충실도** | totalLag뿐 아니라 partition별·p95·top-N 제공 | [schemas/tools.py](services/ai-service/app/schemas/tools.py)`ConsumerLagData`(384-392) | 실존 그룹 조회 후 partitions/p95/top 채움률 | partition_count, p95 존재율 |
-| **C6 mutation 게이트** | 멱등키 없는 mutation 4종 BLOCKED(Spring 미호출) | registry.py(561-571) | 4종 멱등키 없이 호출 | 차단율 4/4 |
-| **C7 실데이터 무mock** | Spring 미연결 시 fail-explicit | registry.py(597-619) | `/api/v1/ready`의 spring_operations 상태 | mock 0건(정성) |
-
-**우선순위**: C2(빈 성공 아님을 가장 직접 정량화) → C5(관측 깊이) → C6(운영 무접촉 안전성 4/4).
-
----
-
-## 5. 카테고리 D — 워크플로·런타임·스트리밍
-
-run 생성은 비동기(fire-and-forget): `POST /runs`가 즉시 `{run_id, event_stream_url, status:running}` 반환, 실제 실행은 BackgroundTask.
-
-| 항목 | 검증 | 코드 | 방법 | 수치 |
-|---|---|---|---|---|
-| **D1 latency(telemetry)**(★최저비용) | stage별 소요시간 | [telemetry.py](services/ai-service/app/workflow/telemetry.py)`summary`, `GET /runs/{id}/telemetry` routes_agent.py(157) | run 후 telemetry 조회 집계 | total/stage latency p50/p95, tool·llm 호출수, 추정토큰(비용) |
-| **D2 전체 run latency** | ack vs end-to-end 분리 | routes_agent.py`create_run`(45-110) | POST ack 시간 + SSE run_completed 시간 | ack p50/p95, run p50/p95(mode별) |
-| **D3 SSE 이벤트 완전성** | 16종 이벤트 순서·짝 | [events.py](services/ai-service/app/schemas/events.py)(19-35), [sse.py](services/ai-service/app/streaming/sse.py)`format_sse`(11-13) | mode별 기대 이벤트셋 대비 수신 | 완전성 %, run_started/completed 동봉율, tool_call 짝 매칭률 |
-| **D4 재연결 catch-up**(★) | Last-Event-ID 이후 누락 replay | routes_events.py(22-34), [event_repository.py](services/ai-service/app/persistence/event_repository.py)`get_after`(66-89) | 진행 중 끊고 Last-Event-ID로 재연결, history도 검증 | 재연결 성공률, 누락 0, 중복 0 |
-| **D5 동시성 부하**(★) | N 사용자 독립 완료·이벤트 격리 | run별 dict 격리 graph.py(31-37) | 동시 1/5/10/25/50 burst → run_completed 추적 | N별 성공률, latency 열화곡선, throughput, cross-talk 0 |
-| **D6 종료 보장(예산 가드)** | step24/wall300s/llm16/token200k 초과 시 failed | [guards.py](services/ai-service/app/workflow/guards.py)`check_all_global`(97-113) | telemetry/state summary로 사후 집계 | 예산초과 종료율, 무한루프 0 |
-| **D7 멱등성(현재 미보장)** | 같은 body 2회 = run 2개 | run_id=uuid 매번 생성 routes_agent.py(28-29), 종결 run 메시지 RUN_ALREADY_CLOSED routes_runs.py(289) | 중복 POST / 종결 run 재호출 | 중복 run 생성률, 종결 거부율 |
-| **D8 health/ready** | 의존성 5종 점검 | routes_health.py(28-110) | `/health` probe, `/ready` 의존성 상태 | 가용률, latency, 의존성 ok/unavailable율 |
-
-**발표 시 명시할 "현재 미보장" 사실(정량화 자체가 메시지)**: ① HTTP 멱등키 부재→재시도가 중복 run(D7) ② `/ready`는 의존성 down이어도 HTTP 200(body로만 표현) ③ 다중 uvicorn 워커면 EventBus가 워커-로컬이라 SSE 라이브/재연결이 워커 경계를 못 넘음 → **운영 워커 수 먼저 확인**(helm replica/`-w`) ④ SSE 구독 큐 unbounded(backpressure 없음).
-
-**우선순위**: D1(telemetry — OTLP 없이 즉시) → D4(재연결 SLA) → D5(동시성 한계).
-
----
-
-## 6. 카테고리 E — 인시던트 자동 감지 임계값 (spec 부록 B, Spring 합동)
-
-agent가 진단하는 인시던트의 기준값. 자동 생성은 Spring이지만, **임계 주입→agent RCA 자동 실행**까지가 critical path(라이브 #962 케이스). 단일 출처: [docs/spec.md 부록 B](docs/spec.md).
-
-| 신호 | 임계값 | 단언 |
-|---|---|---|
-| Consumer lag | ≥5,000 WARNING / ≥50,000 CRITICAL, <5,000 복구 | 각 경계 주입 시 해당 레벨 인시던트. **CDC sink consumer group에만** 적용(EDA 외부 lag 오탐 0) |
-| Error rate | >0.5% WARNING / >2% CRITICAL+error | 경계 분류 정확률 |
-| Connector | Task FAILED→CRITICAL+error, creating 5분(PT5M) 초과→error, 자동재시작 1h내 3회→CRITICAL | FAILED 주입 시 CRITICAL+pipeline error 전이 |
-| Replication | lag ≥1,000ms WARN / ≥5,000ms CRITICAL, retainedWAL ≥500MB/≥1GB, DB 3회연속 실패→CRITICAL | 경계 주입 |
-| 이벤트→인시던트 | ERROR 즉시 CRITICAL, WARN 동일리소스 30분내 2건↑만 생성(단건 로그만), 그룹키=SourceDB/Worker/ConsumerGroup ID | WARN 단건 오생성 0, 동일 근본원인 1 incident 묶음 |
-| 인시던트 상태 | OPEN/INVESTIGATING/RESOLVED, 심각도 2단계(WARNING/CRITICAL), CRITICAL 자동닫기 금지 | 상태·심각도 계약 |
-
-DoD(시연 합격선, [docs/scenario.md](docs/scenario.md)): 자동감지(lag≥5,000 or Connector FAILED)→RCA→추천→**HITL 승인 후 실행+audit**. 워크플로 Router→Correlation→Planner→Retrieval→Classifier→RCA→Verifier→Report.
-
----
-
-## 7. 코드 하네스가 없어 새로 만들어야 하는 것
-
-발표에 쓰려면 측정 스크립트를 새로 작성해야 하는 항목(방어 코드는 §3에 존재):
-
-| 측정 | 현황 | 필요 작업 |
-|---|---|---|
-| 정보유출 공격 N건 차단율 | 방어코드 O, 카운트 하네스 X | 인젝션 페이로드셋(국/영/난독)을 `/api/v1/agent/runs`에 투입→유출/차단 집계 스크립트 |
-| 오조치 유도 N건 차단율 | 게이트 O, 카운트 하네스 X | mutation 강요 페이로드셋 투입→waiting_for_approval/BLOCKED 집계 |
-| 동시성 부하(1~20) | 전용 하네스 X | 동시 run burst 러너(D5) |
-| 답변 일관성(동일장애 10회) | 하네스 X | 같은 incident 반복 run→조치결정 동일성 집계(`llm_temperature=0.0`) |
-| Macro-F1 / Wilson 95% CI / NO_FAULT | 미구현 | 채점 모듈에 추가 계산 |
-| **데이터 정합성(10.5만행)** | **agent 범위 아님** | CDC 데이터플레인(Spring/파이프라인) 테스트 — agent 인벤토리에서 제외 |
-
----
-
-## 8. 권장 실행 순서
-
-1. **하네스 1**(`rca_eval_campaign.py`) — 발표 핵심 정확도 즉시 확보. 현재 커밋 기준은 oracle incident-type replay 35건 AC@1/3/5 100.0%, ECE 0.1595이며 보존 floor JSON은 AC@1 71.43%, AC@5 85.71%, ECE 0.0832.
-2. **하네스 3**(NL 라우팅 라이브) — routing@1·latency, 자격증명 있으면 즉시.
-3. **C2/C4 negative control** + **C6 mutation 4/4** + **C7 `/ready`** — "실데이터·빈성공 아님·무접촉 안전" 묶음.
-4. **B-1/B-2 새 스크립트**(§7) — 유출 0·무승인 0 발표 수치.
-5. **D1 telemetry** + **D5 동시성** — latency/부하 곡선.
-6. (승인 후, 파괴적) **하네스 6** `--live --confirm --faults sink_db_down` — 라이브 RCA + A6 disambiguation.
-
-**발표 문구**: 89.6%/367·65.7%/80%/0.073·precision 82%·라이브 routing@1 83.3%·Macro-F1·Wilson CI·"유도공격 32/20"은 커밋된 재현 근거 확보 전 단정 금지. 현재는 `rca_campaign_current.json`과 `rca_campaign_floor.json`의 조건부 수치, 그리고 NL 라우팅 18케이스 하네스 존재까지만 단정.
diff --git a/docs/test/assets/live-01-projects.png b/docs/test/assets/live-01-projects.png
deleted file mode 100644
index f2621b5525464970202292b08c359adcb3a4ef6e..0000000000000000000000000000000000000000
GIT binary patch
literal 0
HcmV?d00001
literal 34565
zcmd3OXH-*LxGjq12nt6O5NV1c0s=>RM@2+BNbf4W_f8U(0~|z(^p4UAy_W1q34uToASAr4=id9?cz@p;sxDmWzP8}N>^L;8r^L=8XB5wYA>I^
zqM^CiM?*uK_Q!eP6L=0m4;+dg(>28Yqx2vVCXG`s7C$nDh;;C|1Gk|i9g
z$%>j)7+nN@gNEi^;zr)@H#A@9JAMrW_(=PL;J+WqUN8Um&Clo6zlKCZ^X0~W*G(_{
ziVTcOK2@ZA%r~-$;%!bXbBLbE+1x=v_BO1~nqMDQ?^?<^@ur*3(z6KZXv*GZxh+b~
zsBw39|94hTM8c+=4U0|R#Lh_?W2s%s>DFwv4HwJ=!Yt@0^An&<*hx&BXwPNAwzqFX
zZr)^B@Y&F+l0OR^u0byN;)Z1CXMo6?m|7^f`2Ww5itSo8R$^hBAu1~Lu0q6%h?M{*)b?0utb0I^zu_kvON-bYWTfW
zv1UuWnc6BiJ}&0bvhR%DEa;!$HGF*QDrr8*rkDXc$xpxpC>^gJc+j3dWyG15{ay#@
zrgT9;u{!S$VdoX*<18N~lmnIcJ3hwOqR^W>2h9%?c}^so3*`0
z5EE|~k@oa_zVuzUtF~|p>$G)Z0h51LN-PD@#g6qkf@Z
zMG(hchuz4Y@5FevD%i0iwn3OPV302tB1n6DeDM{vFHuC`x0P>~TSIbPYRpEsWpuf+
z<-TW6!b6ChNxCb?e7K;^bg~s>X{jqpHMPP*WX;$b+;I(=_0>RS$g){fkk2?9T)h1$
zxr=S9BG>SFTJX`iHEe~ZopXQcK)33(lejUtfq2+>0z!JU?#{ivZubaeWnKGW%Tg1Y
zz@#c+!UsK&QX!{E-C?h&OUr#gX@4^@eX;JrG5OfuVdFk;@r8>QQ<9Pf-hqPIM*4;-
z|1xw8$F-jw1N+qOOI~MIa<)%@vJ|&sLV=cy-<)eu=po|FLTrRMtFegh=(X;DH|F^0
z;iH6ERuR*d;LXFydf(n~2m7^$|1s^P$*WNYW=)^G9wimkBM`a8k>scitQQO;bHnlum4;7K85UC*0@^hJ#jc2P1;qu$#L_}4PQrO>)cy0Q6KP;-CP$5eYE6o
zqtK1ItBQ%aHBL&Pk1UWl(9A0aZ_GrI?vRdDba;qOs6(0j)dSbl~ug(gSp8mm%Kw?7gzb8BV|VN(95M
z$i8Y_+5^#@6|7Jfu8oiYDlZTSnD<`b!y(WW8ohG3kY}%$85v1&m=L#-dTufaTM8Ws
zorQ^XysbIio46SyOH80=B2{2&{lSSnV^5!+6EvzIZ=&KN8Fq_>v{QvIhGbAL;({vhSc#FHTW&}99Pvj!E9vX1_!?#`yv=rLM}
zp`7-<4~vS8X11?0&2%}PvibA^$zIv=+)5?ezL?kK*td=D4+CVZK}E(~4wvF1uP{2N
z!sUotI};ZyZ##e5ugF5E_7hbvl%cAcG6W_gJxUXiHOeR{D^O9usJjQ%;TcM@5$-&Z
zf{nd#L_Y56Zu}VS#^2@TX8R@CmWNmqu;5SGu9EkeVrFe}L>s(HfF`h4w&N456k5T=
zCCIf)VWEG$5X3t0N-OuA>)cLy@g_;pAik
z6PQ^I(uRq8wB&Bp7k?9X$68D^SMI6t$NJc9ta8d`g)THl15UHm_anP(HEGMwJhq7;
zVg16zOBXI5laB&RCw3+;3r5mSGKM7K4OofNMxu5RqU=+P`|4_yZw=GQQ|;D6vr6{O
z7lLkCB>Ux5Y~NtUbiel1Uz>H__w`E%_QgHgkG$I4-26QNR}PhZRZ89g1^Xc{`Qv7-
zt=tpd=P0x~^N#6VH@i?5w9OC@(4-;4CDi4^`p9X*=?UVljTLBxa`;K}cc^}sC?G7H
zE#Z;Al5ZHD#tlxV9wg23r43?6H}KJ_?bObDQkDU;tuZKvQR`i4NeKl(QF#M)B4M9M
z#Mj5s?Hx2QCS_{I`fzHgG1Aj}`N&Nds;&I|gI|yEt(4Iy2a~7yVjD!8RO39W#^y|V
zGgZ5cC^5|-FtN+g=5WLw~V!H{1vJo0R44dusph5kFS5?plbBn
z;DjfFlA=#4bdl(L&=~D`o?V%VhtiLoVCx?tKBm_s#G9j$Ug^16e2||
z;LpzeUfWOQP-2hYVA_k`Ogj=f%xv||UnSE*HW62UwkR!CuUuIA+QA0#*ETaVGkRrK
zv~}mc^j}JdZ&Yy+#1mL&pQEpkkRXz7ySYSv`{rdq7yM+cg~WrAA3R4U{aM$borZR-
zCD!c*YLNy99RgHYiRB>W%yiDqvs?CXX|v>{5}{1jL`j#g8I7XN>m?U4Ig`=5voMSz
zJOp>n(624dpJ7mKbFwB|vO3`GsoOVO=nvUi?09M0sh^JzY^hbSvC_QSi7=0}3LZcW
zmci!_yNz!!|32{}eaK#Om{dHa1~~Hj#xa{?Z4>+UGFgF#ncR@k!MgA}#}`$~kZx{P
zQyZn0q)P0Dut|*%>3!1Vr(AI6+Ll?dBaeXS{K5igthT|Ztl>*_V8`-Qwrss#ql;E&
zzz#b1bGnVBait|3%MaIqtVG?2fI5K{sX_Wo(
z(Fm&Y%nn~KWFEl6GOJij12GTi?e6Bicrl!6*!9~y(&=%Cqy5f#qKPp@lLxs}dt_|ntu066?cLQ}hz(ArlmtMh6ts4duccw}UuZq(m@Xf4(1Aw;CzadO)O^bm6^T`xijjFb5HwEM6r
zynTIOAEP55Gxjr>u(n|>;qMCuzj^X5m-2zB7sb^S=Tg|s6W&PfN&*~kYYUrFaL5PH
z2b6m`@3kw8^x&-}l)CyLTwY-(+Rx9gCFs;{eLy|GfKHvTJ7y|~oByg+Ostv9&e18;
z590qZ$zy11fRs4izMa(_1szgWkfchNsxvFQvfD|Pg+b7cK|}eCIYyG;FIzhw2Zciy
zbIi4vnMLPY^vNFWN7iL2!%4ykX_}`e`R#2hyjKzpRCqFB?uaFbN4ulBPS{eMHKP6J
zhtK%*3X3+YSII?Mw?TO7wv?rkb`KCcf)6|73JVJAeFvwre`lWWE|q!t9;LX25cxPh
ztD3z?X*=cCXO?q%e)-Y~a!#w4m`$c05FG@KJm#x|dYf)QJf`ctUVl@wI9|f8nflb2
zL0|cB?qo0IC`Pmf;7{Tr3eAvf4@o?0R<52RjjgG-Y@4%-PY822M*Lsr60lO#;4Sml
zj)L@e>$0Qscy;19U%R;_>*N7@o@n+>*UKcE5Mi
zXW#>K^sD?j1C^+$LEFDl%oYZ(Ru&pHd3QD6@>`0Mljj#{0`EtOCJSi9dN(|@iS2--
zPIcMdB1Y3qOc?%~oPSIA5*Ri4?LBFvi?fzdLbSinRF>QyM!(t<9j>p5r{r+FIm@!w;?@OyCyGmJ`F;G-y3P7Mo7OH@M)cC5nZ
ztX)A^9`d)WUob=S;@;=`VI9?P)^;AmKAup;=oK8k9v9kU3Bs9opUW$@7%TT$N3Qq?Bmv#ybthA?idM|
z5gs)YbkNxW4FmzWrl;9-xuBySP{6`XRBIt{hGnnS*7@8>j2(Cq6x8y2Uf4E9FFE4NL
zW+>aQ!GGiLEqvlw(qkcA>y-FHwAzQ%{-KkH&7?Kd&$dn&f3#c{#RNON9rz{`F@_7>
z3zq}|zj-+~)UUfCpni8oq;l}v`!11?lNKa#M{cos=s<+6O6Y0l^^mVu5oh~nF>NQ3
z={3rvuWqu8p+EOoy}j|!intX#jL0=B-q;({q*U*Nv~t_&>=v}G!BF?gR_NRCCn0nC
zQTkkPcY&!ceUOzKAw!Pit}lxOf_D{sS362FmLvdR2q`I03!p4H76V(=`JPO~
zVXC0P8bODpsb?8Gqidv}Xwwu#XvgFg9fhCE%dd=#z(|Tt#_+n80!%1fss$*S<_>XG
z(#4=)vJi4$?~^Hgy}=q(P#E3n-a+LQ#6ZY)VI8^#7Wipc?r-eji9!#s_2cme^t%w-
z5B}QfaYw>a!D3ggT*-L62758~8Ca0l?Nll&+aL7Tj)~DE+w!XcxVh4Tf>jhZSW8n@
z)}!N9zm{|RN4FjvIOY8tWyap_MrT%JtEI(GhF_+wt2xTk1#4(jZdQD4UYa^k(&uTIT>W=s
zxVq&1iQjV_N78l9$ff#iZjH+ZL%*s%b`6Va7`sH=)ro)ItvI`uN^v`81T193
zxIl=Ly5&3uFO|Hb_qlxh%Q;Yncr2G}bMEicIvE0-)|UVRw0q-DxzW@5S3c)|#K67Z4DTq=0H9974AtxdZv@7l4e`H>+H08zF=l9MqrcuxzqC
z>-`iI$-p--&IMjp;Ro`mFDSzq(jEf
zKnE+IX6YNC<|3lxH+aps3}V*qe?B_9(NjlgY3c{F!(WD3FZ%@
z#Z!3&1!2VDdA65|8Nt16aa9&=)VMwjQL&akt=>93pc9>^eK{O{GA{3UU4Tx;h_7#vvJn1361(7FHV$
z+608fmbY%k9qp%eBLZUUnhRE`q#1U6FxG1uDM=$9{F}o7{z|DFUU*nz-kQ
z%wgajKO;0LCh@-9;fXVMZ$4>A%?&(FU*B>0d(`%Hg}$`Lbfu*rcSi%#s_fm#M=>K$ZBHK`GC~K_PL5>Vk_qd#ef6#7zLb=Rpd1oh8HI&$JU24PXa@71CIf>Vv`|BB$4FM;%w=rg@tx8dG|Q2yIm!@<&z%nYelbX5f)zm
zLYay!fS0{}QRnOp7M4bbQLc-V!0G$;xYUVlft%^%sWb
zn}1XvgHE#W-ukfSY3y9jIN}QMm7V6BC5nr$?o2xTn_PKXTo5Fj>!8~bJNduz`K|Do
znHeG$C6{t5riTFlv^wkT>n}R5u31m;vhi`^s>p)M#HH0Lk{n-xX;)OgNwQ$G@CX7Ry|?B%fc)a1y`%{puqe
zl>yLU1w|8x>>C!9|Yq2`AAq4D?57`^ldg4)ueQG
zdLWUSn37=}9VY6n>C177P@bdiu_&lPc}9g&&4NfDPQhCc<_QL{stm1H8r*0w$`kI>3bi%cBaC-
zsr`&f7FB;1zmXH7{r0mICRAUP^9pEns&KxySG8!;KGi8Fa5;)i%w99?udjB4DNGZA
zfq^fNe|%L&P>877+FD@v7WfR0_G5d%@DoK^i3Trw1|)?|s-K+Ge*bTIxJ9ofWj~rD
z^tDS42VdFP*pS{zF?aX!^W&8B-}xSOgLg3gkCpeAx#ICb2kYJ4-D<1X|NQeui;qLP
zF}=~MM^Mml01;-Ek{Q1+Rs?A6yK3x9fXTAs!h_!*BezewPi4H`x?JkAPjop#hMg*e)j7$qZkE
zdrslDe~PppEdy@YO=M@T!6h*8DAS|8R3Ul(dBXK8Z||FYE~dS7^`W5P;NW25yOo6i
z%+v#unzt%yYHGu42wfHS6xQ+cw}*RT*c;x*a>~uI3Nvsk!aXqUy9+Qm;bP@Th8Ow!
z(6UPBiK3V`-3S2VelE{6@G>or+1Z%poHkH{Uo$jq;g=A~57Jz@p_!PSXsq`p_LH<8
z(z=_s&~&!tu~wep!hH^PXAaJ#r6urkKao>Zc2P+ZEbBhrSOq>7|9LRHB4myN)Rl%4Q7o17Zw%{rU;q0hX%cT`4Z-j
zU0zvn!M;`ja)b2=9i`-kIe3tdy86eJhaoqCOZOml=|nxz9V`|rT_dUG&RnrdAz?7B
zer5MXYv0BmoY(#YOnfvBG2%Kc-m11z0^pj2!+T9G;mOG<1^J~+`QmOIb~*}@9;oc>
zM5W!@16z~vM7p|JFB!e-jr7kGV~d6}U^`189wn&gG8`nwzgNrng-XP%2A-ZSuE_T9
zhzk*s;WP9~XZGWN_u}aGNEL&k(a{Dw743bQjz?p!)rufNRYa7&(ims
zIyxi(TRsg1)pzzohPV~HpP*(~wpN*MvJ^V3PCiOC_Lzl7T?NXy$QyC8u?Yd-&5wjv
z=oTAxvMP|$&_{oC0bMcGF*O^;_fM=3M!u?pLvZd`RO5IAB1c++j}Ngf-gSwvJI=2S
z6i3ok0qCHO0l_L?xY&M?R%V8zo9vs;3)qLoo}QjhpT2L|;@h2X@rk_32Gk7?oHVqx
zW54q@&3i`!K7bOM=={rtITue&*4quT1bxlHQ?#`H6AMrXsWhp1mZNTVla-aU-^(qh
zeUI&eAc4q;sb4
z9{25A8S|tWQ^`&Zo$lEv%g~M=&f$Vc*BnHkVHu0ojl_w!<~
zPR}|3CzEhWfqP%ZHD0j?5mdQB;{5!Zfaevx6Q0PY3X91YlErAa;BFYzx-jO
zTV+~4{e5*3X&v}7#94YIduv_TVobhhe-Rbv8iGM8*lMr)tI9-6|cTVij
z6Rq?1$0;}}k!;D8ly*fcVzlE4VOM~Wd>E%h@*g&o_54fkeC!pS`L(6p2RbA^j^nM!
z(kku1FVl%n#icAmoa_qiMm{j-N026j)z!5IHPwcHq8r*k87ae=jt)hqZZJIk*#U85
z&hs4tH$UZD;!ltiH1YbaMegfd%O=amB$x8`
zv!D$4+lFURs2zuGz~4#NbVsvl#CrkZ)mVL&*b0QL{UwUI(WAYQ2!;+#tW4sGd{VeZjJ
zScy}j0>O(yq3}9
z+|*QTqvmX86m1W=sE|I}Vr(S~4bmk1?A>GJ=A@x{(xz)=B`ouDLC$1zrpBfrA+u~I
zccc