From 3ccde2438a3ae8edccada6c9611a5c063eb218ea Mon Sep 17 00:00:00 2001 From: hwan <2020112023@dgu.ac.kr> Date: Mon, 22 Jun 2026 16:33:55 +0900 Subject: [PATCH 1/4] =?UTF-8?q?#994=20[docs]=20AI=20Agent=20=EC=8B=A0?= =?UTF-8?q?=EB=A2=B0=EC=84=B1=20=EA=B2=80=EC=A6=9D=20=EA=B2=B0=EA=B3=BC?= =?UTF-8?q?=C2=B7=EA=B8=B0=EC=A4=80=C2=B7=EB=B0=9C=ED=91=9C=20=EC=9E=90?= =?UTF-8?q?=EB=A3=8C=20=EC=B6=94=EA=B0=80=20(#995)?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ...354\204\261-\352\262\200\354\246\235.html" | 427 ++++++++++++++++ ...4\200\354\266\234\354\262\230-20260622.md" | 191 ++++++++ ...70\353\262\244\355\206\240\353\246\254.md" | 181 +++++++ .../results-20260622/rca_campaign_floor.json | 455 ++++++++++++++++++ ...\354\244\200\354\266\234\354\262\230.html" | 226 +++++++++ 5 files changed, 1480 insertions(+) create mode 100644 "docs/presentation/ai-\354\213\240\353\242\260\354\204\261-\352\262\200\354\246\235.html" create mode 100644 "docs/test/agent-\352\262\200\354\246\235\352\262\260\352\263\274-\352\270\260\354\244\200\354\266\234\354\262\230-20260622.md" create mode 100644 "docs/test/agent-\354\232\264\354\230\201\355\205\214\354\212\244\355\212\270-\354\235\270\353\262\244\355\206\240\353\246\254.md" create mode 100644 docs/test/results-20260622/rca_campaign_floor.json create mode 100644 "docs/test/\354\213\234\352\260\201\355\231\224-\352\262\200\354\246\235\352\262\260\352\263\274-\352\270\260\354\244\200\354\266\234\354\262\230.html" diff --git "a/docs/presentation/ai-\354\213\240\353\242\260\354\204\261-\352\262\200\354\246\235.html" "b/docs/presentation/ai-\354\213\240\353\242\260\354\204\261-\352\262\200\354\246\235.html" new file mode 100644 index 00000000..c96e38f0 --- /dev/null +++ "b/docs/presentation/ai-\354\213\240\353\242\260\354\204\261-\352\262\200\354\246\235.html" @@ -0,0 +1,427 @@ + + +
+ + +
+운영/오프라인 환경에서 AI 장애대응 에이전트(FastAPI Agent Server)를 테스트한 실측 수치와, 그 평가·설계 기준이 근거하는 글로벌 표준·논문을 벤치마킹해 적용한 내용을 정리한 문서.
+RCA(근본원인분석) Assistant 원칙 — LLM이 원인을 생성하지 않고, 카탈로그·증거로 선택하고, 불확실하면 기권한다.
+
89.6% / 367케이스는 코드에 재현 출처가 없어 사용하지 않는다. 본 문서 RCA 수치는 2026-06-22 재실행값(보수적 floor).
+| 영역 | 수치 | 조건 | 산출 |
|---|---|---|---|
| RCA top-1 정확도 | 71.4% (25/35) | 오프라인 floor, 35 gold set, LLM 타이브레이커 off | rca_eval_campaign.py |
| RCA top-3 / top-5 | 85.7% (30/35) | 〃 | 〃 |
| Avg@5 (MRR) | 0.781 | 〃 | 〃 |
| 확신 시 정확도 (precision@conf≥0.80) | 90.0% (9/10) | 신뢰도 0.80 이상만 | 파생 |
| 보정 오차 ECE | 0.083 | 10-bin (<0.10 양호) | calibration.py |
| 환각 (카탈로그-외 원인 생성) | 0건 | 35건 전수 | 파생 |
| 정직한 기권 (UNKNOWN) | 5/35 (14.3%) | 근거 부족 시 보류 | 파생 |
| top-1 오답 회복 | 5/5 전부 top-3 내 정답 | 기권 제외 오답 | 파생 |
| NL→tool 라우팅 (라이브) | routing@1 88.9% / hit 94.4% | 배포 agent 18케이스, 에러 0, 7.3s | nl_tool_routing --live |
| 라이브 fault 주입 RCA | sink_db_down → 정답, conf 0.82 | 실제 클러스터 1케이스 | live_eval --live |
| 단위 회귀 (정확도·보정·분류) | 48/48 통과 | pytest | 〃 |
우리 기준은 임의 설계가 아니라, 네임밸류 글로벌 벤더·표준기구·논문의 방식을 벤치마킹해 이식한 것이다. 각 항목 = "업계는 이렇게 한다(원리) → Bifrost는 이렇게 적용했다(구현)".
+ +| 글로벌 레퍼런스 | 업계는 이렇게 한다 (원리) | → Bifrost 적용 |
|---|---|---|
| ITIL 4 Problem Mgmt + KEDBAxelos 2020 | 근본원인 분석 후 Known Error로 등록(KEDB)해 재발 시 즉시 재사용 | 35종 root-cause 카탈로그를 KEDB로 운영 — 증상·검증된 조치·롤백·인시던트 링크 보관 |
| 5 WhysToyota, Ohno 1988 | 표면 증상이 아닌 진짜 근본원인까지 파고든다 | 증상(Connector FAILED)이 떠도 입증된 심층 원인(DB timeout)이 있으면 증상을 강등 |
| Ishikawa (특성요인도)ASQ | 한 결과의 잠재 원인을 범주별로 분기해 본다 | 1 incident_type → 복수 root-cause 후보로 매핑·점수화 |
| ISO/IEC 20000-1IT 서비스 관리 | incident → problem → known error의 ITSM 프로세스 | Classifier→RCA→Verifier→Report 파이프라인으로 자동화 |
| 글로벌 레퍼런스 | 업계는 이렇게 한다 (원리) | → Bifrost 적용 |
|---|---|---|
| Google SRE — 4 Golden Signals | Latency·Traffic·Errors·Saturation 4개 신호를 본다 | 관측 도구가 4신호를 그대로 커버 (지표·로그·consumer lag) |
| Google SRE — Alerting on SLOs | 단순 임계가 아니라 error budget·burn rate(추세)로 알림 | 임계값을 value+version+basis+owner로 거버넌스, WARN 단건은 로그만 |
| PagerDuty Severity · Confluent Kafka lag | 심각도를 SEV로 정의, lag은 절대값 아닌 추세로 | 2단계(WARNING/CRITICAL) + lag 임계 5,000/50,000 (spec 부록 B) |
| 글로벌 레퍼런스 | 업계는 이렇게 한다 (원리) | → Bifrost 적용 |
|---|---|---|
| NIST AI RMF 1.0NIST AI 100-1, 2023 | AI 위험을 GOVERN·MAP·MEASURE·MANAGE로 관리 | 정확도·ECE로 MEASURE, 승인 게이트로 MANAGE, 정책 매트릭스로 GOVERN |
| OWASP Top 10 for LLM2025 | 프롬프트 인젝션(LLM01)·민감정보 유출(LLM02)을 최우선 위협으로 규정 | 대화 루프엔 read-only 도구만 노출, 자격증명 자동 마스킹 |
| EU AI Act 제14조Reg.(EU) 2024/1689 | 고위험 AI는 사람이 효과적으로 감독·재정의 가능해야 | 모든 변경 조치에 HITL 승인 게이트 — 미승인 시 실행 불가 |
| Google SAIF · MS Responsible AI v2 | AI 고유 위협에 대한 보안·책임성 프레임워크 | 인젝션 차단·출력 검증·HITL로 책임성 확보 |
| 지표/기법 (출처) | 업계는 이렇게 한다 (원리) | → Bifrost 적용 |
|---|---|---|
| ECEGuo et al., ICML 2017 | "신뢰도 0.8 = 실제 정답률 80%"가 되도록 보정 측정 | 10-bin ECE 0.083(<0.10)으로 과신 여부 검증 |
| RAGLewis et al., NeurIPS 2020 | 외부 근거 문서를 검색해 조건으로 생성 → 환각 저감 | pgvector 기반 KEDB·런북 검색으로 근거 기반 답변 |
| Selective Prediction / AbstentionGeifman & El-Yaniv, 2017 | 불확실한 입력은 기권(reject)해 오류율 보장 | 신뢰도 <0.60 → UNKNOWN_WITH_EVIDENCE_GAP 기권 |
| Human-in-the-LoopWu et al., FGCS 2022 | 인간 판단을 운영 루프에 통합 | 변경 조치 전 사람 승인 |
| 평가지표 표준RCAEval · TREC · Wilson | Accuracy@k·Avg@5·MRR·Macro-F1·Wilson CI가 RCA/분류 표준 | AC@k·Avg@5·ECE 산출 (Macro-F1·Wilson CI는 미구현) |
rca_eval_campaign.py, 35 gold set, 관측 증거만 입력(정답 결론 비주입), LLM 타이브레이커 off(보수적 floor), temperature 0.0
| 지표 | 값 |
|---|---|
| AC@1 / AC@3 / AC@5 | 0.714 / 0.857 / 0.857 |
| Avg@5 (MRR) / ECE | 0.781 / 0.083 |
| 취약 계층 (AC@3 < 0.7) | 없음 |
| 환각 (날조 id) | 0건 — 전부 카탈로그 id 또는 UNKNOWN |
| 기권 5건 (gs_018/026/029/032/035) | top_conf 0.0의 정직한 보류 |
| top-1 오답 5건 (기권 제외) | 전부 top-3 내 정답 포함 |
| 출처 | 수치 | 조건 |
|---|---|---|
| Bifrost (우리) | AC@5 85.7% / Avg@5 0.781 | 35 gold set, floor |
| RCACopilot (EuroSys'24) | Micro-F1 0.766 | GPT-4, category 예측 |
| PACE-LM (Microsoft, 2023) | top-1 43.4% | GPT-4 + 검색증강, 3,000건 |
| 단순 GPT-4 프롬프트 | Micro-F1 0.026 | CoT 없음 — "파이프라인이 핵심" |
아래는 측정값이 아니라 코드 게이트로 구조적으로 보장되는 사실 — 우회 경로가 코드 레벨에서 닫혀 있음 (공격 카운트 하네스는 §7 미구현)
+| 통제 | 메커니즘 | 위치 |
|---|---|---|
| 카탈로그-바운드 RCA | 35개 root cause 외 생성 불가, 미충족 시 기권 | rca.py · verifier.py |
| 신뢰도 3구간 게이트 | ≥0.80 조치 / 0.60~0.79 추가확인 / <0.60 UNKNOWN | cap 0.79 · 임계 0.60/0.80 |
| 무승인 실행 차단 (HITL) | 변경 도구 4종 승인 필수, 미승인 시 백엔드 호출 전 차단 | approval_gate · policy_matrix |
| 정보유출 차단 | 자격증명 마스킹·요약 화이트리스트·evidence는 id만 | redaction.py · result.py |
| 멀티테넌트 격리 | 모든 도구 호출에 run의 project 범위 강제 주입 | tool registry (+백엔드 최종 집행) |
| 프롬프트 인젝션 (OWASP LLM01) | 대화 루프엔 read-only 도구만 노출, mode enum 제한 | agentic.py · router.py |
| 질문 | 답 |
|---|---|
| Q4. 로그만 취합해 LLM에 주면 RCA가 되나? | 아니오. 로그→증거 정규화→카탈로그 매칭→증거 게이트→점수화→검증의 결정론적 오케스트레이션. 로그만으론 단정 불가 → 기권 |
| Q5. LLM 의존적 → 환각 대응은? | 5중 방어: 카탈로그-바운드 + 증거 게이트 + 신뢰도 임계 + 기권 + Verifier 재검증. ECE 0.083, 환각 0 |
| Q6. rollback plan(실패 시나리오) 있나? | 있다. 조치 실패 시 역조치 자동(pause↔resume, restart→직전상태 복원). MEDIUM 자동복구, HIGH 승인 필요, 역조치 없으면 N/A |
| Q7. version 관리 되나? | 된다. run마다 재현성 매니페스트(model·prompt_hash·catalog·evidence_matrix·runbook·corpus·eval_dataset·code_commit_sha·temperature). DB alembic 18, 임계값 거버넌스 |
| Q8. 장애 알림 기준? | spec 부록 B 단일 출처: lag ≥5,000 WARN/≥50,000 CRIT, error rate >0.5%/>2%, Connector FAILED→CRIT, WARN 동일리소스 30분 2건↑. 4 Golden Signals 기반 |
발표에 정량 수치로 쓰려면 새 하네스가 필요한 항목 (방어 코드는 §5에 존재)
+| 항목 | 현황 / 필요 작업 |
|---|---|
| 정보유출·오조치 차단율 (N건 중) | 방어 코드 O, 카운트 하네스 X — 페이로드셋 투입 스크립트 필요 |
| 동시성 부하(1~20) 지연 곡선 | 전용 부하 러너 필요 |
| 답변 일관성(동일 장애 10회) | 반복 run 비교 스크립트 필요 |
| Macro-F1 / Wilson 95% CI | 채점 모듈에 계산 추가 |
| 라이브 fault 다건 주입 | 운영 클러스터 파괴적 — 확인 후 실행 (현재 1케이스) |
작업 디렉토리: services/ai-service
# RCA 정확도 floor (비파괴) +.venv/bin/python scripts/rca_eval_campaign.py + +# 단위 회귀 +.venv/bin/python -m pytest tests/test_eval_accuracy.py tests/test_calibration.py tests/test_rca_classification_accuracy.py -q + +# NL→tool 라우팅 라이브 (비파괴, read-only) +.venv/bin/python -m eval.online.nl_tool_routing --live --confirm + +# 라이브 fault 주입 (⚠️ 파괴적, 이중 가드) +.venv/bin/python -m eval.online.live_eval --live --confirm --faults sink_db_down+
원본 결과: docs/test/results-20260622/ · 라이브 리포트: services/ai-service/eval/reports/*_live_*.json
+표준·프레임워크
+· NIST AI RMF 1.0 — https://nvlpubs.nist.gov/nistpubs/ai/nist.ai.100-1.pdf
+· OWASP Top 10 for LLM 2025 — https://genai.owasp.org/llm-top-10/
+· EU AI Act 제14조 — https://artificialintelligenceact.eu/article/14/
+· ITIL 4 Problem Management — https://www.axelos.com/resource-hub/practice/problem-management-itil-4-practice-guide
+· ISO/IEC 20000-1:2018 — https://www.iso.org/standard/70636.html · ISO/IEC 42001:2023 — https://www.iso.org/standard/42001
+· Google SRE 4 Golden Signals — https://sre.google/sre-book/monitoring-distributed-systems/ · Alerting on SLOs — https://sre.google/workbook/alerting-on-slos/
+· PagerDuty Severity — https://response.pagerduty.com/before/severity_levels/ · Google SAIF — https://saif.google/
+
+논문·벤치마크
+· Guo et al., On Calibration of Modern Neural Networks (ECE), ICML 2017 — https://arxiv.org/abs/1706.04599
+· Lewis et al., RAG, NeurIPS 2020 — https://arxiv.org/abs/2005.11401
+· Geifman & El-Yaniv, Selective Classification, NeurIPS 2017 — https://arxiv.org/abs/1705.08500
+· PACE-LM, Microsoft, 2023 — https://arxiv.org/abs/2309.05833 · RCACopilot, EuroSys 2024 — https://arxiv.org/abs/2305.15778
+· Ahmed et al., LLM RCA, ICSE 2023 — https://arxiv.org/abs/2301.03797 · RCAEval (AC@k·Avg@5) — arXiv:2412.17015
+
M3|+`q2IijzCdelH0ftlx`?4cK$9bn)SdURtF*O1uT6`#gZUKK
zl$pC-_??*oAoKHbQl@MJ>xt*On>8}hAKu%VX56q4H979V+js#3;GDs{D-RWQ*7{vv
zXm+Os$%lUgOLY#s#*Y0x=Q*`gW~WD{l(gLjnLOQH$d-nF&rgk~?Ln{Zpdu=K;a}p~
z8Dh1lQ&dS
zx3wv?4R8QRwt>lx+waIWGme@}9EG#AId%TQ@g%Q3@0l_03ndT4*)_@MMiRm%X0eCi
zinUO|GIv+Q_3#djkRY{psidVBcDJU?4grW#v1{Qv|9d>{TTunr7bIExMjPoRJCBMeBv8JHPQj6;PBZ<6bYp8eu5wj-@0
zI;;&*4}7?8d-k=<-F|5iN7sUD$l8;KkR&285!&BlV_K?FYX3l&yV6F3@pIqV4sb8(
zUJbLEX*yk=JVfzH9nyKH<{~#sc4P4No*m~Fu+x!GX?5A08EYy3@}Iha%~uKb^)m)8
zIv1YD>OoJBsFih$*%Cc*rcq1{F^lPPc8D2+J~xZUkwmo7&tmZkbaTzF$zZ-zT5LQ#
zJnSK1s%Y=a?VGV8U1)UlaFaLB(%C__^iwXPzVk!G;UNY{uB7Ntta+P{)`vkU@qr(w
z`$1M^rL&-*V30iQF;o8%PPEcgCD!VG9{H~imEL`NH6BZ2e6zk;%Ok+)E`s>nKp`zP
zG5;`0Gg`v$UAeT|!_eXz6RCuvtxwfZPgPUF#P|mwiW}GlS*b(qPvNYme9+F7+m|k<
zr^mF9LmUqe)&(2_G8Fx}iKi>U{ex3brW8uk=gNP2xM(-Q9DlVx{LF_G$0R2b^`F=f
zh3$h9tf#v-C$oQJB8OLiQC$0WLPjCHz=p*_5T^&??*c7K&XJ2}y{QjClVs32)AjPY
zsZzQaB7tEaPC4*F40r}2t+R&xi+FDRT@tmoV*QARTB%6TW2wGWTs_Ui;Q@?y^
zG!F*MW$Wr
c#ny
z>~o
ac^HPE$N>qR@)Mww1;z&I