Skip to content

[feat] RCA 라이브 진단 정확도 개선 — 증거 전달 갭·CONNECTOR_TASK_FAILED 수렴 해소로 9%대 → 90% #993

Closed

Description

@sebeeeen

무엇이 개선되나요

라이브 RCA 진단 top-1 정확도가 9~12%대에서 정체돼 있다. 오프라인 벤치(정답 증거 주입)는 top-1 89.6%인데, 라이브는 도구가 증거를 스스로 모아야 하고 그 과정의 증거 전달 갭과 표면 증상 CONNECTOR_TASK_FAILED로의 수렴이 정확도를 막는다. 라이브 균형 eval top-1을 목표 90%까지 끌어올린다.

배경 — 라이브 측정 이력

정량 측정 결과 라이브 정확도는 아래처럼 정체했다(33케이스 균형셋 기준은 #981 하네스 계열).

측정 단계 일자 조건 케이스 top-1 ECE
1차 라이브 2026-06-17 지표지연 이전 21 9.5% (2/21) 0.65
2차 라이브 2026-06-17 지표지연 배포 후 21 4.8% (1/21) 0.71
균형 baseline 2026-06-17 33케이스 균형셋 33 0.0% (0/33) 0.90
임베딩 켬 2026-06-17 임베딩 매칭 on 33 6.1% (2/33) 0.77
변경로그+임베딩 결합 2026-06-17 결합 33 12.1% (4/33) -
오프라인 벤치 기준 정답 증거 주입(엔진 격리) 367 89.6% -

즉 엔진 자체는 충분하고, 갭은 라이브 증거 수집·매칭·구분에 있다.

원인 분석

  1. 증거 전달 갭: Required 증거 58개 중 OK 1 / PARTIAL 17 / GAP 40. 도구가 모은 실측 증거(예: total_lag=60110, Connection refused host=...:port)가 한글 required 룰 문구와 lexical/semantic 매칭에 실패한다.
  2. 구분 실패: 33케이스 다수가 표면 증상 CONNECTOR_TASK_FAILED(0.92)로 수렴해 진짜 root cause(SCHEMA_MISMATCH, SINK_AUTH_EXPIRED, SINK_DB_CONNECTION_TIMEOUT, PIPELINE_CONFIG_INVALID 등)에 도달하지 못한다.
  3. 캘리브레이션: ECE가 0.65~0.90으로 confidence 과신. 연관 결함은 #957(evidence-satisfaction 매칭 결함), #962(sink DB 근접 증상서 정지), #963(조기 발화 UNKNOWN).

작업 내용

  1. 증거 공급·매핑 보강: 도구가 수집한 실측 증거를 해당 root cause의 required 증거에 매칭되도록 연결한다(lexical anchor + negative evidence). #957·#962 패턴을 일반화한다.
  2. 구분 신호 강화: CONNECTOR_TASK_FAILED와 근접 root cause를 가르는 변별 증거(negative evidence·required 차이)를 카탈로그에 보강한다. 단 정답 case_id 분기나 평가셋 고유 관측 문구를 matcher에 하드코딩하지 않는다(과적합 방지).
  3. 임베딩 매칭 캘리브레이션: AI_RCA_EMBEDDING_MATCH_ENABLED threshold(0.86)를 보정하고 한글 룰 ↔ 영어·수치 증거 lexical 갭을 해소한다.
  4. 측정: #981 라이브 균형 eval 하네스로 holdout 분리 셋 포함 AC@1/AC@5/ECE를 측정한다. 정답 증거 직접 주입(seed-replay) 결과는 목표 지표로 사용하지 않는다.

완료 조건

  • 라이브 균형 eval top-1 ≥ 90% (holdout 분리 셋 포함)
  • ECE가 현 baseline 대비 개선(악화 없음)
  • CONNECTOR_TASK_FAILED 오수렴 케이스가 정답 root cause로 분리됨
  • evidence matrix 매칭 + 대표 장애 케이스 회귀 테스트 통과
  • 과적합 검증: case_id 분기·평가셋 고유 문구 주입 없음, holdout 일반화 확인
  • 측정 이력·방법 문서화

참고

#957, #962, #963, #981, #982, app/catalogs/evidence_matrix.py, app/catalogs/root_causes.py, agents/rca.py

Activity

  1. self-assigned this
    on Jun 22, 2026
  2. added 5 commits that reference this issue on Jun 22, 2026
  3. added a commit that references this issue on Jul 5, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

Labels

feat새로운 기능 개발

Type

No type

Projects

No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions