You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
{{ message }}
Repository navigation
[feat] RCA 라이브 진단 정확도 개선 — 증거 전달 갭·CONNECTOR_TASK_FAILED 수렴 해소로 9%대 → 90% #993
라이브 RCA 진단 top-1 정확도가 9~12%대에서 정체돼 있다. 오프라인 벤치(정답 증거 주입)는 top-1 89.6%인데, 라이브는 도구가 증거를 스스로 모아야 하고 그 과정의 증거 전달 갭과 표면 증상 CONNECTOR_TASK_FAILED로의 수렴이 정확도를 막는다. 라이브 균형 eval top-1을 목표 90%까지 끌어올린다.
배경 — 라이브 측정 이력
정량 측정 결과 라이브 정확도는 아래처럼 정체했다(33케이스 균형셋 기준은 #981 하네스 계열).
측정 단계
일자
조건
케이스
top-1
ECE
1차 라이브
2026-06-17
지표지연 이전
21
9.5% (2/21)
0.65
2차 라이브
2026-06-17
지표지연 배포 후
21
4.8% (1/21)
0.71
균형 baseline
2026-06-17
33케이스 균형셋
33
0.0% (0/33)
0.90
임베딩 켬
2026-06-17
임베딩 매칭 on
33
6.1% (2/33)
0.77
변경로그+임베딩 결합
2026-06-17
결합
33
12.1% (4/33)
-
오프라인 벤치
기준
정답 증거 주입(엔진 격리)
367
89.6%
-
즉 엔진 자체는 충분하고, 갭은 라이브 증거 수집·매칭·구분에 있다.
원인 분석
증거 전달 갭: Required 증거 58개 중 OK 1 / PARTIAL 17 / GAP 40. 도구가 모은 실측 증거(예: total_lag=60110, Connection refused host=...:port)가 한글 required 룰 문구와 lexical/semantic 매칭에 실패한다.
구분 실패: 33케이스 다수가 표면 증상 CONNECTOR_TASK_FAILED(0.92)로 수렴해 진짜 root cause(SCHEMA_MISMATCH, SINK_AUTH_EXPIRED, SINK_DB_CONNECTION_TIMEOUT, PIPELINE_CONFIG_INVALID 등)에 도달하지 못한다.
Activity
#993 잔여 검증 보류 사유를 닫아 머지 판단을 가능하게 한다
#993 캠페인 계층별 표의 source 행을 재실행 실측값으로 정정
#993 [feat] RCA 진단 정확도 개선 — 증거 신호 추출·정상 관측 오탐 차단·라벨 누설 방지 (#1002)
Merge pull request #1003 from cloud-team2/develop
[feat] RCA 진단 정확도 개선 — vendor 표준 오류 시그니처 추출·source/sink 측면 판별·정상 오탐 차단 (
[release] develop -> main (#1016)