diff --git a/docs/decisions/README.md b/docs/decisions/README.md index 6c02d1b3..fd0eaefa 100644 --- a/docs/decisions/README.md +++ b/docs/decisions/README.md @@ -131,6 +131,7 @@ - [backup-restore-rto-rpo.md](./backup-restore-rto-rpo.md) — 백업·복구 — "되돌릴 수 있다"를 시간으로 (진행중 — #202 실측 완료, 병렬 덤프 등은 범위 밖으로 남음) - [major-version-upgrade-policy.md](./major-version-upgrade-policy.md) — 메이저 버전업 2건(springdoc 3.x·Gradle 9) (보류 — §8에 "재지 않은 것" 다수, 테스트·실측 안 됨) - [replication-lag-and-semisync.md](./replication-lag-and-semisync.md) — 복제 — "한 대가 죽어도 된다"를 지연과 대가로 (진행중 — 조건부 결론, 다른 AZ는 안 잼) +- [rpo-rto-targets.md](./rpo-rto-targets.md) — RPO·RTO 목표 — "얼마 걸리나"에서 "얼마여야 하나"로 (진행중 — 방향 확정: 백업+binlog 서버 밖, 리플리카 보류, 반동기 미채택. 반출·백업 주기 숫자 미정) - [reverse-proxy-and-tls.md](./reverse-proxy-and-tls.md) — 리버스 프록시·TLS 종료 — nginx를 넣어야 하나 (진행중 — 이슈 일부 등록, CORS PATCH 누락은 여전히 미등록) ## 포트폴리오·전략·서사 diff --git a/docs/decisions/rpo-rto-targets.md b/docs/decisions/rpo-rto-targets.md new file mode 100644 index 00000000..d71ef938 --- /dev/null +++ b/docs/decisions/rpo-rto-targets.md @@ -0,0 +1,217 @@ +# RPO·RTO 목표 — «얼마나 잃어도 되고, 얼마 안에 돌아와야 하나» 를 정하는 분기점 + +작성일: 2026-11-07 · 갱신: 2026-11-07 (§6-1 추천안 채택 — 사용자 confirm) +상태: 🟡 **방향 확정 · 숫자 미정.** 구성 2(백업 + binlog 서버 밖 반출) 채택, 리플리카 보류, 반동기 미채택 +(2026-11-07 사용자 confirm). **반출 주기·백업 주기·보존 기간 숫자는 아직 없다** — 추천안이 숫자를 정하지 +않았고, 근거 없이 채우지 않는다(§6 Q4·Q6). +연관: [`./backup-restore-rto-rpo.md`](./backup-restore-rto-rpo.md) (복구 시간 실측) · +[`./replication-lag-and-semisync.md`](./replication-lag-and-semisync.md) (복제 지연·반동기 대가) · +[`../tasks/31-production-readiness-plan.md`](../tasks/31-production-readiness-plan.md) §DB 백업 정책 · +[`../19-deployment.md`](../19-deployment.md) (SLO 없음) + +--- + +## 0. 왜 지금 이 문서인가 + +이 프로젝트는 **«얼마 걸리나» 는 쟀고 «얼마여야 하나» 는 안 정했다.** + +| 있는 것 (실측 — baseline) | 없는 것 (목표 — threshold) | +|---|---| +| 1억 행 복구 시간: 논리 약 21분 · 물리 약 174초 ([백업 §결정로그](./backup-restore-rto-rpo.md)) | RTO 목표 — 백업 문서가 «근거 없는 임계값» 이라 일부러 비웠다(`backup-restore-rto-rpo.md:171`·`:196`) | +| PITR 로 사고 직전까지 복원 확인 | RPO 목표 | +| 복제 지연 약 60초 · 반동기 대가 −5.9%(같은 AZ)~−17.2%(다른 AZ) | 백업 **주기·위치** — 운영 준비 문서가 «호스트가 정해져야 한다» 에서 멈춤(`31-production-readiness-plan.md:218`) | + +그래서 순서가 거꾸로였다 — 실무라면 목표를 먼저 정하고 그걸 맞추는 구성을 고른 뒤 비용을 잰다. +이 프로젝트는 비용을 먼저 쟀다. 이 문서는 **빠진 앞 단계를 뒤늦게 채운다** — 「처음부터 목표가 +있었다」 가 아니라 「측정 뒤에 목표를 세워 판단을 닫았다」 로 읽어야 한다. + +🔴 그리고 실측 RPO 에는 전제가 숨어 있다. «사고 직전까지 복원» 은 **binlog 가 살아 있을 때**다. +binlog 가 데이터와 **같은 디스크**라([`one-pager.md:49`](../portfolio/one-pager.md)) 호스트를 잃으면 +binlog 도 같이 사라지고, RPO 는 «마지막 백업 시점» 으로 떨어진다. 그런데 **백업 주기가 없으니 +그 경우 RPO 는 지금 정의조차 안 된다.** + +--- + +## 1. 용어 — 이 문서에서 쓰는 뜻 + +- **RPO** (Recovery Point Objective) — 장애 뒤 되살렸을 때 **사라져도 되는 최근 데이터의 양**(시간 단위). «최근 5분치까지는 잃어도 된다» +- **RTO** (Recovery Time Objective) — 장애 시작부터 **다시 쓰기를 받기까지 허용 시간**. «30분 안에 돌아와야 한다» +- **실측값 ≠ 목표값** — 「물리 복구 174초」 는 이 구성이 *낸* 값이고, 「RTO 10분」 은 *약속*이다. + 이 문서의 숫자 칸은 전자만 채운다([[feedback_no_arbitrary_threshold_values]]) + +--- + +## 2. 기준을 어떻게 정하나 — 네 단계 + +목표값은 감으로 정하지 않는다. 실무에서 쓰는 순서를 이 프로젝트에 맞춰 적는다. + +### ① 전제를 못박는다 — 무엇을 기준으로 판단하나 + +실무는 매출·SLA·규제에서 출발한다. **이 프로젝트엔 셋 다 없다** — 매출 없음, 외부 SLA 없음, +SLO 도 없다([`19-deployment.md:256`](../19-deployment.md)). 그래서 «없으니 안 정한다» 대신 +**가정을 못박고 그 기준으로 판단한다**([[feedback_state_assumption_design_to_it]]). + +- 규모 가정: **DAU 1,000** — 이 프로젝트가 계속 써온 가정([`realmysql-experiments.md:57`](../portfolio/realmysql-experiments.md), ADR 0011) +- 판단 축: 매출이 없으니 **사용자가 무엇을 잃고 얼마나 기다리나**(사용자 경험) + +### ② 데이터를 «잃으면 무엇이 깨지나» 로 나눈다 + +같은 DB 안이라도 데이터마다 잃었을 때의 아픔이 다르다. 묻는 것 셋: +**다시 만들 수 있나? 사용자가 다시 보나? 법적 의무가 있나?** — §3 의 표가 이 단계다. + +### ③ 장애 종류별로 지금 얼마를 잃고 얼마 걸리는지 적는다 + +«장애» 는 하나가 아니다. 프로세스가 죽는 것과 디스크를 잃는 것은 RPO 가 완전히 다르다 — §4. + +### ④ 구성 후보마다 «달성하는 RPO/RTO» 와 «비용» 을 나란히 놓고, 목표를 고른다 + +목표를 낮출수록(덜 잃고 빨리 돌아올수록) 구성이 비싸진다. 표를 보고 **어디까지 비용을 낼지** +고르는 것이 결정이다 — §5·§6. + +> 🔴 **한 DB 에는 RPO 가 하나다.** 데이터별 아픔이 달라도 같은 인스턴스·같은 백업에 들어 있으면 +> 가장 엄격한 데이터가 전체 목표를 정한다. 데이터별로 목표를 달리하려면 저장소를 나눠야 하고, +> 그건 이 규모에서 과하다(§6 Q3). + +--- + +## 3. 데이터 분류 (②) — 잃으면 무엇이 깨지나 + +Flyway 마이그레이션의 테이블 기준. «재생성» 칸은 코드·문서 근거가 있는 것만 ✅, 확인 안 한 것은 ❔. + +| 등급 | 테이블 | 잃으면 | 재생성 | +|---|---|---|---| +| **A. 사용자 자산** | `exercise_sessions` · `exercise_session_sets` · `reports` · `daily_logs` · `body_records` · `goals` · `session_feedback_logs` | 사용자가 한 운동 기록·리포트가 사라진다. 스트릭·출석·주간 집계가 어긋난다 | ❌ 운동은 다시 할 수 없다 | +| **A. 계정** | `users` | 로그인 불가 | ❌ | +| **B. 소셜 관계** | `workout_groups` · `group_members` · `group_invitations` · `group_events` · `event_cheers` · `event_reactions` · `trainer_assignments` | 그룹·응원·트레이너 연결이 사라진다 | ❌ 사용자가 다시 맺어야 한다 | +| **C. 전달 보장 장치** | `outbox_events` | 아직 안 보낸 이벤트(AI→Spring 완료 콜백, 주간 리포트 생성 등)가 사라진다 → **A 등급 데이터가 «완료» 로 안 바뀐 채 남을 수 있다** | ❌ 원 이벤트는 다시 안 생긴다 | +| **D. 다시 만들 수 있음** | `weekly_reports` | 주간 리포트 문장이 사라진다 | 🟡 LLM 으로 재생성 가능 — 단 호출 비용·문장이 달라짐([`report-generation-llm.md`](./report-generation-llm.md)) | +| **D. 다시 만들 수 있음** | `refresh_token` · `push_tokens` · `notifications` | 재로그인·앱 재등록·알림 일부 유실 | 🟡 사용자 조작으로 회복 (❔ `notifications` 는 재발송 안 됨) | +| **E. 버퍼** | `pose_data` | 분석 원본 좌표 | — **원래 짧게 보관하고 버리는 버퍼**로 설계(TTL `DROP PARTITION`, [`realmysql-experiments.md:129`](../portfolio/realmysql-experiments.md)). 분석이 끝난 뒤 유실은 리포트에 영향 없음 ❔(분석 전 유실은 A 등급 리포트가 안 생김) | +| **F. 카탈로그** | `exercises` · `categories` · `exercise_references` · `exercise_feedback_templates` | 운동 종류·기준 동작이 사라진다 | ❔ 시드·마이그레이션으로 복구 가능한지 미확인. `exercise_references` 는 추출 데이터라 별도 확인 필요 | +| — | `exercise_rejected_attempts` | 거절 시도 기록 | ❔ 용도 확인 필요 | + +**읽는 법**: 전체 목표를 정하는 건 **A·B·C 등급**이다. 특히 C(`outbox_events`)는 «잃으면 A 가 +조용히 어긋난다» 는 점에서 A 와 같은 무게로 봐야 한다. + +--- + +## 4. 장애 종류별 현재 상태 (③) + +| 장애 | 예 | 데이터·binlog | 현재 RPO (실측·추론) | 현재 RTO | +|---|---|---|---|---| +| **프로세스 죽음** | OOM kill, mysqld 크래시 | 디스크에 남음 | **0** — 커밋된 건 디스크에 있다(`innodb_flush_log_at_trx_commit=1`·`sync_binlog=1`) | ⬜ **미측정** — 재기동 + redo 복구 시간 | +| **호스트 재부팅** | OS 패치, 인스턴스 재시작 | 남음 | 0 | ⬜ 미측정 | +| **논리 사고** | 실수로 `DROP TABLE`·대량 `DELETE` | 남음 (사고도 binlog 에 기록) | **사고 직전** — PITR 실측 확인(백업 문서 Q5) | 백업 붓기(물리 약 174초 · 논리 약 21분, 1억 행) **+ binlog 재생(⬜ 미측정)** | +| **호스트·디스크 상실** | EBS 고장, 인스턴스 삭제, `compose down -v`, 랜섬웨어 | 🔴 **binlog 도 같이 사라짐** | 🔴 **정의 안 됨** — «마지막 백업 시점» 인데 백업 주기·위치가 없다 | 새 서버 준비(⬜) + 백업 붓기 — **백업이 서버 밖에 없으면 복구 불가** | + +⚠️ 복구 시간 실측은 m6i.xlarge · gp3 · 1억 행(합성) 조건이고 «운영에서 N분» 으로 인용 금지(백업 문서 §5). +⚠️ 운영 구성(`docker-compose.prod.yml`)에는 백업 설정이 **없다** — 볼륨 `mysql_data` 하나에 데이터·binlog 가 같이 있다(`:53`·`:226`). + +→ **구멍은 마지막 줄 하나다.** 나머지 셋은 지금도 RPO 가 0 이거나 사고 직전이다. + +--- + +## 5. 구성 후보 (④) — 달성하는 값과 비용 + +위에서 아래로 갈수록 덜 잃고 빨리 돌아오지만 비싸다. **각 단계는 앞 단계를 포함한다** — +리플리카는 백업을 대신하지 못한다(논리 사고는 리플리카로 그대로 복제된다). + +| # | 구성 | 호스트 상실 시 RPO | 호스트 상실 시 RTO | 쓰기 비용 | 상시 비용·운영 | +|---|---|---|---|---|---| +| **0** | 지금 (백업 없음, binlog 같은 디스크) | 🔴 전부 | 🔴 복구 불가 | 없음 | 없음 | +| **1** | 주기 백업 → 서버 밖(S3 등) | **백업 주기** (예: 하루면 최대 24시간) | 새 서버 + 백업 붓기 (물리 약 174초 · 논리 약 21분 실측, 1억 행) | 없음 (백업 중 정지 42~126ms 실측) | 저장 요금 · 백업 잡 | +| **2** | 1 + binlog 를 주기적으로 서버 밖에 (회전 때 업로드) | **binlog 업로드 주기** (예: 5분) | 1 + **binlog 재생 (⬜ 미측정)** | 없음 | 2 와 비슷 · 업로드 잡 · 주기적 `FLUSH BINARY LOGS` | +| **2'** | 1 + binlog 실시간 스트리밍 (`mysqlbinlog --stop-never` 를 다른 서버에서) | 수 초 | 2 와 같음 | 없음 | 받는 서버 1대 상시 | +| **3** | 2 + **비동기 리플리카** | 리플리카가 못 받은 양 — 쓰기 부하에서 **약 60초 밀림** 실측(같은 AZ·SQL writer) | **승격 시간** — 밀린 양 적용 + 앱 연결 전환 (⬜ 미측정, 수동이면 사람 시간 추가) | 없음 | 서버 1대 상시 · 복제 감시 | +| **4** | 3 + **반동기** | 거의 0 — 🔴 단 리플리카가 끊기면 **조용히 비동기로 강등**(실측) | 3 과 같음 | **처리량 −5.9%(같은 AZ) ~ −17.2%(다른 AZ)** · 몰리면 −10.3% (실측) | 3 + 강등 알람 · 리플리카 재기동 절차(시작 옵션으로 켤 것 — [11-07 결과](../../loadtest/results/replication-semisync-recovery-2026-11-07/README.md)) | + +미측정 칸(⬜)은 «0» 이 아니다. 특히 **binlog 재생 시간**은 2·2' 의 RTO 를 정하는 값인데 아직 없다. + +--- + +## 6. 결정할 것 — 사용자 confirm 대상 + +> 2026-11-07 사용자 confirm: «추천대로» — §6-1 을 채택했다. 추천안이 숫자까지 정하지 않은 칸은 +> 그대로 열어 둔다(🟡). + +- [x] **Q1. 전제** → 🟢 **DAU 1,000 가정 · 판단 축은 사용자 경험** (§2 ① 그대로) +- [~] **Q2. 분류** → 🟢 **§3 의 A~F 등급 채택.** 🟡 ❔ 칸 넷(`notifications` 재발송, 카탈로그 시드 복구, + `exercise_rejected_attempts` 용도, `pose_data` 분석 전 유실)은 **확인 전**이다 — 확인 결과가 A~C 로 + 올라가도 Q4 결정(구성 2)은 바뀌지 않는다(전체가 한 RPO 라서) +- [x] **Q3. RPO 를 하나로** → 🟢 **하나로 둔다.** 저장소를 나누지 않는다(§7) +- [~] **Q4. 호스트 상실 RPO** → 🟢 **구성 2 채택** — 백업 + binlog 를 주기적으로 서버 밖에. RPO = binlog 반출 주기. + 🟡 **반출 주기 숫자는 미정** — 추천안이 정하지 않았다. 고르는 근거는 «주기를 줄일수록 늘어나는 것» + (업로드 횟수·`FLUSH BINARY LOGS` 빈도·작은 binlog 파일 수)이고 그건 아직 안 쟀다 +- [~] **Q5. 호스트 상실 RTO** → 🟢 **리플리카(3) 보류.** 🟡 목표 숫자는 미정 — 구성 2 의 실제 RTO(백업 붓기 + + **binlog 재생**)를 먼저 재고, 그 값이 받아들일 수 없을 때 3 을 다시 연다 +- [~] **Q6. 백업 주기·보관 위치·보존 기간** → 🟢 **위치는 서버 밖**(구성 2 의 정의). 🟡 **주기·보존 기간은 미정** — + 운영 호스트가 정해지지 않았다(`31-production-readiness-plan.md:218` 과 같은 이유) +- [x] **반동기(4)** → 🟢 **채택 안 함** (§6-1 근거) + +### 6-1. 추천 (Claude) — ✅ 2026-11-07 사용자 confirm 으로 채택 + +- **Q4 → 구성 2** (백업 + binlog 를 주기적으로 서버 밖에). 이유: 지금 구멍(호스트 상실)을 쓰기 + 비용 없이 막는다. A 등급(운동 기록)은 «분 단위 유실» 이면 사용자가 운동 한 번을 다시 하는 + 수준이라 반동기 비용(−5.9%~−17.2%)을 정당화하기 어렵다. 업로드 주기 숫자는 ⑥ 의 결정이다 +- **Q5 → 리플리카(3) 는 보류.** 판단 근거가 될 «binlog 재생 시간» 이 미측정이라, 구성 2 의 실제 + RTO 를 먼저 재고 그게 받아들일 수 없을 때 3 으로 간다 +- **반동기(4) 는 채택 안 함 쪽.** 근거: 쓰기가 무거운 경로(`pose_data` 적재)에 대가가 붙고, 그 + 데이터의 상당 부분은 원래 버리는 버퍼(E 등급)이며, 리플리카 1대 구성에선 조용히 강등된다 + +### 6-2. 결정 전에 재면 좋은 것 + +| 무엇 | 왜 | 어디서 | +|---|---|---| +| binlog 재생 시간 (백업 이후 N시간치) | 구성 2 의 RTO 를 정한다 — Q5 의 근거 | EC2 (백업 rig 재사용) | +| 호스트 상실 → S3 만으로 복구 | 구성 2 가 실제로 되는지 + 잃은 행 수 | EC2 | +| 프로세스 재기동 RTO | §4 첫 줄의 빈칸 | 로컬로 충분 (메커니즘) | + +--- + +## 7. 의식적으로 안 할 것 + +| 안 함 | 이유 | +|---|---| +| 목표 숫자를 이 문서에서 정하기 | 사용자 결정 대상 — 추천만 적는다 | +| 데이터별로 저장소 나누기 | 이 규모에서 과하다 (Q3 에서 다른 결정이 나오면 다시 연다) | +| 자동 페일오버 | 리플리카(3) 채택 전엔 의미 없다 | +| RDS 전환 | 백업 문서 §8 과 같은 이유 — 매니지드는 다른 판단이다 | + +--- + +## 8. 다시 여는 조건 — 규모가 커지면 어디로 가나 + +§6 의 결정(구성 2 · 리플리카 보류 · 반동기 미채택)은 **DAU 1,000 전제 위의 판단**이다. 규모가 +커질 때 다음 단계로 넘어가는 경로를 여기 적는다. + +🔴 **조건을 «DAU N 을 넘으면» 으로 걸지 않는다.** 그 N 에 근거가 없고([[feedback_no_arbitrary_threshold_values]]), +DAU 와 비교해 판단을 닫지 않는다는 원칙과도 어긋난다([[feedback_tps_over_dau_justification]]). +대신 **무엇이 바뀌면** 다시 여는지를 원인으로 건다 — DAU 가 커지는 것은 이 원인들이 생기는 경로일 뿐이다. + +| # | 다시 여는 조건 (원인) | 어떻게 알아채나 | 그때 갈 곳 | +|---|---|---|---| +| R1 | **구성 2 의 실제 복구 시간**(새 서버 + 백업 붓기 + binlog 재생)이 Q5 에서 정할 RTO 를 넘는다 | §6-2 의 binlog 재생 시간 측정 · 정기 복구 훈련 | 비동기 리플리카(구성 3) | +| R2 | **데이터가 커져** 백업 붓기 시간이 늘어난다 — 174초는 1억 행(합성) 값이고 백업 문서 H5 가 «크기에 선형인가» 를 물었다 | 복구 훈련 때 붓기 시간 추세 | 먼저 물리 백업 유지 확인(논리는 약 7배 느림), 그다음 리플리카(구성 3) | +| R3 | **몇 분치도 못 잃는 데이터가 생긴다** — 예: 결제·포인트처럼 유실이 돈이 되는 데이터 | §3 데이터 분류에 새 A 등급 이상이 들어올 때 | 반동기(구성 4) — 단 리플리카 2대 이상으로 강등을 피하는 구성을 같이 본다. 또는 그 데이터만 저장소 분리(§7 을 다시 연다) | +| R4 | **읽기 부하가 소스를 압박한다** | 소스 CPU·커넥션 풀 포화 지표 | 읽기 리플리카. 🔴 단 «운동 직후 리포트» 처럼 방금 쓴 것을 읽는 경로는 소스에서 읽는다 — 리플리카는 부하 아래 약 60초 밀렸다([복제 §0-3](./replication-lag-and-semisync.md)) | +| R5 | **binlog 반출 주기를 줄여도** Q4 의 RPO 를 못 맞춘다 | 반출 주기 실측 · 업로드 지연 | 실시간 스트리밍(구성 2') | +| R6 | **운영 호스트가 정해진다** | — | Q6(백업 주기·보존 기간)과 §4 의 미측정 칸을 그 호스트에서 다시 잰다 | + +**읽는 법**: R1~R5 는 전부 «재야 알아채는» 조건이다. 그래서 지금 바로 할 일은 다음 단계를 미리 +까는 것이 아니라 **§6-2 의 측정과 정기 복구 훈련으로 그 신호를 볼 수 있게 하는 것**이다. + +--- + +## 결정 로그 + +- 2026-11-07: 분기점 초안. 실측값(baseline)과 목표(threshold)를 나누고, 데이터 분류 · 장애 종류별 + 현재 상태 · 구성 후보 0~4 를 정리. **구멍은 «호스트 상실» 하나**이고 그때 RPO 가 정의조차 안 + 된다는 것을 명시. 결정 6건(Q1~Q6)은 미결, 추천은 구성 2 + 리플리카 보류 + 반동기 미채택. +- 2026-11-07: 🟢 **§6-1 추천안 채택 (사용자 confirm — «추천대로»).** Q1 DAU 1,000·사용자 경험 · Q2 A~F 등급 · + Q3 RPO 하나 · **Q4 구성 2(백업 + binlog 서버 밖 반출)** · **Q5 리플리카 보류** · **반동기 미채택** · + Q6 위치는 서버 밖. 🟡 **숫자 셋은 열어 둔다** — binlog 반출 주기 · 백업 주기 · 보존 기간. 추천안이 숫자를 + 정하지 않았고, 근거(반출 주기별 비용 · binlog 재생 시간 · 운영 호스트)가 아직 없다. 다음 단계는 §6-2 의 + 측정 — 특히 binlog 재생 시간이 Q5 를 다시 열지 가른다. +- 2026-11-07: **§8 다시 여는 조건 추가** (사용자 요청). 규모가 커질 때의 경로를 «DAU N» 이 아니라 원인 R1~R6 + (복구 시간이 RTO 초과 · 데이터 증가로 붓기 증가 · 유실 불가 데이터 등장 · 읽기 압박 · 반출 주기 한계 · + 운영 호스트 확정)으로 건다. 전부 «재야 알아채는» 조건이라 지금 할 일은 §6-2 측정과 정기 복구 훈련이다.