Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
1 change: 1 addition & 0 deletions docs/decisions/README.md
Original file line number Diff line number Diff line change
Expand Up @@ -131,6 +131,7 @@
- [backup-restore-rto-rpo.md](./backup-restore-rto-rpo.md) — 백업·복구 — "되돌릴 수 있다"를 시간으로 (진행중 — #202 실측 완료, 병렬 덤프 등은 범위 밖으로 남음)
- [major-version-upgrade-policy.md](./major-version-upgrade-policy.md) — 메이저 버전업 2건(springdoc 3.x·Gradle 9) (보류 — §8에 "재지 않은 것" 다수, 테스트·실측 안 됨)
- [replication-lag-and-semisync.md](./replication-lag-and-semisync.md) — 복제 — "한 대가 죽어도 된다"를 지연과 대가로 (진행중 — 조건부 결론, 다른 AZ는 안 잼)
- [rpo-rto-targets.md](./rpo-rto-targets.md) — RPO·RTO 목표 — "얼마 걸리나"에서 "얼마여야 하나"로 (진행중 — 방향 확정: 백업+binlog 서버 밖, 리플리카 보류, 반동기 미채택. 반출·백업 주기 숫자 미정)
- [reverse-proxy-and-tls.md](./reverse-proxy-and-tls.md) — 리버스 프록시·TLS 종료 — nginx를 넣어야 하나 (진행중 — 이슈 일부 등록, CORS PATCH 누락은 여전히 미등록)

## 포트폴리오·전략·서사
Expand Down
217 changes: 217 additions & 0 deletions docs/decisions/rpo-rto-targets.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,217 @@
# RPO·RTO 목표 — «얼마나 잃어도 되고, 얼마 안에 돌아와야 하나» 를 정하는 분기점

작성일: 2026-11-07 · 갱신: 2026-11-07 (§6-1 추천안 채택 — 사용자 confirm)
상태: 🟡 **방향 확정 · 숫자 미정.** 구성 2(백업 + binlog 서버 밖 반출) 채택, 리플리카 보류, 반동기 미채택
(2026-11-07 사용자 confirm). **반출 주기·백업 주기·보존 기간 숫자는 아직 없다** — 추천안이 숫자를 정하지
않았고, 근거 없이 채우지 않는다(§6 Q4·Q6).
연관: [`./backup-restore-rto-rpo.md`](./backup-restore-rto-rpo.md) (복구 시간 실측) ·
[`./replication-lag-and-semisync.md`](./replication-lag-and-semisync.md) (복제 지연·반동기 대가) ·
[`../tasks/31-production-readiness-plan.md`](../tasks/31-production-readiness-plan.md) §DB 백업 정책 ·
[`../19-deployment.md`](../19-deployment.md) (SLO 없음)

---

## 0. 왜 지금 이 문서인가

이 프로젝트는 **«얼마 걸리나» 는 쟀고 «얼마여야 하나» 는 안 정했다.**

| 있는 것 (실측 — baseline) | 없는 것 (목표 — threshold) |
|---|---|
| 1억 행 복구 시간: 논리 약 21분 · 물리 약 174초 ([백업 §결정로그](./backup-restore-rto-rpo.md)) | RTO 목표 — 백업 문서가 «근거 없는 임계값» 이라 일부러 비웠다(`backup-restore-rto-rpo.md:171`·`:196`) |
| PITR 로 사고 직전까지 복원 확인 | RPO 목표 |
| 복제 지연 약 60초 · 반동기 대가 −5.9%(같은 AZ)~−17.2%(다른 AZ) | 백업 **주기·위치** — 운영 준비 문서가 «호스트가 정해져야 한다» 에서 멈춤(`31-production-readiness-plan.md:218`) |

그래서 순서가 거꾸로였다 — 실무라면 목표를 먼저 정하고 그걸 맞추는 구성을 고른 뒤 비용을 잰다.
이 프로젝트는 비용을 먼저 쟀다. 이 문서는 **빠진 앞 단계를 뒤늦게 채운다** — 「처음부터 목표가
있었다」 가 아니라 「측정 뒤에 목표를 세워 판단을 닫았다」 로 읽어야 한다.

🔴 그리고 실측 RPO 에는 전제가 숨어 있다. «사고 직전까지 복원» 은 **binlog 가 살아 있을 때**다.
binlog 가 데이터와 **같은 디스크**라([`one-pager.md:49`](../portfolio/one-pager.md)) 호스트를 잃으면
binlog 도 같이 사라지고, RPO 는 «마지막 백업 시점» 으로 떨어진다. 그런데 **백업 주기가 없으니
그 경우 RPO 는 지금 정의조차 안 된다.**

---

## 1. 용어 — 이 문서에서 쓰는 뜻

- **RPO** (Recovery Point Objective) — 장애 뒤 되살렸을 때 **사라져도 되는 최근 데이터의 양**(시간 단위). «최근 5분치까지는 잃어도 된다»
- **RTO** (Recovery Time Objective) — 장애 시작부터 **다시 쓰기를 받기까지 허용 시간**. «30분 안에 돌아와야 한다»
- **실측값 ≠ 목표값** — 「물리 복구 174초」 는 이 구성이 *낸* 값이고, 「RTO 10분」 은 *약속*이다.
이 문서의 숫자 칸은 전자만 채운다([[feedback_no_arbitrary_threshold_values]])

---

## 2. 기준을 어떻게 정하나 — 네 단계

목표값은 감으로 정하지 않는다. 실무에서 쓰는 순서를 이 프로젝트에 맞춰 적는다.

### ① 전제를 못박는다 — 무엇을 기준으로 판단하나

실무는 매출·SLA·규제에서 출발한다. **이 프로젝트엔 셋 다 없다** — 매출 없음, 외부 SLA 없음,
SLO 도 없다([`19-deployment.md:256`](../19-deployment.md)). 그래서 «없으니 안 정한다» 대신
**가정을 못박고 그 기준으로 판단한다**([[feedback_state_assumption_design_to_it]]).

- 규모 가정: **DAU 1,000** — 이 프로젝트가 계속 써온 가정([`realmysql-experiments.md:57`](../portfolio/realmysql-experiments.md), ADR 0011)
- 판단 축: 매출이 없으니 **사용자가 무엇을 잃고 얼마나 기다리나**(사용자 경험)

### ② 데이터를 «잃으면 무엇이 깨지나» 로 나눈다

같은 DB 안이라도 데이터마다 잃었을 때의 아픔이 다르다. 묻는 것 셋:
**다시 만들 수 있나? 사용자가 다시 보나? 법적 의무가 있나?** — §3 의 표가 이 단계다.

### ③ 장애 종류별로 지금 얼마를 잃고 얼마 걸리는지 적는다

«장애» 는 하나가 아니다. 프로세스가 죽는 것과 디스크를 잃는 것은 RPO 가 완전히 다르다 — §4.

### ④ 구성 후보마다 «달성하는 RPO/RTO» 와 «비용» 을 나란히 놓고, 목표를 고른다

목표를 낮출수록(덜 잃고 빨리 돌아올수록) 구성이 비싸진다. 표를 보고 **어디까지 비용을 낼지**
고르는 것이 결정이다 — §5·§6.

> 🔴 **한 DB 에는 RPO 가 하나다.** 데이터별 아픔이 달라도 같은 인스턴스·같은 백업에 들어 있으면
> 가장 엄격한 데이터가 전체 목표를 정한다. 데이터별로 목표를 달리하려면 저장소를 나눠야 하고,
> 그건 이 규모에서 과하다(§6 Q3).

---

## 3. 데이터 분류 (②) — 잃으면 무엇이 깨지나

Flyway 마이그레이션의 테이블 기준. «재생성» 칸은 코드·문서 근거가 있는 것만 ✅, 확인 안 한 것은 ❔.

| 등급 | 테이블 | 잃으면 | 재생성 |
|---|---|---|---|
| **A. 사용자 자산** | `exercise_sessions` · `exercise_session_sets` · `reports` · `daily_logs` · `body_records` · `goals` · `session_feedback_logs` | 사용자가 한 운동 기록·리포트가 사라진다. 스트릭·출석·주간 집계가 어긋난다 | ❌ 운동은 다시 할 수 없다 |
| **A. 계정** | `users` | 로그인 불가 | ❌ |
| **B. 소셜 관계** | `workout_groups` · `group_members` · `group_invitations` · `group_events` · `event_cheers` · `event_reactions` · `trainer_assignments` | 그룹·응원·트레이너 연결이 사라진다 | ❌ 사용자가 다시 맺어야 한다 |
| **C. 전달 보장 장치** | `outbox_events` | 아직 안 보낸 이벤트(AI→Spring 완료 콜백, 주간 리포트 생성 등)가 사라진다 → **A 등급 데이터가 «완료» 로 안 바뀐 채 남을 수 있다** | ❌ 원 이벤트는 다시 안 생긴다 |
| **D. 다시 만들 수 있음** | `weekly_reports` | 주간 리포트 문장이 사라진다 | 🟡 LLM 으로 재생성 가능 — 단 호출 비용·문장이 달라짐([`report-generation-llm.md`](./report-generation-llm.md)) |
| **D. 다시 만들 수 있음** | `refresh_token` · `push_tokens` · `notifications` | 재로그인·앱 재등록·알림 일부 유실 | 🟡 사용자 조작으로 회복 (❔ `notifications` 는 재발송 안 됨) |
| **E. 버퍼** | `pose_data` | 분석 원본 좌표 | — **원래 짧게 보관하고 버리는 버퍼**로 설계(TTL `DROP PARTITION`, [`realmysql-experiments.md:129`](../portfolio/realmysql-experiments.md)). 분석이 끝난 뒤 유실은 리포트에 영향 없음 ❔(분석 전 유실은 A 등급 리포트가 안 생김) |
| **F. 카탈로그** | `exercises` · `categories` · `exercise_references` · `exercise_feedback_templates` | 운동 종류·기준 동작이 사라진다 | ❔ 시드·마이그레이션으로 복구 가능한지 미확인. `exercise_references` 는 추출 데이터라 별도 확인 필요 |
| — | `exercise_rejected_attempts` | 거절 시도 기록 | ❔ 용도 확인 필요 |

**읽는 법**: 전체 목표를 정하는 건 **A·B·C 등급**이다. 특히 C(`outbox_events`)는 «잃으면 A 가
조용히 어긋난다» 는 점에서 A 와 같은 무게로 봐야 한다.

---

## 4. 장애 종류별 현재 상태 (③)

| 장애 | 예 | 데이터·binlog | 현재 RPO (실측·추론) | 현재 RTO |
|---|---|---|---|---|
| **프로세스 죽음** | OOM kill, mysqld 크래시 | 디스크에 남음 | **0** — 커밋된 건 디스크에 있다(`innodb_flush_log_at_trx_commit=1`·`sync_binlog=1`) | ⬜ **미측정** — 재기동 + redo 복구 시간 |
| **호스트 재부팅** | OS 패치, 인스턴스 재시작 | 남음 | 0 | ⬜ 미측정 |
| **논리 사고** | 실수로 `DROP TABLE`·대량 `DELETE` | 남음 (사고도 binlog 에 기록) | **사고 직전** — PITR 실측 확인(백업 문서 Q5) | 백업 붓기(물리 약 174초 · 논리 약 21분, 1억 행) **+ binlog 재생(⬜ 미측정)** |
| **호스트·디스크 상실** | EBS 고장, 인스턴스 삭제, `compose down -v`, 랜섬웨어 | 🔴 **binlog 도 같이 사라짐** | 🔴 **정의 안 됨** — «마지막 백업 시점» 인데 백업 주기·위치가 없다 | 새 서버 준비(⬜) + 백업 붓기 — **백업이 서버 밖에 없으면 복구 불가** |

⚠️ 복구 시간 실측은 m6i.xlarge · gp3 · 1억 행(합성) 조건이고 «운영에서 N분» 으로 인용 금지(백업 문서 §5).
⚠️ 운영 구성(`docker-compose.prod.yml`)에는 백업 설정이 **없다** — 볼륨 `mysql_data` 하나에 데이터·binlog 가 같이 있다(`:53`·`:226`).

→ **구멍은 마지막 줄 하나다.** 나머지 셋은 지금도 RPO 가 0 이거나 사고 직전이다.

---

## 5. 구성 후보 (④) — 달성하는 값과 비용

위에서 아래로 갈수록 덜 잃고 빨리 돌아오지만 비싸다. **각 단계는 앞 단계를 포함한다** —
리플리카는 백업을 대신하지 못한다(논리 사고는 리플리카로 그대로 복제된다).

| # | 구성 | 호스트 상실 시 RPO | 호스트 상실 시 RTO | 쓰기 비용 | 상시 비용·운영 |
|---|---|---|---|---|---|
| **0** | 지금 (백업 없음, binlog 같은 디스크) | 🔴 전부 | 🔴 복구 불가 | 없음 | 없음 |
| **1** | 주기 백업 → 서버 밖(S3 등) | **백업 주기** (예: 하루면 최대 24시간) | 새 서버 + 백업 붓기 (물리 약 174초 · 논리 약 21분 실측, 1억 행) | 없음 (백업 중 정지 42~126ms 실측) | 저장 요금 · 백업 잡 |
| **2** | 1 + binlog 를 주기적으로 서버 밖에 (회전 때 업로드) | **binlog 업로드 주기** (예: 5분) | 1 + **binlog 재생 (⬜ 미측정)** | 없음 | 2 와 비슷 · 업로드 잡 · 주기적 `FLUSH BINARY LOGS` |
| **2'** | 1 + binlog 실시간 스트리밍 (`mysqlbinlog --stop-never` 를 다른 서버에서) | 수 초 | 2 와 같음 | 없음 | 받는 서버 1대 상시 |
| **3** | 2 + **비동기 리플리카** | 리플리카가 못 받은 양 — 쓰기 부하에서 **약 60초 밀림** 실측(같은 AZ·SQL writer) | **승격 시간** — 밀린 양 적용 + 앱 연결 전환 (⬜ 미측정, 수동이면 사람 시간 추가) | 없음 | 서버 1대 상시 · 복제 감시 |
| **4** | 3 + **반동기** | 거의 0 — 🔴 단 리플리카가 끊기면 **조용히 비동기로 강등**(실측) | 3 과 같음 | **처리량 −5.9%(같은 AZ) ~ −17.2%(다른 AZ)** · 몰리면 −10.3% (실측) | 3 + 강등 알람 · 리플리카 재기동 절차(시작 옵션으로 켤 것 — [11-07 결과](../../loadtest/results/replication-semisync-recovery-2026-11-07/README.md)) |

미측정 칸(⬜)은 «0» 이 아니다. 특히 **binlog 재생 시간**은 2·2' 의 RTO 를 정하는 값인데 아직 없다.

---

## 6. 결정할 것 — 사용자 confirm 대상

> 2026-11-07 사용자 confirm: «추천대로» — §6-1 을 채택했다. 추천안이 숫자까지 정하지 않은 칸은
> 그대로 열어 둔다(🟡).

- [x] **Q1. 전제** → 🟢 **DAU 1,000 가정 · 판단 축은 사용자 경험** (§2 ① 그대로)
- [~] **Q2. 분류** → 🟢 **§3 의 A~F 등급 채택.** 🟡 ❔ 칸 넷(`notifications` 재발송, 카탈로그 시드 복구,
`exercise_rejected_attempts` 용도, `pose_data` 분석 전 유실)은 **확인 전**이다 — 확인 결과가 A~C 로
올라가도 Q4 결정(구성 2)은 바뀌지 않는다(전체가 한 RPO 라서)
- [x] **Q3. RPO 를 하나로** → 🟢 **하나로 둔다.** 저장소를 나누지 않는다(§7)
- [~] **Q4. 호스트 상실 RPO** → 🟢 **구성 2 채택** — 백업 + binlog 를 주기적으로 서버 밖에. RPO = binlog 반출 주기.
🟡 **반출 주기 숫자는 미정** — 추천안이 정하지 않았다. 고르는 근거는 «주기를 줄일수록 늘어나는 것»
(업로드 횟수·`FLUSH BINARY LOGS` 빈도·작은 binlog 파일 수)이고 그건 아직 안 쟀다
- [~] **Q5. 호스트 상실 RTO** → 🟢 **리플리카(3) 보류.** 🟡 목표 숫자는 미정 — 구성 2 의 실제 RTO(백업 붓기 +
**binlog 재생**)를 먼저 재고, 그 값이 받아들일 수 없을 때 3 을 다시 연다
- [~] **Q6. 백업 주기·보관 위치·보존 기간** → 🟢 **위치는 서버 밖**(구성 2 의 정의). 🟡 **주기·보존 기간은 미정** —
운영 호스트가 정해지지 않았다(`31-production-readiness-plan.md:218` 과 같은 이유)
- [x] **반동기(4)** → 🟢 **채택 안 함** (§6-1 근거)

### 6-1. 추천 (Claude) — ✅ 2026-11-07 사용자 confirm 으로 채택

- **Q4 → 구성 2** (백업 + binlog 를 주기적으로 서버 밖에). 이유: 지금 구멍(호스트 상실)을 쓰기
비용 없이 막는다. A 등급(운동 기록)은 «분 단위 유실» 이면 사용자가 운동 한 번을 다시 하는
수준이라 반동기 비용(−5.9%~−17.2%)을 정당화하기 어렵다. 업로드 주기 숫자는 ⑥ 의 결정이다
- **Q5 → 리플리카(3) 는 보류.** 판단 근거가 될 «binlog 재생 시간» 이 미측정이라, 구성 2 의 실제
RTO 를 먼저 재고 그게 받아들일 수 없을 때 3 으로 간다
- **반동기(4) 는 채택 안 함 쪽.** 근거: 쓰기가 무거운 경로(`pose_data` 적재)에 대가가 붙고, 그
데이터의 상당 부분은 원래 버리는 버퍼(E 등급)이며, 리플리카 1대 구성에선 조용히 강등된다

### 6-2. 결정 전에 재면 좋은 것

| 무엇 | 왜 | 어디서 |
|---|---|---|
| binlog 재생 시간 (백업 이후 N시간치) | 구성 2 의 RTO 를 정한다 — Q5 의 근거 | EC2 (백업 rig 재사용) |
| 호스트 상실 → S3 만으로 복구 | 구성 2 가 실제로 되는지 + 잃은 행 수 | EC2 |
| 프로세스 재기동 RTO | §4 첫 줄의 빈칸 | 로컬로 충분 (메커니즘) |

---

## 7. 의식적으로 안 할 것

| 안 함 | 이유 |
|---|---|
| 목표 숫자를 이 문서에서 정하기 | 사용자 결정 대상 — 추천만 적는다 |
| 데이터별로 저장소 나누기 | 이 규모에서 과하다 (Q3 에서 다른 결정이 나오면 다시 연다) |
| 자동 페일오버 | 리플리카(3) 채택 전엔 의미 없다 |
| RDS 전환 | 백업 문서 §8 과 같은 이유 — 매니지드는 다른 판단이다 |

---

## 8. 다시 여는 조건 — 규모가 커지면 어디로 가나

§6 의 결정(구성 2 · 리플리카 보류 · 반동기 미채택)은 **DAU 1,000 전제 위의 판단**이다. 규모가
커질 때 다음 단계로 넘어가는 경로를 여기 적는다.

🔴 **조건을 «DAU N 을 넘으면» 으로 걸지 않는다.** 그 N 에 근거가 없고([[feedback_no_arbitrary_threshold_values]]),
DAU 와 비교해 판단을 닫지 않는다는 원칙과도 어긋난다([[feedback_tps_over_dau_justification]]).
대신 **무엇이 바뀌면** 다시 여는지를 원인으로 건다 — DAU 가 커지는 것은 이 원인들이 생기는 경로일 뿐이다.

| # | 다시 여는 조건 (원인) | 어떻게 알아채나 | 그때 갈 곳 |
|---|---|---|---|
| R1 | **구성 2 의 실제 복구 시간**(새 서버 + 백업 붓기 + binlog 재생)이 Q5 에서 정할 RTO 를 넘는다 | §6-2 의 binlog 재생 시간 측정 · 정기 복구 훈련 | 비동기 리플리카(구성 3) |
| R2 | **데이터가 커져** 백업 붓기 시간이 늘어난다 — 174초는 1억 행(합성) 값이고 백업 문서 H5 가 «크기에 선형인가» 를 물었다 | 복구 훈련 때 붓기 시간 추세 | 먼저 물리 백업 유지 확인(논리는 약 7배 느림), 그다음 리플리카(구성 3) |
| R3 | **몇 분치도 못 잃는 데이터가 생긴다** — 예: 결제·포인트처럼 유실이 돈이 되는 데이터 | §3 데이터 분류에 새 A 등급 이상이 들어올 때 | 반동기(구성 4) — 단 리플리카 2대 이상으로 강등을 피하는 구성을 같이 본다. 또는 그 데이터만 저장소 분리(§7 을 다시 연다) |
| R4 | **읽기 부하가 소스를 압박한다** | 소스 CPU·커넥션 풀 포화 지표 | 읽기 리플리카. 🔴 단 «운동 직후 리포트» 처럼 방금 쓴 것을 읽는 경로는 소스에서 읽는다 — 리플리카는 부하 아래 약 60초 밀렸다([복제 §0-3](./replication-lag-and-semisync.md)) |
| R5 | **binlog 반출 주기를 줄여도** Q4 의 RPO 를 못 맞춘다 | 반출 주기 실측 · 업로드 지연 | 실시간 스트리밍(구성 2') |
| R6 | **운영 호스트가 정해진다** | — | Q6(백업 주기·보존 기간)과 §4 의 미측정 칸을 그 호스트에서 다시 잰다 |

**읽는 법**: R1~R5 는 전부 «재야 알아채는» 조건이다. 그래서 지금 바로 할 일은 다음 단계를 미리
까는 것이 아니라 **§6-2 의 측정과 정기 복구 훈련으로 그 신호를 볼 수 있게 하는 것**이다.

---

## 결정 로그

- 2026-11-07: 분기점 초안. 실측값(baseline)과 목표(threshold)를 나누고, 데이터 분류 · 장애 종류별
현재 상태 · 구성 후보 0~4 를 정리. **구멍은 «호스트 상실» 하나**이고 그때 RPO 가 정의조차 안
된다는 것을 명시. 결정 6건(Q1~Q6)은 미결, 추천은 구성 2 + 리플리카 보류 + 반동기 미채택.
- 2026-11-07: 🟢 **§6-1 추천안 채택 (사용자 confirm — «추천대로»).** Q1 DAU 1,000·사용자 경험 · Q2 A~F 등급 ·
Q3 RPO 하나 · **Q4 구성 2(백업 + binlog 서버 밖 반출)** · **Q5 리플리카 보류** · **반동기 미채택** ·
Q6 위치는 서버 밖. 🟡 **숫자 셋은 열어 둔다** — binlog 반출 주기 · 백업 주기 · 보존 기간. 추천안이 숫자를
정하지 않았고, 근거(반출 주기별 비용 · binlog 재생 시간 · 운영 호스트)가 아직 없다. 다음 단계는 §6-2 의
측정 — 특히 binlog 재생 시간이 Q5 를 다시 열지 가른다.
- 2026-11-07: **§8 다시 여는 조건 추가** (사용자 요청). 규모가 커질 때의 경로를 «DAU N» 이 아니라 원인 R1~R6
(복구 시간이 RTO 초과 · 데이터 증가로 붓기 증가 · 유실 불가 데이터 등장 · 읽기 압박 · 반출 주기 한계 ·
운영 호스트 확정)으로 건다. 전부 «재야 알아채는» 조건이라 지금 할 일은 §6-2 측정과 정기 복구 훈련이다.