Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
2 changes: 1 addition & 1 deletion docs/decisions/experiment-inventory.md
Original file line number Diff line number Diff line change
Expand Up @@ -91,7 +91,7 @@ DBA 지원축의 결손 3개(백업 · 복제 · 무중단 DDL)는 **셋 다 실

| 우선 | 실험 | 상태 | 왜 지금 |
|---|---|---|---|
| ~~1?~~ | ~~**P4 — 복제 지연 · 반동기 대가 (Q1·Q2)**~~ | ✅ **완료 (측정 2026-08-22 · 회수 08-23)** — [결과](../../loadtest/results/replication-aws-2026-08-22/README.md) · [정본](./replication-lag-and-semisync.md) | **EC2 2대**(`c7i.2xlarge` · 같은 AZ) · 1,000만 행 · **10판 전부 유효 · 결함 0**(산포 A 0.6% / B 0.2%). **반동기의 대가 = 처리량 −5.9% · 커밋 p95 +13.0%** 이고 🔴 **H3 이 조건을 만들었다** — 같은 대가가 부하 모양에 따라 **−5.9% ↔ −10.3%** 로 두 배가 된다. 지연은 팔 A 약 60초 · 팔 B 약 57초. 🟢 **급소였던 G3 이 최대 소득** — `lag_net` 이 세 번 통과했고 굵기 **+1.017~1.018초가 무대 100배에도 안 변한다.** 그래서 08-17 이 Q3 을 잃은 원인이 «현상» 이 아니라 **«계측»** 이었음이 사후 확인됐다. 🔴 **인용 전 조건 넷** — 같은 AZ(**다른 AZ 미측정**) · 앱 경로가 아닌 SQL writer · 계측 바닥 ~1초 · `main` 이 아닌 커밋(`e2fbe6c`, G2 결함 수정 [#380](https://github.com/Shadowfit/init/pull/380) 이 08-23 에 머지되며 해소). ⭐ **스모크 선행이 값을 했다** — 1회차가 G2 에서 막혔고, 1,000만 행 시딩을 마친 뒤에야 만났을 결함이었다. **남은 것은 «안 잰 것» 하나 — 다른 AZ** 이고 그건 새 라운드다. 🆕 **2026-09-01 설계 · 09-02 판 설계 확정**(사용자 confirm) — [정본 §0-4](./replication-lag-and-semisync.md#0-4-🆕-설계--다른-az-대조-라운드-2026-09-01-설계--2026-09-02-판-설계-확정--실행-미착수), rig 변경 불필요(AZ 는 인스턴스 배치 문제) 확인. 확정: 소스 2a·리플리카 2c · 옵션 C(버림1+본판4) · 다세션만(H3 제외) · 비용 승인. **실행(EC2 기동)은 별도 확인 필요, 아직 안 함** |
| ~~1?~~ | ~~**P4 — 복제 지연 · 반동기 대가 (Q1·Q2)**~~ | ✅ **완료 (측정 2026-08-22 · 회수 08-23)** — [결과](../../loadtest/results/replication-aws-2026-08-22/README.md) · [정본](./replication-lag-and-semisync.md) | **EC2 2대**(`c7i.2xlarge` · 같은 AZ) · 1,000만 행 · **10판 전부 유효 · 결함 0**(산포 A 0.6% / B 0.2%). **반동기의 대가 = 처리량 −5.9% · 커밋 p95 +13.0%** 이고 🔴 **H3 이 조건을 만들었다** — 같은 대가가 부하 모양에 따라 **−5.9% ↔ −10.3%** 로 두 배가 된다. 지연은 팔 A 약 60초 · 팔 B 약 57초. 🟢 **급소였던 G3 이 최대 소득** — `lag_net` 이 세 번 통과했고 굵기 **+1.017~1.018초가 무대 100배에도 안 변한다.** 그래서 08-17 이 Q3 을 잃은 원인이 «현상» 이 아니라 **«계측»** 이었음이 사후 확인됐다. 🔴 **인용 전 조건 넷** — 같은 AZ(다른 AZ 는 아래 09-02 라운드) · 앱 경로가 아닌 SQL writer · 계측 바닥 ~1초 · `main` 이 아닌 커밋(`e2fbe6c`, G2 결함 수정 [#380](https://github.com/Shadowfit/init/pull/380) 이 08-23 에 머지되며 해소). ⭐ **스모크 선행이 값을 했다** — 1회차가 G2 에서 막혔고, 1,000만 행 시딩을 마친 뒤에야 만났을 결함이었다. 남아 있던 «안 잰 것»(다른 AZ)은 새 라운드로 닫혔다. **2026-09-01 설계 · 09-02 판 설계 확정**(사용자 confirm) — [정본 §0-4](./replication-lag-and-semisync.md#0-4-설계--다른-az-대조-라운드-2026-09-01-설계--2026-09-02-판-설계-확정--실행회수는-0-5), rig 변경 불필요(AZ 는 인스턴스 배치 문제) 확인. 확정: 소스 2a·리플리카 2c · 옵션 C(버림1+본판4) · 다세션만(H3 제외) · 비용 승인. ✅ **실행·회수 완료 (측정 2026-09-01~02)** — [결과](../../loadtest/results/replication-aws-cross-az-2026-09-02/README.md) · [정본 §0-5](./replication-lag-and-semisync.md). 6판 전부 유효 · 결함 0. **반동기의 대가가 처리량 −17.2% · 커밋 p50 +23.1% · p95 +18.1%** 로 같은 AZ 대비 최대 약 3.8배 — 「자릿수 단위」 예견은 반증. ⚠️ 실행 경위가 불완전하다(다른 세션 경로로 실행돼 산출물만 회수, 정본 §0-5 머리말) |
| ~~#204~~ | ~~**[#204](https://github.com/Shadowfit/init/issues/204) 리포트 핵심 쿼리**~~ | ✅ **완료 (2026-08-19~20)** — [결과](../../loadtest/results/report-query-explain-2026-08-19/README.md) | 세 주장 중 **둘은 확인, 하나는 열쇠가 이미 있었다.** ㄱ 프루닝 — 세 팔 전부 **14파티션 전탐색**이고 인덱스로는 못 고친다(`created_at` 을 같이 넘긴 판만 1개). ㄴ 비커버링 — 논리 페이지 **3,777.5 ↔ 779(4.85배)**, 행당 4페이지. ㄷ filesort — A 에서 확인되지만 **[#188](https://github.com/Shadowfit/init/issues/188) 의 `uk_pose_event` 가 정렬 순서를 그대로 가지고 있어** B 에서 사라진다. 🔴 단 V6 은 `origin/main` 에 없다 — 지금 배포본엔 ㄷ 가 살아 있고, **#188 이 머지되면 손 안 대고 닫힌다** |
| ~~#205 B·C~~ | ~~**[#205](https://github.com/Shadowfit/init/issues/205) 카드 B·C**~~ | ✅ **완료 (2026-08-20)** — [카드 C](../../loadtest/results/card-c-overlap-2026-08-20/README.md) · [카드 B](../../loadtest/results/card-b-avg-2026-08-20/README.md) | **C**: N=8,000 에서 **422배**(22.2초 ↔ 52.6ms), 배가별 4.2~4.4배로 2차식 확인. 🔴 단 근거는 «읽은 행 수» 가 아니었다 — 계획이 `Inner hash join (no condition)` 이라 **읽기는 O(N)·비교가 N²** 다. **B**: 불균일 200/200 갈리고 균일 **0/2,002** — 기제가 예측한 자리에서만. 곡선 쿼리는 커버링으로 **6.7배**인데 **핸들러 동일**(읽는 폭의 차이). 🔴 **두 카드가 «읽은 행 수는 비용의 대리 지표가 아니다» 를 반대 방향으로 보였다** |
| ~~카드 A~~ | ~~**커버링 인덱스의 쓰기 대가**~~ | ✅ **완료 (2026-08-22)** — [결과](../../loadtest/results/card-a-write-cost-2026-08-22/README.md) · [change buffer 후속](../../loadtest/results/card-a-ibuf-armE-2026-08-22/summary.md) · [처리량(ms) 재설계](./covering-index-write-throughput.md) | **A÷B = 1.245**(논리 페이지 수정) · `log_write_req` 1.242 로 독립 두 카운터가 0.3% 안에서 일치. 행당으로 풀면 **+1.046 페이지 수정/행** — 세컨더리 엔트리 하나가 리프 페이지 수정 1회라는 **산수가 그대로 맞는다**. 팔 간 **겹침 0**(A 최소 106,254 > B 최대 85,556). 🔴 **답을 낸 것은 무대가 아니라 지표다** — 같은 팔이 `ms` 로는 **3.8배**(71.8초 ↔ 272.3초) 벌어지는데 카운터는 0.33% 안이다. ✅ **2026-09-06 처리량(ms) 실측 완료** — [결과](../../loadtest/results/card-a-write-throughput-2026-09-06/README.md): 조용한 EC2 박스(`c7i.2xlarge`)에서 같은 팔을 16판 재현, `bp_write_req` A÷B=1.244로 카드 A와 정합. **그런데 처리량(RPS) A÷B는 0.976·문당 p50은 완전히 동일(1.000)·p99만 1.047** — 논리 대가 +24.4%가 실제 처리량으로는 ~2%로 준다(문당 fsync가 인덱스의 추가 비용을 덮음, `TXN_STMTS=1` 조건 한정). ✅ **2026-09-06(2) 배치 커밋 후속으로 그 한정 조건을 직접 검증** — [결과 §7](../../loadtest/results/card-a-write-throughput-2026-09-06/README.md#7-배치-커밋-후속--가설-확인-2026-09-06-txn_stmts20): `TXN_STMTS=20`(fsync 20분의 1)으로 재현하니 RPS A÷B 0.976→**0.901**(−2.4%→−9.9%)·p99 A÷B 1.047→**2.948**(+4.7%→+195%)로 대가가 그대로 드러난다(`bp_write_req`는 1.244→1.252로 안 변함 — 일 자체는 그대로, fsync 가리개만 걷힘). 즉 "+24.4%→~2%" 축소는 **`TXN_STMTS=1`이라는 조건에 종속**된 결과였다. 채택 여부는 여전히 사용자 결정. ⚠️ **change buffer 는 안 탔다** — 세 페이로드 모양(집중·새 id 분산·**기존 id 분산**) 전부 0이고, 팔 E 는 `bp_reads` 221로 **디스크를 실제로 쳤는데도** 0이라 「페이로드 탓」이 아니다(원인은 가설로 남김) |
Expand Down
25 changes: 19 additions & 6 deletions docs/decisions/replication-lag-and-semisync.md
Original file line number Diff line number Diff line change
Expand Up @@ -65,8 +65,10 @@ AZ 무관). Q4·Q5 는 로컬 라운드(2026-08-17)가 닫았고, **Q3 은 「

### 조건 — 인용할 때 떼면 안 되는 것 넷

1. 🔴 **같은 AZ 에서만 성립한다.** 다른 AZ 는 **안 쟀고** 더 비쌀 것으로 **추정만** 된다.
§9-1 ② 가 이 선택을 「Q2 의 답을 **자릿수 단위로** 바꾼다」고 적어뒀다
1. 🔴 **같은 AZ 에서만 성립한다.** 이 절의 값(−5.9% · p95 +13.0%)은 같은 AZ 값이다.
다른 AZ 는 **2026-09-02 라운드(§0-5)가 따로 쟀다** — 처리량 **−17.2%** · 커밋 p50 +23.1% ·
p95 +18.1%. §9-1 ② 의 「**자릿수 단위로** 바뀐다」는 예견은 반증됐다(최대 약 3.8배).
두 값을 섞어 인용하지 말고 AZ 조건을 같이 적을 것
2. 🔴 **앱 경로가 아니다.** 부하가 rig 내장 SQL writer(커넥션 15 · 트랜잭션당 25행)라
**4차 라운드의 649 RPS 와 같은 단위로 비교할 수 없다.** Q2 가 묻는 것이 «반동기가 커밋
경로에 무는 값» 이라 Spring 풀·GC 를 교란 변수로 안 들이려고 고른 것이고, 그 대가다
Expand Down Expand Up @@ -165,7 +167,7 @@ Q3 의 창 길이, Q5 의 지연 크기 모두 계측 오버헤드와 하트비

---

## 0-4. 🆕 설계 — 다른 AZ 대조 라운드 (2026-09-01 설계 · 2026-09-02 판 설계 확정 · 실행 미착수)
## 0-4. 설계 — 다른 AZ 대조 라운드 (2026-09-01 설계 · 2026-09-02 판 설계 확정 · 실행·회수는 §0-5)

**목적**: §0-3 조건 1(「같은 AZ 에서만 성립한다」)을 좁힌다. §9-1 ②가 예견한 대로 반동기의
대가가 다른 AZ 에서 **자릿수 단위로** 달라지는지 실측한다.
Expand Down Expand Up @@ -532,7 +534,8 @@ DDL·백업 스윕과 같은 규약:
[결과 §1](../../loadtest/results/replication-aws-2026-08-22/README.md) 이 정본이고 아래는 그 요약이다.

- [x] **인스턴스 구성** → 🟢 **`c7i.2xlarge` 2대 · 같은 AZ(`ap-northeast-2a`)**
(2026-08-23 사용자 결정 — §10-2 ㉯㉰). 🔴 **다른 AZ 는 안 쟀다**
(2026-08-23 사용자 결정 — §10-2 ㉯㉰). 이 라운드는 다른 AZ 를 안 쟀다 —
다른 AZ 는 별도 라운드(2026-09-02, §0-5)가 쟀다
- [x] **무대 규모** → 🟢 **1,000만 행** (`SESSIONS=13334`) — 추천안 ① 그대로
- [x] **GTID 를 켤지** → 🟢 **켰다, 무대에서만** — 추천안 ④ 그대로
- [x] **리플리카 초기화 방법** → 🟢 **XtraBackup 물리 사본.** `초기화 경로` 열이 실제로
Expand Down Expand Up @@ -711,8 +714,8 @@ DDL(`online-ddl-2026-08-09` ↔ `online-ddl-aws-2026-08-12`)·백업(`backup-res
| 상태줄 | ✅ **두 번 뒤집혔다** — 「안 함」 → 착수 확정(08-23) → **라운드 완료**(이 문서 머리) |

**「못 해서 안 함」도 「안 하기로 해서 안 함」도 닫혔고, 실행까지 끝났다.**
🔴 **남은 것은 «안 잰 것» 하나다 — 다른 AZ**(§0-3 조건 1 · §9-1 ②). 그것은 인스턴스를 다시
띄우는 일이라 **새 라운드**이고, 착수 결정이 다시 필요하다.
🟢 **남아 있던 «안 잰 것» 하나(다른 AZ, §0-3 조건 1 · §9-1 ②)도 닫혔다** — 새 라운드로
착수해(§0-4) 2026-09-02 에 회수했다(§0-5).

### 10-2. 정할 넷 — 전부 확정됐고 전부 돌았다 (2026-08-23 사용자 결정)

Expand All @@ -724,6 +727,7 @@ DDL(`online-ddl-2026-08-09` ↔ `online-ddl-aws-2026-08-12`)·백업(`backup-res
두 번 도는 것과 같다(rig 이 자동화하지 않는다). 그 대가를 안 치르기로 했다.
🔴 **그래서 Q2 의 답은 «같은 AZ 에서 반동기가 무는 값» 이고, 다른 AZ 는 실측이 없다** —
§0-3 이 그 조건을 승계했다. 실제 라벨은 `same-az(ap-northeast-2a)`
(→ 다른 AZ 는 그 뒤 별도 라운드로 쟀다 — 2026-09-02, §0-5)
- [x] **㉰ 인스턴스 타입** → 🟢 **`c7i.2xlarge` 2대** (4차 관례). 🔴 **두 대가 같은 타입인
것이 조건이다**(§3) — 다르면 관측된 지연이 「복제 구조 때문」인지 「기계 차이 때문」인지
**원리적으로 안 갈린다.** 실제로 양쪽 다 `c7i.2xlarge` · 8 vCPU · MySQL 8.0.46 이었고
Expand Down Expand Up @@ -877,3 +881,12 @@ Q1 은 통째로 인위 지연이다.
붙이는 선에서 남긴다. ⚠️ 두 라운드가 rig·무대·하드웨어까지 달라 **조건 하나로 좁힌 것은
아니다.**
**남은 것은 «안 잰 것» 하나 — 다른 AZ** 다. 새 라운드이고 착수 결정이 다시 필요하다.

- 2026-11-07: **«다른 AZ 는 안 쟀다» 잔존 문장 정리.** 머리말·§0-4·§0-5 는 09-02 라운드를
반영했는데(#663, #708 로 지워졌다가 #814 로 복구), §0-3 조건 1 · §9 인스턴스 구성 줄 ·
§10-1 «남은 것» 이 08-23 시점 그대로 남아 머리말과 모순됐다. 현재 상태를 말하는 세 곳은
§0-5 를 가리키게 고쳤고, 당시 결정을 기록한 §10-2 ㉯ 와 위 08-23 로그는 **그대로 두고**
§0-5 포인터만 붙였다. §0-4 제목의 «실행 미착수» 도 «실행·회수는 §0-5» 로 바꿨다(재고표
앵커 같이 갱신). 같은 잔존 문장을 `experiment-inventory.md` · `AWS-RIDE-ALONG.md` ·
`loadtest/aws/README.md` 에서도 고쳤다. 08-22 결과 README 와 `28-remaining-work-plan.md`
는 그 시점 기준으로 사실이라 그대로 둔다.
Loading
Loading