diff --git a/docs/decisions/experiment-inventory.md b/docs/decisions/experiment-inventory.md index 8587cc17..511e238b 100644 --- a/docs/decisions/experiment-inventory.md +++ b/docs/decisions/experiment-inventory.md @@ -91,7 +91,7 @@ DBA 지원축의 결손 3개(백업 · 복제 · 무중단 DDL)는 **셋 다 실 | 우선 | 실험 | 상태 | 왜 지금 | |---|---|---|---| -| ~~1?~~ | ~~**P4 — 복제 지연 · 반동기 대가 (Q1·Q2)**~~ | ✅ **완료 (측정 2026-08-22 · 회수 08-23)** — [결과](../../loadtest/results/replication-aws-2026-08-22/README.md) · [정본](./replication-lag-and-semisync.md) | **EC2 2대**(`c7i.2xlarge` · 같은 AZ) · 1,000만 행 · **10판 전부 유효 · 결함 0**(산포 A 0.6% / B 0.2%). **반동기의 대가 = 처리량 −5.9% · 커밋 p95 +13.0%** 이고 🔴 **H3 이 조건을 만들었다** — 같은 대가가 부하 모양에 따라 **−5.9% ↔ −10.3%** 로 두 배가 된다. 지연은 팔 A 약 60초 · 팔 B 약 57초. 🟢 **급소였던 G3 이 최대 소득** — `lag_net` 이 세 번 통과했고 굵기 **+1.017~1.018초가 무대 100배에도 안 변한다.** 그래서 08-17 이 Q3 을 잃은 원인이 «현상» 이 아니라 **«계측»** 이었음이 사후 확인됐다. 🔴 **인용 전 조건 넷** — 같은 AZ(**다른 AZ 미측정**) · 앱 경로가 아닌 SQL writer · 계측 바닥 ~1초 · `main` 이 아닌 커밋(`e2fbe6c`, G2 결함 수정 [#380](https://github.com/Shadowfit/init/pull/380) 이 08-23 에 머지되며 해소). ⭐ **스모크 선행이 값을 했다** — 1회차가 G2 에서 막혔고, 1,000만 행 시딩을 마친 뒤에야 만났을 결함이었다. **남은 것은 «안 잰 것» 하나 — 다른 AZ** 이고 그건 새 라운드다. 🆕 **2026-09-01 설계 · 09-02 판 설계 확정**(사용자 confirm) — [정본 §0-4](./replication-lag-and-semisync.md#0-4-🆕-설계--다른-az-대조-라운드-2026-09-01-설계--2026-09-02-판-설계-확정--실행-미착수), rig 변경 불필요(AZ 는 인스턴스 배치 문제) 확인. 확정: 소스 2a·리플리카 2c · 옵션 C(버림1+본판4) · 다세션만(H3 제외) · 비용 승인. **실행(EC2 기동)은 별도 확인 필요, 아직 안 함** | +| ~~1?~~ | ~~**P4 — 복제 지연 · 반동기 대가 (Q1·Q2)**~~ | ✅ **완료 (측정 2026-08-22 · 회수 08-23)** — [결과](../../loadtest/results/replication-aws-2026-08-22/README.md) · [정본](./replication-lag-and-semisync.md) | **EC2 2대**(`c7i.2xlarge` · 같은 AZ) · 1,000만 행 · **10판 전부 유효 · 결함 0**(산포 A 0.6% / B 0.2%). **반동기의 대가 = 처리량 −5.9% · 커밋 p95 +13.0%** 이고 🔴 **H3 이 조건을 만들었다** — 같은 대가가 부하 모양에 따라 **−5.9% ↔ −10.3%** 로 두 배가 된다. 지연은 팔 A 약 60초 · 팔 B 약 57초. 🟢 **급소였던 G3 이 최대 소득** — `lag_net` 이 세 번 통과했고 굵기 **+1.017~1.018초가 무대 100배에도 안 변한다.** 그래서 08-17 이 Q3 을 잃은 원인이 «현상» 이 아니라 **«계측»** 이었음이 사후 확인됐다. 🔴 **인용 전 조건 넷** — 같은 AZ(다른 AZ 는 아래 09-02 라운드) · 앱 경로가 아닌 SQL writer · 계측 바닥 ~1초 · `main` 이 아닌 커밋(`e2fbe6c`, G2 결함 수정 [#380](https://github.com/Shadowfit/init/pull/380) 이 08-23 에 머지되며 해소). ⭐ **스모크 선행이 값을 했다** — 1회차가 G2 에서 막혔고, 1,000만 행 시딩을 마친 뒤에야 만났을 결함이었다. 남아 있던 «안 잰 것»(다른 AZ)은 새 라운드로 닫혔다. **2026-09-01 설계 · 09-02 판 설계 확정**(사용자 confirm) — [정본 §0-4](./replication-lag-and-semisync.md#0-4-설계--다른-az-대조-라운드-2026-09-01-설계--2026-09-02-판-설계-확정--실행회수는-0-5), rig 변경 불필요(AZ 는 인스턴스 배치 문제) 확인. 확정: 소스 2a·리플리카 2c · 옵션 C(버림1+본판4) · 다세션만(H3 제외) · 비용 승인. ✅ **실행·회수 완료 (측정 2026-09-01~02)** — [결과](../../loadtest/results/replication-aws-cross-az-2026-09-02/README.md) · [정본 §0-5](./replication-lag-and-semisync.md). 6판 전부 유효 · 결함 0. **반동기의 대가가 처리량 −17.2% · 커밋 p50 +23.1% · p95 +18.1%** 로 같은 AZ 대비 최대 약 3.8배 — 「자릿수 단위」 예견은 반증. ⚠️ 실행 경위가 불완전하다(다른 세션 경로로 실행돼 산출물만 회수, 정본 §0-5 머리말) | | ~~#204~~ | ~~**[#204](https://github.com/Shadowfit/init/issues/204) 리포트 핵심 쿼리**~~ | ✅ **완료 (2026-08-19~20)** — [결과](../../loadtest/results/report-query-explain-2026-08-19/README.md) | 세 주장 중 **둘은 확인, 하나는 열쇠가 이미 있었다.** ㄱ 프루닝 — 세 팔 전부 **14파티션 전탐색**이고 인덱스로는 못 고친다(`created_at` 을 같이 넘긴 판만 1개). ㄴ 비커버링 — 논리 페이지 **3,777.5 ↔ 779(4.85배)**, 행당 4페이지. ㄷ filesort — A 에서 확인되지만 **[#188](https://github.com/Shadowfit/init/issues/188) 의 `uk_pose_event` 가 정렬 순서를 그대로 가지고 있어** B 에서 사라진다. 🔴 단 V6 은 `origin/main` 에 없다 — 지금 배포본엔 ㄷ 가 살아 있고, **#188 이 머지되면 손 안 대고 닫힌다** | | ~~#205 B·C~~ | ~~**[#205](https://github.com/Shadowfit/init/issues/205) 카드 B·C**~~ | ✅ **완료 (2026-08-20)** — [카드 C](../../loadtest/results/card-c-overlap-2026-08-20/README.md) · [카드 B](../../loadtest/results/card-b-avg-2026-08-20/README.md) | **C**: N=8,000 에서 **422배**(22.2초 ↔ 52.6ms), 배가별 4.2~4.4배로 2차식 확인. 🔴 단 근거는 «읽은 행 수» 가 아니었다 — 계획이 `Inner hash join (no condition)` 이라 **읽기는 O(N)·비교가 N²** 다. **B**: 불균일 200/200 갈리고 균일 **0/2,002** — 기제가 예측한 자리에서만. 곡선 쿼리는 커버링으로 **6.7배**인데 **핸들러 동일**(읽는 폭의 차이). 🔴 **두 카드가 «읽은 행 수는 비용의 대리 지표가 아니다» 를 반대 방향으로 보였다** | | ~~카드 A~~ | ~~**커버링 인덱스의 쓰기 대가**~~ | ✅ **완료 (2026-08-22)** — [결과](../../loadtest/results/card-a-write-cost-2026-08-22/README.md) · [change buffer 후속](../../loadtest/results/card-a-ibuf-armE-2026-08-22/summary.md) · [처리량(ms) 재설계](./covering-index-write-throughput.md) | **A÷B = 1.245**(논리 페이지 수정) · `log_write_req` 1.242 로 독립 두 카운터가 0.3% 안에서 일치. 행당으로 풀면 **+1.046 페이지 수정/행** — 세컨더리 엔트리 하나가 리프 페이지 수정 1회라는 **산수가 그대로 맞는다**. 팔 간 **겹침 0**(A 최소 106,254 > B 최대 85,556). 🔴 **답을 낸 것은 무대가 아니라 지표다** — 같은 팔이 `ms` 로는 **3.8배**(71.8초 ↔ 272.3초) 벌어지는데 카운터는 0.33% 안이다. ✅ **2026-09-06 처리량(ms) 실측 완료** — [결과](../../loadtest/results/card-a-write-throughput-2026-09-06/README.md): 조용한 EC2 박스(`c7i.2xlarge`)에서 같은 팔을 16판 재현, `bp_write_req` A÷B=1.244로 카드 A와 정합. **그런데 처리량(RPS) A÷B는 0.976·문당 p50은 완전히 동일(1.000)·p99만 1.047** — 논리 대가 +24.4%가 실제 처리량으로는 ~2%로 준다(문당 fsync가 인덱스의 추가 비용을 덮음, `TXN_STMTS=1` 조건 한정). ✅ **2026-09-06(2) 배치 커밋 후속으로 그 한정 조건을 직접 검증** — [결과 §7](../../loadtest/results/card-a-write-throughput-2026-09-06/README.md#7-배치-커밋-후속--가설-확인-2026-09-06-txn_stmts20): `TXN_STMTS=20`(fsync 20분의 1)으로 재현하니 RPS A÷B 0.976→**0.901**(−2.4%→−9.9%)·p99 A÷B 1.047→**2.948**(+4.7%→+195%)로 대가가 그대로 드러난다(`bp_write_req`는 1.244→1.252로 안 변함 — 일 자체는 그대로, fsync 가리개만 걷힘). 즉 "+24.4%→~2%" 축소는 **`TXN_STMTS=1`이라는 조건에 종속**된 결과였다. 채택 여부는 여전히 사용자 결정. ⚠️ **change buffer 는 안 탔다** — 세 페이로드 모양(집중·새 id 분산·**기존 id 분산**) 전부 0이고, 팔 E 는 `bp_reads` 221로 **디스크를 실제로 쳤는데도** 0이라 「페이로드 탓」이 아니다(원인은 가설로 남김) | diff --git a/docs/decisions/replication-lag-and-semisync.md b/docs/decisions/replication-lag-and-semisync.md index e60ee11f..db4b306d 100644 --- a/docs/decisions/replication-lag-and-semisync.md +++ b/docs/decisions/replication-lag-and-semisync.md @@ -65,8 +65,10 @@ AZ 무관). Q4·Q5 는 로컬 라운드(2026-08-17)가 닫았고, **Q3 은 「 ### 조건 — 인용할 때 떼면 안 되는 것 넷 -1. 🔴 **같은 AZ 에서만 성립한다.** 다른 AZ 는 **안 쟀고** 더 비쌀 것으로 **추정만** 된다. - §9-1 ② 가 이 선택을 「Q2 의 답을 **자릿수 단위로** 바꾼다」고 적어뒀다 +1. 🔴 **같은 AZ 에서만 성립한다.** 이 절의 값(−5.9% · p95 +13.0%)은 같은 AZ 값이다. + 다른 AZ 는 **2026-09-02 라운드(§0-5)가 따로 쟀다** — 처리량 **−17.2%** · 커밋 p50 +23.1% · + p95 +18.1%. §9-1 ② 의 「**자릿수 단위로** 바뀐다」는 예견은 반증됐다(최대 약 3.8배). + 두 값을 섞어 인용하지 말고 AZ 조건을 같이 적을 것 2. 🔴 **앱 경로가 아니다.** 부하가 rig 내장 SQL writer(커넥션 15 · 트랜잭션당 25행)라 **4차 라운드의 649 RPS 와 같은 단위로 비교할 수 없다.** Q2 가 묻는 것이 «반동기가 커밋 경로에 무는 값» 이라 Spring 풀·GC 를 교란 변수로 안 들이려고 고른 것이고, 그 대가다 @@ -165,7 +167,7 @@ Q3 의 창 길이, Q5 의 지연 크기 모두 계측 오버헤드와 하트비 --- -## 0-4. 🆕 설계 — 다른 AZ 대조 라운드 (2026-09-01 설계 · 2026-09-02 판 설계 확정 · 실행 미착수) +## 0-4. 설계 — 다른 AZ 대조 라운드 (2026-09-01 설계 · 2026-09-02 판 설계 확정 · 실행·회수는 §0-5) **목적**: §0-3 조건 1(「같은 AZ 에서만 성립한다」)을 좁힌다. §9-1 ②가 예견한 대로 반동기의 대가가 다른 AZ 에서 **자릿수 단위로** 달라지는지 실측한다. @@ -532,7 +534,8 @@ DDL·백업 스윕과 같은 규약: [결과 §1](../../loadtest/results/replication-aws-2026-08-22/README.md) 이 정본이고 아래는 그 요약이다. - [x] **인스턴스 구성** → 🟢 **`c7i.2xlarge` 2대 · 같은 AZ(`ap-northeast-2a`)** - (2026-08-23 사용자 결정 — §10-2 ㉯㉰). 🔴 **다른 AZ 는 안 쟀다** + (2026-08-23 사용자 결정 — §10-2 ㉯㉰). 이 라운드는 다른 AZ 를 안 쟀다 — + 다른 AZ 는 별도 라운드(2026-09-02, §0-5)가 쟀다 - [x] **무대 규모** → 🟢 **1,000만 행** (`SESSIONS=13334`) — 추천안 ① 그대로 - [x] **GTID 를 켤지** → 🟢 **켰다, 무대에서만** — 추천안 ④ 그대로 - [x] **리플리카 초기화 방법** → 🟢 **XtraBackup 물리 사본.** `초기화 경로` 열이 실제로 @@ -711,8 +714,8 @@ DDL(`online-ddl-2026-08-09` ↔ `online-ddl-aws-2026-08-12`)·백업(`backup-res | 상태줄 | ✅ **두 번 뒤집혔다** — 「안 함」 → 착수 확정(08-23) → **라운드 완료**(이 문서 머리) | **「못 해서 안 함」도 「안 하기로 해서 안 함」도 닫혔고, 실행까지 끝났다.** -🔴 **남은 것은 «안 잰 것» 하나다 — 다른 AZ**(§0-3 조건 1 · §9-1 ②). 그것은 인스턴스를 다시 -띄우는 일이라 **새 라운드**이고, 착수 결정이 다시 필요하다. +🟢 **남아 있던 «안 잰 것» 하나(다른 AZ, §0-3 조건 1 · §9-1 ②)도 닫혔다** — 새 라운드로 +착수해(§0-4) 2026-09-02 에 회수했다(§0-5). ### 10-2. 정할 넷 — 전부 확정됐고 전부 돌았다 (2026-08-23 사용자 결정) @@ -724,6 +727,7 @@ DDL(`online-ddl-2026-08-09` ↔ `online-ddl-aws-2026-08-12`)·백업(`backup-res 두 번 도는 것과 같다(rig 이 자동화하지 않는다). 그 대가를 안 치르기로 했다. 🔴 **그래서 Q2 의 답은 «같은 AZ 에서 반동기가 무는 값» 이고, 다른 AZ 는 실측이 없다** — §0-3 이 그 조건을 승계했다. 실제 라벨은 `same-az(ap-northeast-2a)` + (→ 다른 AZ 는 그 뒤 별도 라운드로 쟀다 — 2026-09-02, §0-5) - [x] **㉰ 인스턴스 타입** → 🟢 **`c7i.2xlarge` 2대** (4차 관례). 🔴 **두 대가 같은 타입인 것이 조건이다**(§3) — 다르면 관측된 지연이 「복제 구조 때문」인지 「기계 차이 때문」인지 **원리적으로 안 갈린다.** 실제로 양쪽 다 `c7i.2xlarge` · 8 vCPU · MySQL 8.0.46 이었고 @@ -877,3 +881,12 @@ Q1 은 통째로 인위 지연이다. 붙이는 선에서 남긴다. ⚠️ 두 라운드가 rig·무대·하드웨어까지 달라 **조건 하나로 좁힌 것은 아니다.** **남은 것은 «안 잰 것» 하나 — 다른 AZ** 다. 새 라운드이고 착수 결정이 다시 필요하다. + +- 2026-11-07: **«다른 AZ 는 안 쟀다» 잔존 문장 정리.** 머리말·§0-4·§0-5 는 09-02 라운드를 + 반영했는데(#663, #708 로 지워졌다가 #814 로 복구), §0-3 조건 1 · §9 인스턴스 구성 줄 · + §10-1 «남은 것» 이 08-23 시점 그대로 남아 머리말과 모순됐다. 현재 상태를 말하는 세 곳은 + §0-5 를 가리키게 고쳤고, 당시 결정을 기록한 §10-2 ㉯ 와 위 08-23 로그는 **그대로 두고** + §0-5 포인터만 붙였다. §0-4 제목의 «실행 미착수» 도 «실행·회수는 §0-5» 로 바꿨다(재고표 + 앵커 같이 갱신). 같은 잔존 문장을 `experiment-inventory.md` · `AWS-RIDE-ALONG.md` · + `loadtest/aws/README.md` 에서도 고쳤다. 08-22 결과 README 와 `28-remaining-work-plan.md` + 는 그 시점 기준으로 사실이라 그대로 둔다. diff --git a/loadtest/AWS-RIDE-ALONG.md b/loadtest/AWS-RIDE-ALONG.md index 71ce330a..39ffcb67 100644 --- a/loadtest/AWS-RIDE-ALONG.md +++ b/loadtest/AWS-RIDE-ALONG.md @@ -62,7 +62,7 @@ | ~~**P2**~~ | ~~**다운샘플 «1.7배» 다세션 재측정**~~ | 🔴 [`one-pager.md:43`](../docs/portfolio/one-pager.md) 의 정본 수치인데 조건이 **단일 핫세션**(`batch.json`, session 801)이다. **fsync 3.47배를 1.03배로 무너뜨린 바로 그 조건**이고, 문서에 «다세션에서 재측정한 적 없다» 가 그대로 붙어 있다 | ✅ **완료 (2026-08-18)** — [결과](results/session-spread-aws-2026-08-17/P2-downsample-multisession.md). **1.7배가 아니라 4.11배** · p99 9.5배. 🔴 저장 처리량으로 보면 방향이 **뒤집힌다**(0.82배). 막던 것이 풀린 경위 — `DOWNSAMPLE_WINDOW` 가 `private static final` 이라 팔을 바꾸려면 재빌드가 필요했고 **그 재빌드가 실험을 막고 있었다.** 설정으로 뺐다(`pose-data.downsample-window`, 기본 5라 동작 불변). rig `downsample_multisession.sh` — 팔 `w5`↔`w1`, ABBA 8판. 🔴 팔마다 **저장 행수가 다른 것이 조작 변수**라 `rows/s` 계산값을 팔별로 바꿔주지 않으면 결론이 통째로 뒤집힌다 | P5 라운드에 얹어 돌았다 · 재빌드 ~5분 + 스윕 ~25분 **(예상치)** — ⚠️ 실소요는 기록이 없다 | | ~~**P3**~~ | ~~**백업/복구 RTO·RPO**~~ | 「몇 분인가」는 디스크 성능이 지배한다. 단 「PITR 이 되는가」는 이진 사실이라 **로컬에서 먼저** 확인하고 올린다 | ✅ **완료 (2026-08-13)** — [결과](results/backup-restore-aws-2026-08-13/README.md). 미검증 2건은 §6 결정 로그 | **실측 3.11시간**(러너 2.97h — 본 측정만 2h54m) | | ~~**P3-b**~~ | ~~**백업 재측정 — 내구성·행 크기**~~ | 🔴 08-13 라운드가 두 곳에서 다른 것을 쟀다. ① 팔 B 복구가 **페이지 캐시**를 쟀고([#201](https://github.com/Shadowfit/init/issues/201)), ② 설계에서 확정됐던 **real-JSON 대조**가 rig 에 없었다([#202](https://github.com/Shadowfit/init/issues/202)). 둘 다 **디스크가 지배**해서 로컬로는 못 닫는다 | ✅ **완료 (2026-08-13~14)** — [b 라운드](results/backup-restore-aws-b-2026-08-13/README.md) · [팔 B 교정](results/restore-reflink-2026-08-14/README.md). #201 은 원인이 캐시가 **아니라 xfs reflink** 였고([#210](https://github.com/Shadowfit/init/issues/210)), #202 는 돌았는데 **예상과 방향이 반대**였다 | **실측 3.32시간**(러너 3.06h) + 교정 1판 | -| ~~**P4**~~ | ~~**복제 지연 · 반동기 대가**~~ | 인스턴스 2대가 전제. ⭐ **반동기 대가는 AZ 간 RTT 에 지배**되므로 로컬에선 구조적으로 과소평가된다 | 🟢 **설계·rig 완료 (설계 2026-08-13 · 2대 rig 2026-08-22)** — [설계](../docs/decisions/replication-lag-and-semisync.md) · [2대 rig](results/replication-2026-08-17/REPL2-RIG.md) · 러너 단계 `repl_preflight`·`repl_gate`·`repl`([2대 절차](aws/README.md)). 🔴 **「rig 없음」은 2026-08-22 에 정정됐다** — **로컬 rig 도 있다**([`results/replication-2026-08-17/`](results/replication-2026-08-17/README.md) · `replication_probe.sh` · `docker-compose.yml` · #289 · 커밋 `28fec8d`)이고 그 판으로 **Q4·Q5 는 닫혔다. 단 Q3 은 못 닫았다** — 계측이 현상보다 굵어 `SOURCE_DELAY=5` 로 만든 정확한 5초를 7~11.5초로 찍었고, 그것을 알려준 것이 팔 C(양성 대조군)다([결과](results/replication-2026-08-17/README.md)). **2대 rig 은 바로 그 실패를 첫 설계 조건으로 삼는다** — `lag_net = lag_rep − lag_src` 로 **계측 바닥을 같은 표에 세운다**. ✅ **완료 (착수 확정 2026-08-23 · 측정 2026-08-22)** — [결과](results/replication-aws-2026-08-22/README.md) · [설계 §0-3](../docs/decisions/replication-lag-and-semisync.md). `c7i.2xlarge` **2대 · 같은 AZ** · 1,000만 행 · **10판 전부 유효 · 결함 0**(산포 A 0.6% / B 0.2%). **반동기의 대가는 처리량 −5.9% · 커밋 p95 +13.0%** 이고, 🔴 **H3 이 조건을 만들었다** — 같은 대가가 부하 모양에 따라 **−5.9% ↔ −10.3%** 로 거의 두 배가 된다. 지연은 팔 A 약 60초 · 팔 B 약 57초. 🟢 **급소였던 G3 이 최대 소득** — `lag_net` 이 세 번 통과했고 굵기 **+1.017~1.018초가 무대 100배에도 안 변한다.** 그래서 08-17 이 Q3 을 잃은 원인이 «현상» 이 아니라 «계측» 이었음이 사후 확인됐다. 🔴 **인용 전에 조건 넷** — 같은 AZ(다른 AZ 미측정) · 앱 경로가 아닌 SQL writer(649 RPS 와 **같은 단위로 비교 불가**) · 계측 바닥 ~1초 · `main` 이 아닌 커밋(`e2fbe6c` — G2 결함 수정 [#380](https://github.com/Shadowfit/init/pull/380), 08-23 에 머지되어 해소). ⭐ **스모크 선행이 값을 했다** — 1회차가 G2 에서 막혔고, 1,000만 행 시딩을 마친 뒤에야 만났을 결함이었다 | ~~게이트 2~3h + 측정 2~3h **(예상)**~~ → **실측 러너 1.39h** · 인스턴스 가동 1.85h · **2대**. 🔴 `repl` 단계 80분 중 **절반 이상이 측정이 아니다** — 측정 30분 + **판 사이 따라잡기 50분**(판마다 리플리카를 다시 세우지 않기로 한 설계의 대가). 다음 견적엔 이 값을 쓸 것 | +| ~~**P4**~~ | ~~**복제 지연 · 반동기 대가**~~ | 인스턴스 2대가 전제. ⭐ **반동기 대가는 AZ 간 RTT 에 지배**되므로 로컬에선 구조적으로 과소평가된다 | 🟢 **설계·rig 완료 (설계 2026-08-13 · 2대 rig 2026-08-22)** — [설계](../docs/decisions/replication-lag-and-semisync.md) · [2대 rig](results/replication-2026-08-17/REPL2-RIG.md) · 러너 단계 `repl_preflight`·`repl_gate`·`repl`([2대 절차](aws/README.md)). 🔴 **「rig 없음」은 2026-08-22 에 정정됐다** — **로컬 rig 도 있다**([`results/replication-2026-08-17/`](results/replication-2026-08-17/README.md) · `replication_probe.sh` · `docker-compose.yml` · #289 · 커밋 `28fec8d`)이고 그 판으로 **Q4·Q5 는 닫혔다. 단 Q3 은 못 닫았다** — 계측이 현상보다 굵어 `SOURCE_DELAY=5` 로 만든 정확한 5초를 7~11.5초로 찍었고, 그것을 알려준 것이 팔 C(양성 대조군)다([결과](results/replication-2026-08-17/README.md)). **2대 rig 은 바로 그 실패를 첫 설계 조건으로 삼는다** — `lag_net = lag_rep − lag_src` 로 **계측 바닥을 같은 표에 세운다**. ✅ **완료 (착수 확정 2026-08-23 · 측정 2026-08-22)** — [결과](results/replication-aws-2026-08-22/README.md) · [설계 §0-3](../docs/decisions/replication-lag-and-semisync.md). `c7i.2xlarge` **2대 · 같은 AZ** · 1,000만 행 · **10판 전부 유효 · 결함 0**(산포 A 0.6% / B 0.2%). **반동기의 대가는 처리량 −5.9% · 커밋 p95 +13.0%** 이고, 🔴 **H3 이 조건을 만들었다** — 같은 대가가 부하 모양에 따라 **−5.9% ↔ −10.3%** 로 거의 두 배가 된다. 지연은 팔 A 약 60초 · 팔 B 약 57초. 🟢 **급소였던 G3 이 최대 소득** — `lag_net` 이 세 번 통과했고 굵기 **+1.017~1.018초가 무대 100배에도 안 변한다.** 그래서 08-17 이 Q3 을 잃은 원인이 «현상» 이 아니라 «계측» 이었음이 사후 확인됐다. 🔴 **인용 전에 조건 넷** — 같은 AZ(다른 AZ 는 별도 라운드 2026-09-02 가 쟀다 — 처리량 −17.2%, [결과](results/replication-aws-cross-az-2026-09-02/README.md)) · 앱 경로가 아닌 SQL writer(649 RPS 와 **같은 단위로 비교 불가**) · 계측 바닥 ~1초 · `main` 이 아닌 커밋(`e2fbe6c` — G2 결함 수정 [#380](https://github.com/Shadowfit/init/pull/380), 08-23 에 머지되어 해소). ⭐ **스모크 선행이 값을 했다** — 1회차가 G2 에서 막혔고, 1,000만 행 시딩을 마친 뒤에야 만났을 결함이었다 | ~~게이트 2~3h + 측정 2~3h **(예상)**~~ → **실측 러너 1.39h** · 인스턴스 가동 1.85h · **2대**. 🔴 `repl` 단계 80분 중 **절반 이상이 측정이 아니다** — 측정 30분 + **판 사이 따라잡기 50분**(판마다 리플리카를 다시 세우지 않기로 한 설계의 대가). 다음 견적엔 이 값을 쓸 것 | | ~~**P5**~~ ⭐ | ~~**세션 분산도 스윕**~~ — 실측 격자는 설계의 `1·2·5·20·100` 이 아니라 **`1·2·5·10·20·50`** 이었다 | 🔴 정본 baseline **649.4 RPS 가 «100세션» 에서 나온 값**인데 그 100 은 잰 값이 아니다. 이 앱은 회원당 활성 세션이 1개라 **동시 세션 수 = 동시에 운동 중인 사람 수**다 — baseline 이 가정한 부하보다 분산된 조건일 수 있다. 4대 구성이라 로컬 불가 | ✅ **완료 (2026-08-18)** — [결과](results/session-spread-aws-2026-08-17/README.md). 🔴 **plateau 는 100이 아니라 10 에서 붙는다** — 10세션이 이미 plateau 의 **95%** 이고 10·20·50 사이에 유의한 차이가 없다. **정본 baseline 이 서 있던 「100세션」은 필요 이상이었다.** 기제까지 같이 잡혔다 — 락 대기가 곡선을 **그대로** 설명한다(레벨 1 은 요청 30,000건 중 **29,999건이 락 대기**, 레벨 50 은 **40건** = **750배** · 대기 시간으로는 **8,650배**). **36판 전부 유효**, 산포 0.4~0.9%. ⚠️ **옛 격자로는 이 자리를 못 봤다** — 5와 20 사이가 통째로 비어 있었고, 축소 리허설이 격자를 옮기게 했다. 같은 라운드에 [P2](results/session-spread-aws-2026-08-17/P2-downsample-multisession.md) 와 從 [R4](results/session-spread-aws-2026-08-17/R4-connection-sweep.md) 도 닫혔다 | ~~主 25판 + 從 6판~~ → **본 측정 36판 + 버림 1**(격자가 6레벨 × 6반복으로 바뀌었다) · **2대**(대상·부하기 모두 `c7i.xlarge`) · 라운드 창 **UTC 15:0x~16:1x**([결과 헤더](results/session-spread-aws-2026-08-17/README.md)) | | ~~**P6**~~ ②차 | **동거 용량 — 2라운드 (부하기 4 vCPU)** | 1라운드가 남긴 셋 중 둘을 닫는다 — 부하기 계측([#250](https://github.com/Shadowfit/init/issues/250))과 팔 A 드리프트. 부하기를 `c7i.large`→`c7i.xlarge` 로 올리고 샘플러 11줄을 얹어 같은 격자를 다시 돌렸다 | ✅ **완료 (2026-08-16, 09:04~11:08 UTC)** — [결과](results/coresidency-aws-b-2026-08-16/README.md) (본 측정 54 관측 · 결함 0 · 라틴 방격). **닫힌 것**: H1(從 부하 비용 = **−0.5%**, 잡음 크기) · #250 계측 축(**부하기 CPU 는 천장이 아니다** — 4 vCPU 중 0.68) · R5 3회차 재현 · 캡 비율 91.1%→92.4% 재현. 🔴 **새로 연 것**: **같은 구성이 라운드를 건너 안 재현된다** — AI CPU 는 869.3%→869.0% 로 같은데 처리량 +17.7%(천장 환산 89.2→105.0세션) → [라운드 간 비재현](../docs/decisions/round-to-round-nonreproducibility.md)([#498](https://github.com/Shadowfit/init/issues/498)). 🔴 **이것과 별개로** 신규 결함 [#255](https://github.com/Shadowfit/init/issues/255)(부하기 샘플러 음수, CLOSED) | **2.13시간**(본 측정 7,387초) · **2대**(대상 c7i.4xlarge + 부하기 **c7i.xlarge**) | | ~~**P6**~~ ①차 | **동거 용량** — 「156세션」은 혼자 살 때의 값 | 🔴 08-14 의 **156세션은 AI 컨테이너만 있는 박스** 값이다. 실제 배포는 MySQL·Spring 이 한 호스트에 산다. **동거하면 얼마로 내려가는지가 미측정**이고, 그 숫자가 「한 대로 되나 = 수평확장이 필요한가」를 가른다. 단독 대조군이 필요해 로컬 불가 | ✅ **완료 (2026-08-16)** — [정식 라운드 결과](results/coresidency-aws-2026-08-16/README.md) (6레벨 · 라틴 방격 · **본 측정 54 관측** · 결함 0) · [예비](results/coresidency-aws-2026-08-15/README.md) · [설계](../docs/decisions/ai-coresidency-capacity.md) · [rig](results/coresidency-2026-08-15/README.md) · [2대 구성 절차](aws/README.md). **닫힌 것**: Q2(뺏는 주체 = AI 자신) · **Q3 절반**(AI 쪽 — 캡한 만큼 깎는다, 팔 C 교락 해소) · Q4(검출률 57행 전부 100%) · 從 R5(메모리 실측식 ±0.7% 재현). **새 사실**: 16 vCPU 박스에서 천장이 ~8.9 vCPU — **HT 가 거의 안 준다**. 🔴 **남은 것 3건**: ① H1(동거 비용) — 팔 A 가 2시간에 +16% 흘러 판정 불가, ② **부하기 지표 이번에도 미수집**([#250](https://github.com/Shadowfit/init/issues/250)), ③ 천장이 「80 초과 120 미만」 구간으로만 짚힘. → **P6-b 로 간다** | **실측 2.29시간**(러너 2.22h — 본 측정만 7,408초 = 2h03m) · 12스윕 × 6레벨 · **2대**(대상 c7i.4xlarge + 부하기 c7i.large). 예상 ≈3.5시간보다 짧았다 | diff --git a/loadtest/aws/README.md b/loadtest/aws/README.md index 3cfa5376..99c4dbfc 100644 --- a/loadtest/aws/README.md +++ b/loadtest/aws/README.md @@ -341,7 +341,9 @@ D 를 넣을지부터 정할 것** — 여유 시간이 없으면 `CORES_ARMS="A 5. **AZ 를 정하고 라벨로 넘긴다** — 같은 AZ / 다른 AZ. **이 선택이 Q2 의 답을 자릿수 단위로 바꾼다**(설계 §9-1 ②). 🟢 **08-22 라운드는 «같은 AZ» 로 정해서 돌았다**([결정](../../docs/decisions/replication-lag-and-semisync.md) §10-2 ㉯) — 그래서 - 그 결과에는 **「같은 AZ」 조건이 붙어 있고 다른 AZ 는 실측이 없다.** + 그 결과에는 **「같은 AZ」 조건이 붙어 있다.** 다른 AZ 는 별도 라운드(2026-09-02, 2a→2c)가 + 쟀다 — 처리량 −17.2% · 커밋 p50 +23.1%([결과](../results/replication-aws-cross-az-2026-09-02/README.md) · + [결정](../../docs/decisions/replication-lag-and-semisync.md) §0-5). 「자릿수 단위」 예견은 반증됐다(최대 약 3.8배) 🔴 **다음 라운드에도 이건 손잡이다** — 라벨(`REPL_AZ_MODE`)이 조건 칸에 그대로 박힌다 **실행 — 소스 박스에서**