1 왜 Experimentation 인가

Experimentation 은 인과 효과를 데이터로 증명하는 가장 강력한 도구다. 의사결정자가 “이 처치가 정말 효과가 있는가” 를 묻을 때, 관찰 데이터만으로는 답할 수 없다. 교란 변수, 선택 편향, 역인과 등이 상관과 인과의 차이를 만들기 때문이다.

이 카테고리는 두 흐름이 만나는 지점을 다룬다.

역학(epidemiology) 전통: 1948년 Bradford Hill 의 결핵 스트렙토마이신 무작위 시험 이래 RCT 가 임상 의학의 금본위제가 된 70 년 역사
IT 전통: 2000 년대 후반부터 대규모 온라인 통제 실험(A/B Test)이 product development 의 핵심 도구로 자리 잡은 흐름

두 전통은 같은 통계적 뼈대(잠재적 결과, 무작위 배정, 검정력)를 공유하지만 용어와 강조점이 다르다. 역학은 “treatment / outcome / RR / NNT” 를, IT 는 “variant / metric / lift / uplift” 를 쓴다. 이 카테고리는 두 언어를 동시에 익혀 어느 도메인에서든 실험을 설계·분석할 수 있도록 구성한다.

정의: 통제 실험 (Controlled Experiment)

연구 대상을 무작위로 처치군과 대조군에 배정하여 처치의 인과적 효과를 추정하는 실험 설계다.

역학: Randomized Controlled Trial (RCT)
IT: A/B Test, Online Controlled Experiment

2 학습 경로 큰 그림

11 Phase 가 다음 의존도로 연결된다. 굵은 화살표는 강한 선행 관계, 점선은 권장 선행 관계다.

핵심 의존:

Phase 0 → 모든 Phase (진입점)
Phase A (통계 기초) → Phase D, F, G, H (통계적 base)
Phase D (Hernan 인과추론) → Phase E, J (응용)
Phase B, C, G, I 는 서로 독립 — 동시 진행 가능

3 11 Phase 한눈에 보기

Phase	주제	편수	주 교재	정책
0	카테고리 진입점	1	-	단독 narrative
A	통계 추론 기초	46	Maxwell, Schulz, Woodward, Buisson	챕터 분해
B	역학 연구 설계	49	Schulz, Woodward	retrofit 2 + 챕터 분해
C	RCT 임상 핵심	42	Schulz	챕터 분해
D	인과추론 정통 후반부	51	Hernan & Robins	챕터 분해
E	행동 데이터 인과	44	Buisson	챕터 분해
F	A/B Test 정통	64	Kohavi, Tang, Xu	챕터 분해
G	고전 DOE / ANOVA	89	Maxwell·Delaney, Das·Giri	챕터 분해
H	통계 모델링	37	Woodward	챕터 분해
I	Multi-Armed Bandit	8	(교재 미보유)	topic-based
J	고급 응용	28	혼합 + 사전지식	챕터 분해 + 사전지식
총	-	459	-	-

각 Phase 의 분해 패턴은 한 챕터 = overview + 2묶음 + 단독 + Example 단독 으로 통일된다. 응축으로 인한 내용 손실을 방지하기 위해서다.

4 7 교재 한 줄 요약

코드	저자 (연도)	강점 영역	페이지
HER	Hernan & Robins (2020) — Causal Inference: What If	인과추론 정통 — 반사실, IPW, g-formula, IV, target trial, mediation	352
BUI	Buisson (2021) — Behavioral Data Analysis with R and Python	행동 데이터 인과분석 — DAG 구축, missing data, bootstrap, moderation, mediation	321
MAX	Maxwell & Delaney (2004) — Designing Experiments and Analyzing Data	DOE / ANOVA 정통 — 모형 비교, factorial, ANCOVA, repeated measures, multilevel	868
SCH	Schulz & Grimes (2019) — Essential Concepts in Clinical Research	RCT 임상 핵심 — recruitment, allocation concealment, blinding, multiplicity, CONSORT	256
WOO	Woodward (2014) — Epidemiology: Study Design and Data Analysis	역학 통계 — cohort, case-control, logistic, Cox, meta-analysis, risk scores	849
KOH	Kohavi, Tang, Xu (2020) — Trustworthy Online Controlled Experiments	신뢰가능 A/B Test — OEC, SRM, CUPED, triggering, leakage, long-term, platform	250
MON	Das & Giri (1979) — Design and Analysis of Experiments	고전 DOE — CRD, RBD, Latin Square, factorial, BIB, response surface	296

5 독자 유형별 진입점

자기 배경에 가장 가까운 박스에서 시작한다. 다른 Phase 는 필요 시 cross-link 로 보강한다.

DS·IT 실무자 (제품·마케팅·플랫폼 엔지니어)

권장 경로: Phase F (Kohavi A/B 정통, 64 편) → Phase A (통계 기초, 46 편) → Phase D (Hernan 인과, 51 편) → Phase E (Buisson 행동 인과, 44 편) → Phase I (MAB, 8 편)

바로 시작 가능:

핵심 질문: “어떤 OEC 를 설계할 것인가, SRM 을 어떻게 진단할 것인가, CUPED 로 분산을 어떻게 줄일 것인가”

임상 연구자 (의사·역학자·CRA)

권장 경로: Phase C (Schulz RCT 핵심, 42 편) → Phase B (역학 설계, 49 편) → Phase A (통계 기초, 46 편) → Phase H (Woodward 모델링, 37 편) → Phase J-6 (Adaptive Trial, 4 편)

바로 시작 가능:

핵심 질문: “Allocation concealment 를 어떻게 구현할 것인가, ITT 와 per-protocol 을 언제 쓰는가, surrogate endpoint 의 함정은 무엇인가”

학술 연구자 (인과추론·통계학·DOE)

권장 경로: Phase D (Hernan 인과추론 정통, 51 편) → Phase G (Maxwell·Montgomery DOE, 89 편) → Phase A (통계 기초, 46 편) → Phase J (HTE·DiD·RDD, 28 편)

바로 시작 가능:

기존 작성된 Causal Inference 시리즈 Ch.1 ~ Ch.10
인과 추론 프레임워크 총정리

핵심 질문: “IPW 와 g-formula 가 어떻게 같은 식별 가정 하에서 동일한 효과를 추정하는가, target trial emulation 을 관찰 데이터에 어떻게 적용하는가”

6 이미 작성된 글 인덱스

본격 학습 시작 전에 기존 작성 글을 빠르게 훑으면 카테고리 어조와 깊이를 파악할 수 있다.

6.1 인과추론 정통 (Hernan Ch.1~10, 9 편)

글	주제
01 인과 추론 개요	정의·프레임워크·방법론 지도
02 인과 효과의 정의와 잠재 결과	Ch.1
03 무작위 실험과 교환가능성	Ch.2
04 관찰 연구와 식별 조건	Ch.3
05 효과 수정과 상호작용	Ch.4-5
06 DAG와 인과 다이어그램	Ch.6
07 교란	Ch.7
08 선택 편향	Ch.8
09 측정 오차와 랜덤 변동	Ch.9-10

6.2 Study Design 시리즈 (7 편)

글	주제
20 연구 설계 대분류 — Overview	큰 그림
21 각 연구 설계 상세	세부
22 타당성·편향·인과 추론·효과 지표	종합
32 RCT와 A/B 테스트의 설계 원칙	RCT
33 관찰 연구 설계	Cohort·Case-Control·Cross-sectional
34 준실험적 설계: ITS, RDD, Stepped Wedge	Quasi
35 인과 추론 프레임워크 총정리	인과

6.3 A/B Test 기초 (3 편) + Project Agent A/B 시리즈 (11 편)

글	주제
01 A/B 테스트의 핵심 메커니즘	기초
02 전후 비교가 위험한 이유	함정
AB_test/01 A/B 테스트 개요	개요
AB_test/40 AI Agent A/B 테스트 개요	MINERVA 프로젝트
41 오프라인 평가 설계	오프라인
42 Agent 실험 메트릭 설계	메트릭
43 단순 A/B 테스트 설계	단순
44 표본 크기와 검정력	검정력
45 Sequential Testing과 조기 종료	Sequential
46 다중 비교 실험 설계	Multi-arm
47 Human-in-the-Loop 평가	HITL
48 실험 결과 분석과 의사결정	분석
49 Thompson Sampling 동적 라우팅	Thompson
50 프로덕션 A/B 플랫폼 설계	Platform

6.4 Epidemiology 기초 (2 편)

글	주제
Epidemiology/study_design	역학 연구 설계
Epidemiology/relative_risk_odds_ratio	RR·OR 측정 지표

7 향후 작성 순서 권장

신규 459 편을 동시에 시작하면 의존 깨진다. 다음 Wave 순서를 권장한다.

Wave 1 (모든 후속의 base — 의존 없음, 동시 시작 가능)
  Phase 0 (1편)
  Phase A (통계 기초 46편)
  Phase D Ch.11 ~ Ch.16 (Hernan 후반부 핵심 6 챕터, ~24편)
  Phase B (역학 설계 49편)
  Phase C (RCT 핵심 42편)
  Phase G MON Ch.2 ~ Ch.4 (DOE 기초 ~16편)
  Phase I (MAB 8편)

Wave 2 (Wave 1 일부 의존)
  Phase D Ch.17 ~ Ch.23 (Hernan 후반 7 챕터, ~27편)
  Phase F (Kohavi A/B 정통 64편) — A 일부 선행 권장
  Phase H (Woodward 모델링 37편) — A 일부 선행 권장
  Phase G MAX Ch.6 ~ Ch.16 (Maxwell DOE ~47편) — A 선행

Wave 3 (Wave 2 일부 의존)
  Phase E (Buisson 비즈니스 인과 44편) — D 일부 선행
  Phase G 나머지 — F, MON 후반부

Wave 4 (모든 선행 의존)
  Phase J (고급 응용 28편) — D, F, C, I 완료 후

각 Wave 내에서는 Phase 별·챕터별 lock 으로 동시 진행 가능하다. 자세한 점유 매트릭스는 handoff/Experimentation/MASTER.md 의 §4 참조.

8 관련 카테고리

Statistics — 통계 기초·모델링 base. Phase A·H 와 cross-link
Engineering — Phase F-KOH4 (Platform Culture)·F-KOH13 (Instrumentation) 의 인프라 측면
Data_Science — Phase E (Buisson 행동 인과) 의 비즈니스 적용
Machine_Learning — Phase J-MLHTE (Causal Forest, DML)·Phase I (MAB) 의 ML 측면
Surveilance — Phase C (RCT)·Phase J-ADAPT (Adaptive Trial) 의 임상 규제 측면
Agent — Phase F 의 MINERVA 프로젝트 시리즈와 연결

9 본격 진입 전 체크리스트

자기 배경에 맞는 Phase 결정 (위 §독자 유형별 진입점)
기존 25 편 중 자기 영역 글 2~3 개 훑어보기
해당 Phase 의 핸드오프 (handoff/Experimentation/phase-{X}-*.md) 의 §1 목표·§11.5 글 목록 확인
매핑 교재의 summary (docs/book/{folder}/{Book}-summary.md) 의 Contents 섹션 빠르게 점검

이 순서로 5 분만 투자하면 자기에게 맞는 진입점이 명확해진다. 459 편 전체를 한 번에 보려고 하지 않는다.