이 글은 Schulz Ch.20 시리즈의 마지막 글이다. Stopping for harm/futility · random high · 기타 방법 을 다룬다.
1 진입 직관 — Stopping 의 종류
이전 글에서 symmetric stopping (benefit 과 harm 모두 동일 기준) 을 다뤘다. 그러나 실무는 더 nuanced.
| Stopping 유형 | 동기 |
|---|---|
| Stopping for benefit | 처치 우월 입증 |
| Stopping for harm | 처치 해로움 |
| Stopping for futility | 처치 효과 입증 가능성 없음 |
Schulz 의 요점: “Symmetric 보다 asymmetric stopping 이 흔히 정당. Harm 은 덜 엄격, benefit 은 엄격.”
2 Stopping for Benefit — Random High 함정
2.1 발견
Bassler 외 (2010, JAMA): 91 truncated RCT vs 424 비truncated RCT 메타분석.
“Truncated RCTs provide biased estimates of effects on the outcome that precipitated early stopping.”
2.2 메커니즘
같은 시험 여러 번 한다고 가정. Random fluctuation 이 큰 효과 방향 으로 흔들리면 조기 중단 충족 가능성. 작은 효과 방향 은 시험 진행.
결과: 조기 중단 시험은 낙관적 편향 (random high). 진짜 효과보다 큰 측정.
2.3 함의
“Unbiased estimate 가 우선이라면 fixed-sample design 사용.” (Schulz 2019, Ch.20)
2.4 Montori 외 (2005) 의 발견
2000~2005 에 조기 중단 (benefit) RCT 의 빈도 증가. 그러나 추정 효과의 신뢰성 약함.
3 Stopping for Harm — 비대칭 권장
3.1 동기
환자 보호 우선. 처치가 해로움이 명확 하면 덜 엄격한 기준 으로도 중단 가능.
3.2 Asymmetric Stopping Boundaries
| 목적 | 권장 방법 |
|---|---|
| Stopping for benefit | O’Brien-Fleming (엄격) |
| Stopping for harm | Pocock 또는 덜 엄격 boundary |
반사실: 처치가 명확히 해로움 발견 시 엄격한 기준 (예: 0.001) 충족까지 기다리면 추가 환자 해. 덜 엄격 (예: 0.05) 으로 빠른 보호.
3.3 사례
Cardiac arrhythmia 시험에서 Encainide 사망 증가 발견 시 빠른 중단. Random High 위험은 있지만 환자 보호 가 우선.
4 Stopping for Futility — 자원 절약
4.1 동기
처치가 효과 입증 가능성 없음 — 시험 계속 무의미.
4.2 두 가지 접근
4.2.1 접근 1: 신뢰구간 기반
현재 추정 효과의 95% CI 가 최소 임상 의미 차이 (MCID) 를 배제 하면 시험 중단.
예: 새 약의 사망률 차이 95% CI = (-2%, 1.5%). MCID = 5%. CI 가 5% 배제 → futility.
4.2.2 접근 2: Conditional Power
현재 데이터 + 가정으로 시험 끝까지 계속 시 효과 입증 확률 계산.
Conditional power < 10~20% 시 futility 로 중단.
4.3 Stochastic Curtailment
Conditional power 의 동적 적용. 매 interim 분석 시 conditional power 재계산. 너무 낮으면 조기 중단.
반사실: 한 시험이 50% 진행 후 conditional power 5% 측정 → 나머지 50% 진행 의미 없음. 자원·환자 시간 보호.
5 Lan-DeMets Alpha Spending Function
5.1 문제
Group sequential (Pocock, Peto, OFB) 는 interim 횟수와 시점 을 사전 명시 해야. 그러나 실무에서 변경 흔함.
5.2 Lan-DeMets (1983) 의 해결
α spending function: 시험 진행에 따라 α 의 일부 를 spending. 매 interim 시 남은 α 계산.
5.3 장점
| 장점 | 설명 |
|---|---|
| Flexible timing | Interim 횟수·시점 변경 가능 |
| Type I error 보존 | 누적 α = 0.05 |
| Adaptive | DMC 의 dynamic 결정 가능 |
5.4 함의
고정된 OFB 의 일반화. 더 유연. 그러나 복잡성 증가.
6 Bayesian Monitoring — Schulz 의 신중
6.1 접근
Bayesian — Prior + likelihood = posterior. 매 interim 시 posterior 업데이트.
장점: 매번 0.05 검정 가능 (Bayes factor). Frequentist Type I error 와 다른 framework.
6.2 Schulz 의 신중
“Bayesian approaches 는 monitoring 에 correctly implemented* 면 유용. 그러나 every interim challenge at 0.05 가 가능 → overall α inflation 위험.”
반사실: Sponsor 가 Bayesian framework 를 false-positive 인플레이션 의 도구로 악용 가능. 높은 likelihood of finding significant effect 추구.
6.3 권고
“Bayesian monitoring 은 expert 와 협의 후. 일반 RCT 에는 frequentist (OFB) 권장.”
7 CONSORT 의 Stopping 보고 권고
CONSORT 2010 Item 14b: “Why the trial ended or was stopped.”
7.1 권고 사항
- 사전 명시 stopping rule 보고
- 실제 stopping 시점·이유 보고
- DMC 의 결정 과정
- Stopping 의 효과 추정에 대한 영향 (random high)
8 실태 — Stegert 외 (2016)
8.1 발견
894 RCT 중 249 (28%) 가 조기 중단. 그러나:
| 사유 | 비율 |
|---|---|
| Poor recruitment, 행정, 재정 | 56% |
| Demonstrated futility | 30% |
| Demonstrated harm | 14% |
| Demonstrated early benefit | 2% |
놀라움: Recruitment 부진 이 가장 흔함. Stopping rule 기반 중단 은 32% 만.
반사실: 32 RCT 중 22 (69%) 가 pre-defined stopping guideline 보고 안 함. 15 (47%) 가 statistical monitoring method 보고 안 함. 즉 다수 stopping 이 post-hoc 정당화.
9 What Readers Should Look for
9.1 Step 1: Stopping rule 명시
[O] Pre-specified statistical stopping rule [X] “Stopped early” 만 (정당화 부재)
9.2 Step 2: Method 보고
[O] “O’Brien-Fleming applied” [O] “Pocock with α = 0.05 overall” [X] Method 명시 부재
9.3 Step 3: 시점 보고
[O] 정확한 interim 횟수·시점 [X] 모호한 timing
9.4 Step 4: 효과 추정의 한계 인정
[O] “Estimates may be inflated due to random high” [X] Truncation 의 효과 추정 한계 무시
9.5 Step 5: Trial registry 검증
Alturki 외 (2017): 조기 중단 RCT 의 절반 미만이 registry 에 정확히 라벨. 1/3 만 이유 보고. Registry 검증 부족.
10 결론 — Ch.20.3 의 한 줄 요약
Stopping rules 는 환자 보호 + 자원 절약 의 도구지만 random high · 보고 부재 의 함정.
핵심 메시지:
- Random high — 조기 중단 시험의 효과 과대
- Asymmetric stopping — Benefit 엄격, Harm 덜 엄격
- Conditional power · Stochastic curtailment — Futility 도구
- Lan-DeMets — Flexible group sequential
- Bayesian monitoring — Schulz 의 신중
- CONSORT 보고: Pre-specification + stopping 이유 + 효과 한계
Ch.20 시리즈를 종합: Subgroup·Interim 의 다중성은 RCT 의 결정적 함정. Test of interaction · Group sequential stopping · Random high 인식 이 핵심.
다음 챕터 (Ch.21) 는 Prospective Meta-Analysis.
11 관련 주제
12 참고문헌
- Schulz, K. F. & Grimes, D. A. (2019). Essential Concepts in Clinical Research (2nd ed.), Ch.20. Elsevier.
- Bassler, D., Briel, M., Montori, V. M., et al. (2010). Stopping randomized trials early for benefit. JAMA 303, 1180-1187.
- Montori, V. M., Devereaux, P. J., Adhikari, N. K., et al. (2005). Randomized trials stopped early for benefit. JAMA 294, 2203-2209.
- Lan, K. K. G. & DeMets, D. L. (1983). Discrete sequential boundaries for clinical trials. Biometrika 70, 659-663.
- Stegert, M., Kasenda, B., von Elm, E., et al. (2016). Discontinuations of clinical trials. J. Clin. Epidemiol. 69, 152-160.
- Alturki, R., Schandelmaier, S., Olu, K. K., et al. (2017). Premature trial discontinuation in registries. J. Clin. Epidemiol. 81, 56-63.
- Tyson, J. E., Pedroza, C., Wallace, D., et al. (2016). Stopping guidelines for an effectiveness trial. Trials 17, 240.
- Spiegelhalter, D. J., Freedman, L. S., Parmar, M. K. (1993). Applying Bayesian ideas in drug development. Stat. Med. 12, 1501-1511.