이 글은 Schulz Ch.22 시리즈의 두 번째 글이다.
1 Deficient Reporting — 누락의 정량화
이전 글들에서 본 통계의 종합 정리.
1.1 핵심 방법론 항목별 누락률
| 항목 | 누락률 | 출처 |
|---|---|---|
| Sequence generation 방법 | 63% (general medical) ~ 89% (rheumatoid arthritis) | Schulz 외 1995, Gøtzsche 1989 |
| Allocation concealment 방법 | 45~93% (분야별), 평균 75% | Hopewell 외 2010 |
| Blinding 사용 여부 | 33~51% | Cheng 외 2000, Adetugbo & Williams 2000 |
| Blinding 방법 | 25~42% | Boutron 외 2007 |
| ITT 명시 | 98% (1997) | Schulz 외 1996 |
| Loss to follow-up 비율 | 다수 누락 | 다양 |
| Adverse events | 50%+ 누락 | Ioannidis 2009 |
Schulz 의 경고: “독자가 방법론 적절성을 평가할 수 없다. 메타분석가가 시험을 신뢰할지 판단 못 한다. 임상 가이드라인이 잘못된 근거에 기반.”
1.2 시간에 따른 개선
Hopewell 외 (2010) — 2000 년 vs 2006 년 RCT 보고 비교:
| 항목 | 2000 | 2006 |
|---|---|---|
| Sequence generation 보고 | 25% | 35% |
| Concealment 보고 | 22% | 30% |
| Blinding 보고 | 65% | 80% |
개선 있지만 충분하지 않음. CONSORT 채택 학술지에서 더 큰 개선.
2 Selective Reporting — 두 가지 함정
2.1 함정 1: Outcome Switching
정의: 시험 protocol 의 일차 결과 ≠ 출판 보고서의 일차 결과.
2.1.1 메커니즘
1. Protocol: "Primary outcome = 사망률 (Y1)"
"Secondary: Hospitalisation (Y2), Symptoms (Y3)"
2. 시험 결과: Y1 비유의, Y2 유의, Y3 유의
3. 출판: "Primary outcome = Y2" 또는 "Y2/Y3 composite" 처럼 *변경*
원래의 Y1 은 *secondary* 또는 *언급 안 함*2.1.2 실태
Schulz 인용: 40~62% 의 RCT 에서 protocol-publication 불일치.
2.1.3 Chan 외 (2004, JAMA) 발견
102 개 시험의 protocol 과 출판물 비교:
- 50% 이상이 primary outcome 변경
- 변경 시험의 대다수 가 유리한 방향 (유의 결과로)
함의: 체계적 bias. P-hacking 의 형태.
2.2 함정 2: Publication Bias
정의: 유의 결과 가 비유의 결과 보다 출판 가능성 높음.
2.2.1 메커니즘
| 단계 | 잘못 |
|---|---|
| 연구자 결정 | “Negative 결과는 흥미롭지 않다” → 출판 노력 부족 |
| 학술지 결정 | “Negative 결과는 임팩트 약하다” → 게재 거부 |
| 메타분석 결과 | 유의 결과만 통합 → 효과 과대 추정 |
2.2.2 정량화
Hopewell 외 (2009): 유의 결과 시험의 2 배 출판 가능성. 약 50% 시험이 불출판.
결과: 메타분석의 funnel plot 비대칭 발견. Egger’s test 로 통계 평가.
3 AllTrials 운동
3.1 동기
“All trials registered, all results reported.”
3.2 핵심 요구
| 요구 | 의미 |
|---|---|
| Trial registration | 시작 전 ClinicalTrials.gov 등록 |
| Public protocol | Primary outcome 사전 명시 공개 |
| Result reporting | 시험 종료 후 모든 결과 공개 |
| Adverse events | 부작용 보고 강제 |
3.3 영향
FDAAA (2007 미국 법령): 시험 등록 + 결과 1 년 내 보고 의무. EMA (유럽) 도 유사.
Goldacre 외 (2018, BMJ): FDAAA 등록 시험 중 50% 만 1 년 내 결과 보고. 여전히 부족.
3.4 Trial Registration 의 가치
| 가치 | 설명 |
|---|---|
| Outcome switching 차단 | 사전 명시 outcome 검증 가능 |
| Publication bias 측정 | 등록된 시험 vs 출판된 시험 비교 |
| 중복 시험 방지 | 다른 연구자가 진행 중인 시험 확인 |
| 자원 효율 | 미진행 시험 발견·자원 절약 |
4 Funnel Plot 과 Egger’s Test
4.1 Funnel Plot
메타분석에서 publication bias 시각화. X 축 = 효과 크기, Y 축 = 정밀성 (1/SE).
이상적 funnel (대칭):
|\
| \
| \ ← 큰 시험 (정밀)
| \
| \
| \ ← 작은 시험 (덜 정밀)
|______\____________________
음 효과 0 양 효과4.2 Egger’s Test
Funnel plot 비대칭의 통계 검정. P < 0.05 → publication bias 의심.
5 CONSORT 의 강제 사항
5.1 Outcome Switching 차단
CONSORT 2010 Item 6: “Completely defined pre-specified primary and secondary outcome measures, including how and when they were assessed.”
5.2 등록 보고 강제
CONSORT 2010 Item 23: “Registration number and name of trial registry.”
5.3 부작용 보고
CONSORT 2010 Item 19: “All important harms or unintended effects in each group.”
6 결론 — Ch.22.1 의 한 줄 요약
Deficient reporting + Selective reporting 의 조합은 임상 결정의 기반 을 흔든다. CONSORT + Trial registration 이 차단 도구.
핵심 메시지:
- Deficient reporting: 50~75% 누락
- Outcome switching: 40~62% 변경
- Publication bias: 비유의 결과의 출판 부족
- AllTrials 운동: 등록·결과 보고 강제
- Funnel plot · Egger’s test: 메타분석에서 bias 검출
다음 글: CONSORT 2010 Checklist 깊이.
7 관련 주제
8 참고문헌
- Schulz, K. F. & Grimes, D. A. (2019). Essential Concepts in Clinical Research (2nd ed.), Ch.22. Elsevier.
- Chan, A. W., Hróbjartsson, A., Haahr, M. T., Gøtzsche, P. C., Altman, D. G. (2004). Empirical evidence for selective reporting of outcomes. JAMA 291, 2457-2465.
- Hopewell, S., Loudon, K., Clarke, M. J., Oxman, A. D., Dickersin, K. (2009). Publication bias in clinical trials. Cochrane Database Syst. Rev. MR000006.
- Goldacre, B., DeVito, N. J., Heneghan, C., et al. (2018). Compliance with requirement to report results on the EU Clinical Trials Register. BMJ 362, k3218.
- Ioannidis, J. P. (2009). Adverse events in randomized trials. Arch. Intern. Med. 169, 1737-1739.
- Egger, M., Davey Smith, G., Schneider, M., Minder, C. (1997). Bias in meta-analysis detected by a simple, graphical test. BMJ 315, 629-634.