이 글은 Schulz Ch.22 Reporting Studies in Medical Journals 시리즈 (4 편) 의 첫 글이다. Phase C 의 마지막 챕터 — RCT 의 모든 방법론 이 적절한 보고 로 완성되어야 의미.
1 진입 직관 — 왜 보고가 중요한가
지난 21 챕터에서 RCT 의 모든 방법론 — 무작위 배정·concealment·blinding·ITT·outcome 선택·multiplicity·meta-analysis — 을 다뤘다. 그러나 보고가 부실하면 모든 방법론이 무의미.
Schulz 의 핵심 메시지:
“의학 연구의 부실 보고 는 임상의·환자·정책결정자에 접근 불가능 하게 만든다. 좋은 시험도 나쁜 보고 로 사라진다.”
이 챕터는 RCT 보고 표준 — CONSORT (Consolidated Standards of Reporting Trials) 와 그 친척 (STARD, STROBE, PRISMA) 을 다룬다.
2 Deficient Reporting — 충격적 실태
이전 글들에서 본 통계의 종합:
| 항목 | 누락률 | 출처 |
|---|---|---|
| 무작위 배정 방법 | 63% (specialist 학술지) | Schulz 외 1995 |
| Allocation concealment | 75% (PubMed) | Hopewell 외 2010 |
| Blinding 사용 여부 | 33~51% | Cheng/Gøtzsche/Adetugbo |
| Blinding 방법 | 25~42% | Boutron 외 2007 |
| ITT 명시 | 98% (1997 보고서) | Schulz 외 1996 |
| Exclusion 보고 | 다수 누락 | Schulz 1995 |
충격: 핵심 방법론 항목들이 50~75% 의 RCT 보고서에서 누락. 독자가 방법론 적절성을 평가할 수 없는 상태.
so what: 메타분석가·임상 가이드라인·정책 결정자가 RCT 신뢰성을 판단할 정보 자체 를 못 갖춘다.
3 Selective Reporting — Outcome Switching 의 함정
정의: 시험 protocol 의 일차 결과 와 출판된 보고서의 일차 결과 가 다름.
3.1 메커니즘
- Protocol: “Primary outcome = 사망률”
- 시험 결과: 사망률 효과 비유의, 다른 결과 (입원) 효과 유의
- 출판: “Primary outcome = 입원률” 처럼 변경
3.2 실태
Schulz Ch.22 인용: 40~62% 의 RCT 에서 protocol 과 출판물의 primary outcome 불일치.
3.3 함의
- p-hacking 의 형태
- 메타분석에서 publication bias 강화
- 임상 결정의 잘못된 근거
CONSORT 의 강제: Primary outcome 사전 명시. 변경 시 protocol amendment 명시. 출판 시 변경 내역 보고.
4 Publication Bias — 별도 함정
정의: 통계적 유의 결과 가 비유의 결과 보다 출판 가능성 높음.
4.1 메커니즘
- 시험 종료. 결과 비유의.
- 연구자: “내 시험은 흥미롭지 않다” → 출판 노력 줄임
- 학술지: “비유의 결과는 임팩트 약함” → 게재 거부
4.2 결과
메타분석에서 유의 결과만 통합 → 효과 과대 추정. Publication bias 의 funnel plot 에서 비대칭 발견.
AllTrials 운동: 모든 시험을 등록·결과 보고하도록 강제. Publication bias 차단.
5 CONSORT 의 발전
5.1 역사
| 시점 | 발전 |
|---|---|
| 1996 | CONSORT 1996 — 첫 발표 |
| 2001 | CONSORT 2001 — 개정 |
| 2010 | CONSORT 2010 — 현재 표준 |
| 2018+ | 다양한 extension (CONSORT-PRO, CONSORT-AI 등) |
5.2 영향
Turner 외 (2012, Cochrane): 50 개 연구 systematic review. CONSORT 가 보고 품질 개선 에 기여. 그러나 개선 폭은 보통 수준. 여전히 상당한 개선 여지.
5.3 채택
다수 의학 학술지가 CONSORT 준수를 게재 조건. 실무 영향력 매우 큼.
6 CONSORT 의 두 도구
6.1 Checklist (25 항목)
RCT 보고가 포함해야 할 25 가지 정보. 시험 protocol· methods·results· discussion· 기타 를 포괄.
6.2 Flow Diagram
환자 흐름의 visual representation. 모집 → eligibility → randomisation → allocation → follow-up → analysis. 모든 단계의 환자 수.
이전 글에서 자주 언급: Ch.10 (모집), Ch.15 (exclusion) 에서 flow diagram 의 강제 보고가 exclusion paradox 차단.
7 RCT 이외의 연구 보고 지침
7.1 STARD (Standards for Reporting of Diagnostic Accuracy)
진단 정확도 시험 보고 표준.
7.2 STROBE (Strengthening the Reporting of Observational Studies in Epidemiology)
관찰 연구 (코호트, 환자-대조군, 단면) 보고 표준.
7.3 PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-Analyses)
체계적 문헌 고찰·메타분석 보고 표준.
7.4 EQUATOR Network
모든 연구 보고 지침의 통합 hub (https://www.equator-network.org).
8 챕터의 줄기 — 후속 글 안내
8.1 후속 글 1 — Deficient Reporting + Selective Reporting (32-40)
- 핵심 방법론 항목별 누락 통계
- Outcome switching 의 메커니즘과 사례
- AllTrials 운동의 영향
8.2 후속 글 2 — CONSORT 2010 Checklist (32-41)
- 25 개 checklist 항목 깊이
- Flow Diagram 의 형식
- 보고 사례 (Panel 22.1 등)
8.3 후속 글 3 — RCT 이외 보고 지침 (32-42)
- STARD (진단)
- STROBE (관찰)
- PRISMA (메타)
- 다른 extension
9 결론 — Ch.22 개관의 한 줄 요약
좋은 시험도 나쁜 보고 로 사라진다. CONSORT 가 RCT 보고의 국제 표준.
핵심 메시지:
- Deficient reporting — 50~75% 누락
- Selective reporting — 40~62% outcome switch
- CONSORT 2010 — Checklist + Flow Diagram
- STARD / STROBE / PRISMA — RCT 이외 친척
- AllTrials 운동 — Publication bias 차단
후속 글에서 깊이.
10 관련 주제
Phase C 후속 글 (Ch.22 시리즈 마지막)
- Deficient + Selective Reporting (placeholder)
- CONSORT 2010 Checklist (placeholder)
- STARD/STROBE/PRISMA (placeholder)
11 참고문헌
- Schulz, K. F. & Grimes, D. A. (2019). Essential Concepts in Clinical Research (2nd ed.), Ch.22. Elsevier.
- Schulz, K. F., Altman, D. G., Moher, D., CONSORT Group. (2010). CONSORT 2010 statement. BMJ 340, c332.
- Moher, D., Hopewell, S., Schulz, K. F., et al. (2010). CONSORT 2010 explanation and elaboration. BMJ 340, c869.
- Turner, L., Shamseer, L., Altman, D. G., et al. (2012). CONSORT and the completeness of reporting of RCTs. Cochrane Database Syst. Rev. 11. MR000030.
- Hopewell, S., Dutton, S., Yu, L. M., Chan, A. W., Altman, D. G. (2010). The quality of reports of randomised trials in 2000 and 2006. BMJ 340, c723.
- Bossuyt, P. M., et al. (2015). STARD 2015. BMJ 351, h5527.
- von Elm, E., et al. (2007). STROBE Statement. Ann. Intern. Med. 147, 573-577.
- Page, M. J., et al. (2021). PRISMA 2020 statement. BMJ 372, n71.