Systematic Review — Cochrane 표준의 메타분석 1 단계

1 Systematic Review 의 정체성

정의: Systematic Review

연구 문헌을 체계적이고 재현 가능한 방법으로 모집·평가·통합. Meta-analysis 의 1 단계.

5 가지 핵심 요소:

1. 사전 등록된 protocol (PROSPERO).
2. 명시된 적격 기준 (PICOS).
3. 체계적 검색 — 다중 데이터베이스.
4. 이중 reviewer — 적격성 평가 + 데이터 추출.
5. Risk of Bias 평가.

(Cochrane Handbook for Systematic Reviews of Interventions).

1.1 Systematic vs Narrative Review

직관 3 단계: 두 review 의 본질 차이

• 추상 정의: Systematic 은 재현 가능, narrative 는 저자의 임의 선택.
• 일상어 비유: 책 정리 — systematic 은 “도서관 분류 체계로 모든 책 정리”, narrative 는 “저자가 보기에 좋은 책만 선택”.
• 반사실 시나리오: Narrative 가 빠르고 가독성 ↑ 이지만 cherry-picking 위험. Systematic 이 객관성 우월 — quality of evidence 의 표준.

2 PICOS 적격 기준

정의: PICOS Framework

연구 적격성의 5 차원:

• P — Population (인구).
• I — Intervention (처치).
• C — Comparator (대조).
• O — Outcome (결과).
• S — Study design (설계).

(Counsell, 1997).

각 차원의 사전 명시 + 모든 후보 연구의 명시적 평가.

2.1 사례 — 흡연-폐암 systematic review 의 PICOS

사례: PICOS 명시

차원	명시
P	성인 (≥ 18 세), 흡연 history 측정
I	현재 흡연자
C	비흡연자 (평생 < 100 cigarettes)
O	폐암 발생 (조직검사 확진)
S	Cohort 또는 case-control

3 단계 직관:

• 추상 정의: 5 차원 명시가 후속 search 와 평가의 기준 — 각 후보 연구가 5 차원 모두 충족하는가.
• 일상어 비유: 채용 공고의 5 가지 자격 — 후보자가 모두 충족해야.
• 반사실 시나리오: PICOS 모호 시 후보 연구의 자기 선택 → cherry picking. 명시가 객관성.

3 사전 등록 — PROSPERO

정의: PROSPERO

International Prospective Register of Systematic Reviews. 사전 등록 + 공개.

효과: - 결과 본 후 protocol 변경 (post-hoc) 방지. - Duplicate review 회피. - 투명성 ↑.

직관 3 단계: 사전 등록의 가치

• 추상 정의: 사전 등록 → analysis plan 의 객관 검증 가능.
• 일상어 비유: 시험 답안 작성 전 채점 기준 공개 — 채점 임의성 ↓.
• 반사실 시나리오: 사전 등록 없으면 결과에 따라 분석 변경 (HARKing) → 결과 신뢰성 ↓.

4 검색 전략

정의: 다중 데이터베이스 검색

데이터베이스	강점
PubMed/MEDLINE	의학·생명과학 표준
Embase	약학·임상 trial 풍부
Cochrane CENTRAL	RCT 모음
Web of Science	인용 추적
Scopus	다학제
회색 문헌	학회 초록, thesis

검색어 (search terms): PICOS 차원별 동의어 조합. Boolean 연산자 (AND, OR, NOT).

4.1 Search Strategy 의 사전 명시

직관: 검색 재현 가능성

• 추상 정의: 검색 어와 데이터베이스를 명시 → 다른 reviewer 가 같은 결과 재현.
• 일상어 비유: 요리 레시피 — 재료와 절차 명시 → 재현 가능.
• 반사실 시나리오: 임의 검색은 reviewer 마다 다른 후보 연구 → 결과 변동.

5 PRISMA Flow Diagram

정의: PRISMA Diagram

후보 연구의 단계별 처리 흐름:

[Identification]
  Records identified through database search: N = 1500
  Records identified through other sources: N = 50
       ↓
[Screening]
  After duplicates removed: N = 1200
  Title/abstract screened: N = 1200
       ↓ (excluded N = 1100)
  Full-text assessed: N = 100
       ↓ (excluded N = 70)
[Eligibility]
  Studies included in synthesis: N = 30
       ↓
[Included]
  Studies in meta-analysis: N = 30

(Moher et al., 2009; PRISMA 2020).

직관: PRISMA 의 투명성

• 추상 정의: 단계별 인원 + 제외 사유 명시 → 자기 선택 회피.
• 일상어 비유: 채용 funnel 의 단계별 보고 — 어디서 누가 떨어졌는지 명시.
• 반사실 시나리오: 투명성 없으면 cherry-picking 의심. PRISMA 가 신뢰성의 표준.

6 Risk of Bias 평가

정의: RoB 2 (RCT) 와 ROBINS-I (관찰)

RoB 2 (Cochrane RCT): 1. Randomization 과정. 2. 의도된 처치 효과 vs 실제 처치. 3. 결측 결과 자료. 4. 결과 측정. 5. 보고된 결과의 선택.

각 영역: Low / Some concerns / High.

ROBINS-I (관찰): 1. Confounding. 2. Selection bias. 3. Misclassification. 4. Deviations from intended interventions. 5. Missing data. 6. Outcome measurement. 7. Selective reporting.

6.1 직관 — Quality 평가의 가중

직관 3 단계: RoB 가중

• 추상 정의: High RoB 연구는 sensitivity analysis 에서 제외 또는 가중치 ↓. Quality 가 신뢰성 결정.
• 일상어 비유: 두 평론가의 평가 — 한 평론가가 신뢰성 ↓ 면 다른 평론가의 의견 가중.
• 반사실 시나리오: 모든 연구 동등 가중 시 high-RoB 연구의 noise 가 결과 흐려.

6.2 Sensitivity Analysis — Quality 별 통합

# Low RoB 만 통합
results_low = pool_studies(studies[studies["RoB"] == "Low"])

# 모든 연구 통합
results_all = pool_studies(studies)

# 비교 — 결과 안정성
print(f"Low RoB only: {results_low}")
print(f"All studies: {results_all}")

만약 두 결과 큰 차이 → high-RoB 연구의 영향 → 신뢰성 ↓.

7 Data Extraction — 이중 reviewer

정의: Dual Extraction

각 연구의 데이터를 두 명 의 reviewer 가 독립 추출 → 불일치 해결.

추출 항목: - 연구 식별 (저자·연도). - PICOS 차원. - 효과 크기 + SE. - 표본 크기. - 추적 기간. - 보고된 confounder. - RoB 평가.

직관 3 단계: 이중 추출의 신뢰성

• 추상 정의: 단일 reviewer 의 인지 오류 회피. 두 명의 일치도 (kappa) 가 reliability 의 척도.
• 일상어 비유: 두 시험관의 채점 — 일치도 ↑ 면 채점 객관성.
• 반사실 시나리오: 단일 추출 시 오류 검출 어려움. 이중 추출이 표준.

8 Synthesis — Meta-analysis 또는 Narrative

정의: Synthesis 의 두 옵션

Meta-analysis: 효과의 통계적 통합. 양적 결과.

Narrative: 결과의 서술적 통합. 양적 통합이 부적절할 때.

Meta-analysis 가 부적절한 조건: - 연구 간 PICOS 차이 큼 → “사과와 오렌지 비교”. - 효과 측정 단위 다름 (예: 혈압 측정 도구 다름). - 큰 heterogeneity (I² > 75%). - 적은 연구 (< 5).

직관 3 단계: 통합 가능성 판단

• 추상 정의: 연구 간 합리적 비교 가능 → meta-analysis. 그렇지 않으면 narrative.
• 일상어 비유: 다른 종류의 시험 점수 통합 — 영어 시험과 수학 시험을 어떻게 평균? 단위 통일 후 가능.
• 반사실 시나리오: 강제 meta-analysis 는 무의미한 통합. Narrative 가 정직.

9 사례 — Sodium 섭취와 혈압의 systematic review

사례: Sodium-BP 의 systematic review

Question: 식이 sodium 감소가 혈압에 미치는 효과는?

PICOS: - P: 성인 (정상 + 고혈압). - I: Sodium 감소 (mEq/d). - C: 정상 sodium 식이. - O: 수축기·이완기 BP. - S: RCT (≥ 4 주 추적).

검색: PubMed, Cochrane CENTRAL.

PRISMA: - Identified: 850. - After dedup: 720. - Full-text: 90. - Included: 28.

RoB 2: 18 low, 8 some concerns, 2 high.

Synthesis: Random-effects meta-analysis (I² = 65%).

결과: Sodium 100 mmol/d 감소 → 수축기 BP -4.2 mmHg (95% CI: -5.5, -3.0).

3 단계 직관:

• 추상 정의: Systematic review 의 5 단계 (PICOS, 검색, 평가, 추출, 통합) 가 모두 명시 → 결과 신뢰성.
• 일상어 비유: 정직한 채용 절차 — 모든 단계 명시 + 이중 검토.
• 반사실 시나리오: 단계 누락 (예: PICOS 모호) 시 결과 cherry-picking 의심.

10 A/B 테스트의 Systematic Review 발상

사례: 다중 A/B 의 통합 review

대규모 IT 회사 — 같은 기능의 여러 A/B 시험 결과 (다른 시점, 다른 segment, 다른 지역) 통합.

Modified PICOS: - P: User segment (HVU, LVU 등). - I: 기능 변경 (treatment). - C: 기존 버전 (control). - O: Conversion, retention, lift. - S: A/B test.

Risk of Bias: - SRM (sample ratio mismatch) 점검. - Data quality 점검. - Pre-registration 여부.

3 단계 직관:

• 추상 정의: A/B 테스트의 institutional knowledge 축적이 systematic review 의 IT 판.
• 일상어 비유: 회사의 실험 결과 archive — 정리되지 않으면 같은 실수 반복.
• 반사실 시나리오: 단일 A/B 결과만 보면 1 회 noise. 다중 통합이 진성 효과 + 변동성 추정.

11 Living Systematic Review

정의: Living SR

지속적·정기적 갱신 review.

구성: - 자동 검색 (alerts). - 정기 검토 (월 또는 분기). - 새 연구 추가.

활용: 빠르게 변하는 분야 (COVID-19, 신약).

직관 3 단계: Living SR 의 가치

• 추상 정의: SR 의 시점 갱신 — 현재성 ↑.
• 일상어 비유: 신문의 정기 갱신 vs 책의 일회 출판.
• 반사실 시나리오: 정적 SR 은 빠르게 outdated. Living SR 이 임상 의사 결정의 표준 추세.

12 ROBINS-I — 관찰 연구 RoB

정의: ROBINS-I 의 7 영역 (재확인)

1. Confounding: 측정·통제된 confounder.
2. Selection: Self-selection, healthy worker.
3. Classification: Misclassification of treatment.
4. Deviations: Crossover, contamination.
5. Missing data.
6. Outcome measurement.
7. Reported result.

(Sterne et al., 2016).

직관: RoB 2 vs ROBINS-I

• 추상 정의: RCT 5 영역 vs 관찰 7 영역. 관찰의 추가 위험 = confounding + selection.
• 일상어 비유: 시험 평가 — 표준 5 항목 vs 추가 2 항목 (관찰 자료).
• 반사실 시나리오: RCT 와 관찰을 같은 도구 평가 시 RCT 의 강점 자동 ↑. 별도 도구가 정직.

13 결론

Systematic review 가 meta-analysis 의 사전 단계. Cochrane 표준 (PROSPERO + PICOS + PRISMA + RoB) 이 결과 신뢰성의 핵심. 이중 reviewer + 사전 등록이 객관성 도구. Living SR 이 빠르게 변하는 분야의 표준 추세.

다음 글 (H-WOO12-2) 에서 fixed vs random effects 의 통합 수식을 본다.

14 관련 주제

• Meta-analysis 개관
• 1111-11-11, IV + Fixed/Random Effects