Publication Bias — Funnel Plot·Egger·Trim-and-Fill

1 Publication Bias 의 정의

정의: Publication Bias

작은 표본 + 비-유의 결과 → 출판 안 됨 (file drawer problem).

출판된 자료만 통합 → 효과 ↑ 편향 (Woodward, 2014, Ch.12.8).

1.1 메커니즘

가정 위반: Selection by Significance

• 유의 결과 (\(p < 0.05\)): 출판 ↑.
• 비-유의 결과: 출판 ↓ (저자·편집자 모두 관심 ↓).

3 단계 직관:

• 추상 정의: \(P(\text{published} \mid \theta, p\text{-value})\) 가 p-value 에 의존. 자기선택 → 출판 풀이 진성보다 효과 ↑ 편향.
• 일상어 비유: 영화 리뷰 평균 — 별점 1 점 받은 영화는 리뷰 안 받음. 평균 별점 부풀려.
• 반사실 시나리오: 모든 연구 (유의 + 비-유의) 출판 시 진성 평균. 출판 selection 이 평균 ↑.

2 Funnel Plot — 1 차 진단

정의: Funnel Plot

X 축: 효과 크기 (\(\hat\theta_i\)). Y 축: 정밀도 (1/SE 또는 표본 크기 등).

기대 패턴: 정밀도 ↓ 시 효과 분산 ↑ → funnel 형태 (대칭 깔때기).

Asymmetry: 한쪽 (작은 효과 + 작은 표본) 에 연구 부족 → publication bias 의심.

2.1 시각 패턴

직관 3 단계: Funnel 의 해석

1/SE
 ↑
 │            *
 │          * * *  (큰 정밀도, 효과 변동 작음)
 │        *   *  *
 │      *  *    *
 │    *  *  *    *
 │  *    *    *    *  (작은 정밀도, 효과 변동 큼)
 │
 └────────────────────→ θ

대칭 funnel = publication bias 약함. 좌측 (효과 ↓) 누락 = publication bias 강함 (작은 + 비-유의 미출판).

3 단계 직관:

• 추상 정의: 정밀도 작을수록 효과 자체의 분산 ↑ — 자연스러운 funnel 형태.
• 일상어 비유: 적은 측정 자료의 결과 변동 ↑, 큰 자료는 안정. Funnel 이 이 패턴 시각.
• 반사실 시나리오: 한쪽이 비대칭 — small studies + 작은 효과 가 미출판 의심.

3 Egger’s Regression Test

정의: Egger’s Test

Standard Normal Deviate (SND) 와 Precision 의 회귀: \[\text{SND}_i = \alpha + \beta \cdot \text{Precision}_i + \epsilon_i\]

여기서: - \(\text{SND}_i = \hat\theta_i / \text{SE}_i\). - \(\text{Precision}_i = 1/\text{SE}_i\).

검정: \(H_0: \alpha = 0\) — funnel symmetric.

기각 → asymmetry → publication bias 의심.

직관 3 단계: Egger 의 의미

• 추상 정의: \(\alpha \ne 0\) = SND 와 정밀도의 비례 안 — 작은 연구의 결과가 큰 연구와 다른 경향.
• 일상어 비유: 작은 학교의 평균 점수가 큰 학교와 systematic 차이 — 자기 선택 의심.
• 반사실 시나리오: \(\alpha = 0\) 면 funnel 대칭. \(\alpha > 0\) 이면 작은 + 작은 효과 누락 의심.

3.1 Egger 의 한계

가정 위반: Egger 의 검정력

• 작은 \(k\) (\(< 10\)): 검정력 ↓.
• 진성 heterogeneity 와 publication bias 의 구분 어려움.

3 단계 직관:

• 추상 정의: Asymmetry 가 publication bias 만의 결과 아님 — heterogeneity 도 가능.
• 일상어 비유: 한쪽 누락이 자기 선택 vs 진성 차이 — 자료만으로 구분 어려움.
• 반사실 시나리오: Egger 와 함께 sensitivity analysis (RoB, subgroup) 권장.

4 Begg’s Rank Test

정의: Begg’s Test

각 연구의 효과의 순위와 정밀도의 순위의 Kendall’s \(\tau\).

검정: \(H_0: \tau = 0\) — 순위 무관 = funnel symmetric.

기각 → 순위 상관 → asymmetry.

직관: Egger vs Begg

• Egger: 회귀 (parametric).
• Begg: 순위 (nonparametric).

Egger 가 더 검정력 ↑ — 일반적으로 Egger 우선.

5 Trim-and-Fill

정의: Trim-and-Fill

Asymmetric funnel 의 누락 연구 추정 + 보정.

Step 1: Outlier 제거 (trim). Step 2: 누락 연구 가짜로 추가 (fill, mirror image). Step 3: 모든 (실제 + 가짜) 자료로 재통합.

효과: Publication bias 보정된 효과 추정.

5.1 Trim-and-Fill 의 한계

가정 위반: 누락 메커니즘 가정

Trim-and-Fill 가정 — 누락이 정밀도와 효과의 결합으로 결정.

진성: 누락 메커니즘이 더 복잡 (예: 출판 시점, 저널 IF, language) 가능.

3 단계 직관:

• 추상 정의: 단순 mirror 보정은 강한 가정. 복잡한 selection 메커니즘이면 부정확.
• 일상어 비유: 누락 자료를 대칭으로 가정 — 실제로는 비대칭 가능.
• 반사실 시나리오: Trim-and-Fill 의 결과는 sensitivity analysis 의 일부. 단독 결론 도출 위험.

6 Selection Models

더 정교한 publication bias 모형 — selection function \(w(\theta, p)\) 를 명시 + 가능도 결합.

모형	설명
Copas	\(w\) 가 \(1 - \Phi(a + b/\text{SE})\)
Hedges	\(w\) 가 p-value 단계 함수

6.1 한계

가정 위반: Selection Function 의 모호

진성 selection function 모름 → 가정 의존.

3 단계 직관:

• 추상 정의: 가정이 결과 좌우 — 다른 가정 → 다른 보정.
• 일상어 비유: 누락 자료의 패턴 모름 → 추측 보정.
• 반사실 시나리오: 다중 selection model 시도 + sensitivity. 단독 결과 신뢰 ↓.

7 File-Drawer Problem

정의: File-Drawer Problem (Rosenthal, 1979)

비-유의 결과는 “서랍에 보관” — 출판 안 됨.

Fail-safe N: 통합 결과를 무의미하게 만들기 위해 필요한 누락 연구 수.

\(N_{\text{fs}}\) 가 큼 → robust. 작음 → vulnerable.

7.1 사전 등록 — 근본 해결

직관 3 단계: 사전 등록 의 가치

• 추상 정의: 모든 연구가 사전 등록 (PROSPERO, ClinicalTrials.gov) 되면 누락 검증 가능.
• 일상어 비유: 모든 시험 응시자 등록부 — 응시 후 누가 통과/실패했는지 추적 가능.
• 반사실 시나리오: 사전 등록 없으면 file-drawer 검출 어려움. 등록이 publication bias 의 근본 해결.

FDA Amendment Act (2007): 미국 임상 trial 사전 등록 의무.

8 A/B 테스트의 Publication Bias 발상

사례: 회사 내 A/B Bias

A/B 테스트의 publication bias-like 패턴:

• Successful A/B 만 archive: 실패 시험은 폐기 → archive 의 평균 lift 부풀려.
• 유의 결과만 발표: 비-유의 결과는 보고 안 됨 → portfolio 의 평균 effective.

3 단계 직관:

• 추상 정의: 회사의 A/B archive 가 selection 의 결과면 평균 lift = 진성 평균보다 ↑.
• 일상어 비유: 영화 평론가가 좋아하는 영화만 review → review 평균 별점 ↑.
• 반사실 시나리오: 모든 시험 (성공 + 실패) archive 가 정직. 사전 등록 + 의무 보고가 IT 의 publication bias 회피.

9 코드 예시 — Publication Bias 진단

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import statsmodels.api as sm

# 가상 자료
studies = pd.DataFrame({
    "theta": [0.30, 0.50, 0.45, 0.60, 0.55, 0.65, 0.40, 0.70, 0.75, 0.80],
    "se": [0.05, 0.08, 0.06, 0.15, 0.12, 0.18, 0.07, 0.20, 0.22, 0.25],
})

# Funnel plot
plt.figure(figsize=(8, 6))
plt.scatter(studies["theta"], 1/studies["se"])
plt.xlabel("Effect (θ)")
plt.ylabel("Precision (1/SE)")
plt.title("Funnel plot")

# Egger's test
studies["SND"] = studies["theta"] / studies["se"]
studies["precision"] = 1 / studies["se"]
X = sm.add_constant(studies["precision"])
egger = sm.OLS(studies["SND"], X).fit()
print(f"Egger's intercept: {egger.params['const']:.3f}")
print(f"Egger's p-value: {egger.pvalues['const']:.4f}")
print(f"  (p < 0.05 → asymmetry, publication bias 의심)")

해석: Funnel 시각 + Egger 검정 결합. p < 0.05 시 sensitivity (trim-and-fill, selection model) 시도.

10 Small Study Effect — 출판 편향의 일반화

정의: Small Study Effect

작은 연구의 효과가 큰 연구와 systematic 차이.

원인: 1. Publication bias: 작은 + 비-유의 미출판. 2. Methodological quality: 작은 연구의 quality ↓ 흔함. 3. True heterogeneity: 작은 연구가 다른 인구·환경. 4. Outcome selection: 작은 연구의 multiple outcomes 중 유의한 것만.

(Sterne et al., 2011).

직관 3 단계: Small Study Effect 의 다중 원인

• 추상 정의: 작은 연구의 다른 패턴이 publication bias 만 아님.
• 일상어 비유: 작은 회사의 매출 패턴이 큰 회사와 다른 다양한 이유.
• 반사실 시나리오: Egger test 가 publication bias 외 다른 원인도 검출. 보완 분석 필요.

11 Copas Selection Model

정의: Copas Model

Selection 확률을 명시 모형: \[P(\text{published}_i) = \Phi(a + b/\text{SE}_i)\]

\(a\): baseline selection. \(b\): precision dependence.

Likelihood 결합 → 보정 추정.

직관: Copas 의 정밀도

• 추상 정의: Selection function 명시 → 보정 정확도 ↑.
• 일상어 비유: 누락 자료 패턴 모형화.
• 반사실 시나리오: 단순 trim-and-fill 보다 정밀. 단 가정 의존.

12 P-Curve — Hacking 검출

정의: P-Curve

유의 결과 (\(p < 0.05\)) 의 p-value 분포 시각.

진성 효과: P-value 의 right-skewed (작은 p 가 흔함). P-hacking: P-value 의 좌 skewed (0.04~0.05 가 흔함).

(Simonsohn et al., 2014).

직관 3 단계: P-Curve 의 활용

• 추상 정의: 진성 효과면 작은 p (강한 신호) 가 흔함. P-hacking 시 0.05 에 모임.
• 일상어 비유: 시험 점수 분포 — 진성 능력자는 고득점, cheating 은 합격선 부근.
• 반사실 시나리오: P-curve 가 publication bias 외에 p-hacking 도 검출. 보완 도구.

13 Q&A — Publication Bias 의 흔한 오해

Q1: Funnel asymmetry → 항상 publication bias?

A: 아니다. Small study effect 의 다중 원인.

3 단계 직관:

• 추상 정의: Asymmetry 가 publication bias 의 1 차 신호. 기타 원인도 가능.
• 일상어 비유: 작은 회사 데이터 누락 — 이유 다양.
• 반사실 시나리오: Sensitivity analysis (sub-group quality) 로 다른 원인 점검.

Q2: Trim-and-fill 후 결과 — 신뢰?

A: 부분. 가정 의존.

3 단계 직관:

• 추상 정의: Trim-and-fill 가 mirror 가정 — 강한 가정.
• 일상어 비유: 누락 자료를 대칭으로 가정 — 실제로는 비대칭 가능.
• 반사실 시나리오: 다중 sensitivity (Copas, selection model) 결과 비교.

14 결론 — Phase H WOO Ch.12 시리즈 마무리

Phase H WOO Ch.12 시리즈 (9 편 완성)
│
├── H-WOO12-0: Overview
├── H-WOO12-1: Systematic Review
├── H-WOO12-2: Fixed/Random Effects
├── H-WOO12-3: Heterogeneity
├── H-WOO12-4: Pooling 사례
├── H-WOO12-5: Investigating Heterogeneity
├── H-WOO12-6: Tabular Pooling
├── H-WOO12-7: IPD + Quality
└── H-WOO12-8: Publication Bias (이 글)

다음 묶음 (WOO Ch.13 — Risk Scores, H-WOO13-0~9) 은 예측 모형의 평가 도구 (ROC, AUC, calibration, NRI) 를 다룬다.

15 관련 주제

• IPD + Study Quality

다음 묶음 (WOO Ch.13)

• 1111-11-11, Risk Scores·Decision Rules 개관

Phase B 크로스링크

• 관찰 메타의 함정 (B31)