Kwangmin Kim - Klein § 11.5–11.6 — Deviance Residuals & Influence Diagnostics

1 도입 — 진단의 마지막 두 측면

Ch.11 진단의 워크플로에서 § 11.5-11.6은 모형 구조 결정 이후의 마무리 단계에 해당한다.

단계	절	잔차
모형 구조 정립	§ 11.3	마팅게일 (함수 형태)
	§ 11.4	Schoenfeld/Score (PH 가정)
전반 적합도	§ 11.2	Cox-Snell
이상치	§ 11.5	Deviance
영향력	§ 11.6	dfbeta

이상치 vs 영향력 — 다른 개념

두 개념을 혼동하면 안 된다:

이상치 (outlier): 모형이 예측을 잘못한 관측치. 예측 risk score가 낮은데 빨리 사망한 환자. → § 11.5 deviance
영향력 (influence/leverage): 추정 결과를 좌우하는 관측치. 그 관측치를 빼면 $b$ 가 크게 변함. → § 11.6 dfbeta

이상치이지만 영향력이 작을 수도 있고(다른 데이터로 보정), 이상치는 아니지만 영향력이 클 수도 있다(극단 공변량 값). 두 측면을 모두 점검해야 한다.

2 § 11.5 — Deviance 잔차로 이상치 탐지

2.1 마팅게일 잔차의 한계

이상치 탐지에 마팅게일 잔차를 직접 사용할 수 없는 이유는 분포의 비대칭성에 있다.

\[ \hat{M}_j = \delta_j - r_j \in (-\infty, 1] \]

상황	$\hat{M}_j$ 범위	의미
사건 발생 ($\delta_j = 1$)	$(-\infty, 1]$	최댓값 $+1$ (즉시 사망 + 위험 0)
절단 ($\delta_j = 0$)	$(-\infty, 0]$	큰 음수 가능 (오래 살았는데 모형이 빨리 죽을 거라 예측)

비대칭성으로 인한 이상치 오판

마팅게일 절댓값으로 이상치를 판정하면:

사건 발생자의 잔차는 자연스럽게 $|_j| $ 작은 값
절단자(특히 오래 생존)는 $\hat{M}_j$ 가 큰 음수가 될 수 있음 → 부당하게 이상치로 분류

해결: 마팅게일을 대칭에 가까운 분포로 변환. 이것이 deviance 잔차이다.

2.2 Deviance 잔차 정의 — 식 (11.5.1)

\[ D_j = \text{sign}[\hat{M}_j] \cdot \left\{-2 \left[ \hat{M}_j + \delta_j \log(\delta_j - \hat{M}_j) \right]\right\}^{1/2} \tag{식 11.5.1} \]

이름의 유래는 포아송 회귀의 deviance이다. 일반화 선형 모형(GLM)에서 deviance 잔차는 $D_j = \text{sign}(y_j - \hat{\mu}_j) \sqrt{2(\ell_{\text{sat}} - \ell)_j}$ 형태이며, 식 (11.5.1)도 같은 구조이다.

2.3 변환의 3가지 효과

Deviance 변환 분해

식 (11.5.1)을 세 부분으로 나누어 보면:

(1) 부호 보존: $\text{sign}[\hat{M}_j]$

$\hat{M}_j > 0$ (모형 과소예측) → $D_j > 0$
$\hat{M}_j < 0$ (모형 과대예측) → $D_j < 0$

(2) 제곱근 변환: $\sqrt{\cdot}$

큰 음수 $\hat{M}_j$ 의 절댓값을 축소
$\hat{M}_j = -2$ → 내부값 약 $\sqrt{4 + 2 \cdot 0 \cdot \log 2} \cdot \sqrt{2} \approx \sqrt{4}$ 로 줄어듦

(3) 로그 보정: $\delta_j \log(\delta_j - \hat{M}_j)$

사건 발생자($\delta_j = 1$): $\log(1 - \hat{M}_j)$ 항이 활성화 → $\hat{M}_j$ 가 1에 가까울 때 발산하여 양의 잔차를 부풀림
절단자($\delta_j = 0$): 이 항이 0 → 변환 효과 약함, 음수 측만 축소

2.4 분포 성질

근사 표준정규: $D_j$ 는 모형이 옳다면 (경 절단 환경에서) 근사적으로 표준정규 분포를 따른다. 따라서:

$\|D_j\|$ 임계	의미
$\|D_j\| < 2$	정상 범위
$2 < \|D_j\| < 3$	잠재적 이상치
$\|D_j\| > 3$	명백한 이상치 — 검토 필요

중도절단이 많을 때

무거운 절단(censoring 비율 80%+) 환경에서는 deviance 잔차가 많은 점이 0 근처에 몰려 분포가 정규에서 멀어진다. 이때는 절댓값 임계가 아니라 상대적 분포 (Q-Q plot, 박스플롯)로 이상치를 판단해야 한다.

2.5 진단 도표 — Risk Score vs Deviance

표준 절차:

최종 Cox 모형 적합 → $b$, $\hat{H}_0$
마팅게일 잔차 $\hat{M}_j$ 계산 → deviance 변환 $D_j$ 계산
Risk score $\eta_j = \sum_k b_k Z_{jk}$ 계산
$D_j$ vs $\eta_j$ 산점도 작성

도표에서 $|D_j|$ 가 큰 점들이 잠재 이상치이며, risk score가 낮은데 양의 큰 $D_j$ 인 점이 가장 의심된다 (예후가 좋은데 빨리 죽음).

2.6 Klein Example 11.2 — 림프종 이식 데이터 이상치

데이터: 림프종 동종 vs 자가 골수이식. 최종 모형:

\[ h(t) = h_0(t) \exp(-1.33 Z_1 - 2.31 Z_2 + 2.11 Z_3 - 0.056 Z_4 - 2.10 Z_5) \]

여기서 $Z_1$ 이식 종류 (1-allo), $Z_2$ 질환 (1-HL), $Z_3$ 교호작용, $Z_4$ Karnofsky, $Z_5$ 대기시간 ≥ 84개월.

2.6.1 마팅게일 vs Deviance 비교

마팅게일 도표 (Figure 11.20): risk score $-3.22$ 에서 $\hat{M}_j = -1.88$ 인 환자가 의심스럽게 보였다.

Deviance 도표 (Figure 11.21): 같은 환자의 $D_j = -1.28$ — 정상 범위. 마팅게일에서 보이던 큰 음수가 절단자의 비대칭성 때문이었음이 드러난다.

대신 발견된 진짜 이상치 두 명:

환자	Risk score	$D_j$	공변량 $(Z_1, Z_2, Z_3, Z_4, Z_5)$	사망 시점
A	$-6.40$	2.26	$(1, 0, 0, 90, 0)$	1.0개월
B	$-7.38$	2.78	$(0, 1, 0, 90, 0)$	0.93개월

이상치 환자의 의학적 프로필

두 환자의 공통점: - Karnofsky 90 (좋은 상태): 양호한 신체 기능 - 호의적 위험 인자: A는 allo + NHL, B는 auto + HL — 둘 다 적합한 매칭 - $Z_5 = 0$: 대기 시간 < 84개월 (호의적)

요약: 위험 점수로 보면 가장 오래 살아야 할 환자들인데 1개월 안에 사망. 모형이 절대 예측할 수 없는 케이스 → 의학적 검토(이식 거부 반응? 합병증? 데이터 입력 오류?)가 필요하다.

이것이 deviance 진단의 가치다 — 마팅게일에서는 절단자에 가려져 보이지 않던 이상치가 정규형 변환으로 드러난다.

2.7 한계와 주의

Deviance 잔차의 3가지 한계

1. 절단 비율 민감: 무거운 절단에서 정규 근사가 깨진다. 임계값 $\pm 2$ 를 그대로 적용하면 안 됨.

2. 위반 종류 미식별: $|D_j|$ 가 크다는 것은 “이 관측치가 이상하다”만 알려주고, 함수 형태 / PH / 진짜 이상한 환자 중 무엇 때문인지는 알려주지 않는다.

3. 자동 제거 금지: 통계적으로 이상치라고 자동 제거하면 모형의 일반화 가능성이 손상될 수 있다. 항상 임상의/도메인 전문가와 검토.

3 § 11.6 — dfbeta로 영향력 분석

3.1 핵심 질문

관측치 $j$ 를 빼면 $b_k$ 가 얼마나 바뀌는가?

이상치 탐지(§ 11.5)는 모형이 얼마나 못 예측하는가를 보지만, 영향력은 그 관측치가 추정 자체를 얼마나 좌우하는가를 본다.

3.2 Naive 접근의 한계

직접적 정의:

\[ b - b_{(j)} \]

여기서 $b_{(j)}$ 는 $j$ 번째 관측치를 빼고 적합한 Cox 모형의 추정값. 이를 모든 $j$ 에 대해 계산하려면:

$n + 1$ 번의 Cox 모형 적합
큰 데이터(예: $n = 10000$)에서는 계산 불가능

3.3 Score 잔차 기반 근사

다행히도 § 11.4의 score 잔차로 단 한 번의 적합으로 근사할 수 있다.

3.3.1 Score 잔차 — 식 (11.6.1)

모든 공변량이 시점 0에 고정된 경우:

\[ S_{jk} = \delta_j[Z_{jk} - \bar{Z}_k(T_j)] - \sum_{t_b \leq T_j} [Z_{jk} - \bar{Z}_k(t_b)] \exp(b^\top Z_j) [\hat{H}_0(t_b) - \hat{H}_0(t_{b-1})] \tag{식 11.6.1} \]

식 (11.6.1) — 두 항의 분해

첫째 항: $\delta_j[Z_{jk} - \bar{Z}_k(T_j)]$

이 사람이 사건을 겪었을 때 ($\delta_j = 1$) 만 활성화
자기 자신의 사건 시점에서 위험집합 평균과의 편차
= Schoenfeld 부분 잔차 (§ 11.4)

둘째 항: $-\sum_{t_b \leq T_j} [Z_{jk} - \bar{Z}_k(t_b)] \exp(b^\top Z_j) [\hat{H}_0(t_b) - \hat{H}_0(t_{b-1})]$

이 사람이 위험집합에 있었던 모든 사건 시점에서의 가중 편차의 합
가중치 = 자신의 위험 점수 $\exp(b^\top Z_j)$ × 베이스라인 위험 증가량

종합: score 잔차 = 자기 사건의 정보 − 다른 사건들에 자신이 기여한 정보.

이는 부분우도 score function의 $j$ 번째 개체 기여분이며, 적분 형태로는 식 (11.4.5)에 해당한다.

3.3.2 dfbeta 근사

\[ \boxed{\Delta_j = b - b_{(j)} \approx \mathbf{I}(b)^{-1} (S_{j1}, S_{j2}, \ldots, S_{jp})^\top} \]

여기서 $\mathbf{I}(b)$ 는 부분우도의 관측 Fisher 정보. 핵심 성질: $\mathbf{I}(b)^{-1} = \widehat{\text{Cov}}(b)$.

dfbeta 근사의 직관

식의 구조:

\[ \underbrace{\Delta_{jk}}_{\text{영향력}} = \underbrace{\mathbf{I}(b)^{-1}}_{\text{공분산 (정밀도의 역수)}} \times \underbrace{S_j}_{\text{개체 기여 정보}} \]

해석:

score 잔차 = 관측치 $j$ 가 추정에 기여한 정보의 양과 방향
$\mathbf{I}(b)^{-1}$ = 그 정보를 모수 $b$ 의 변화로 환산하는 인자

따라서 $\Delta_{jk}$ 는 “관측치 $j$ 의 정보가 $b_k$ 에 미치는 변화량 (표준오차의 척도로)” 이다.

근사 정확도: Fisher 정보가 큰(추정이 안정적인) 모형일수록 score 잔차로부터의 근사가 정확하다. Klein Example 11.2의 작은 표본에서도 정확 $b - b_{(j)}$ 와 매우 비슷하게 나옴이 확인됐다 (Figures 11.22-11.24의 “+”와 “O” 일치).

3.4 진단 절차

최종 Cox 모형 적합 → $b$, $\mathbf{I}(b)^{-1}$
각 관측치 score 잔차 $S_{jk}$ 계산 (모든 $j$, 모든 $k$)
dfbeta $\Delta_{jk} = \mathbf{I}(b)^{-1} S_j$ 계산
각 공변량 $k$ 별로:
- $\Delta_{jk}$ vs 관측치 번호 $j$ 산점도 또는
- $\Delta_{jk}$ vs $Z_{jk}$ 산점도

큰 절댓값 $|\Delta_{jk}|$ 를 보이는 점이 영향력 관측치이다.

3.5 임계값 기준

표준 회귀의 dfbeta 기준을 차용:

$\|\Delta_{jk}\|$	의미
$< 1/\sqrt{n}$	정상
$> 1/\sqrt{n}$	잠재 영향력 (소표본 임계)
$> 2/\sqrt{n}$	명백한 영향력 (대표본 임계)
$> 1$	매우 큰 영향력

또는 단순히 $\Delta_{jk}$ 의 절댓값 상위 5% 환자를 검토 대상으로 삼을 수도 있다.

3.6 Klein Example 11.2 — 영향력 환자 식별

같은 림프종 이식 데이터 (5개 공변량 모형). $\mathbf{I}(b)^{-1}$ 는 $b$ 의 공분산 행렬.

3.6.1 결과 (Figures 11.22-11.24, Table 11.1)

관측치	$T_j$	$\delta_j$	$\Delta_1$	$\Delta_2$	$\Delta_3$	$\Delta_4$	의미
17	2.633	1	0.326	0.334	−0.322	작음	$Z_1, Z_2, Z_3$ 추정에 가장 큰 영향
12	(큼)	1	작음	작음	작음	큼	$Z_4$ (Karnofsky) 추정에 가장 큰 영향
3	0.9	1	0.039	0.290	-0.244	0.005	좋은 Karnofsky인데 빨리 사망
11	(작음)	1	작음	작음	작음	큼	좋은 Karnofsky인데 빨리 사망

3.6.2 환자 17의 프로필

위험 벡터 $Z_{17} = (0, 0, 0, 70, 0)$ — auto, NHL, 교호작용 없음, Karnofsky 70 (보통)
사망 시점: 2.633개월
모형 예측: NHL + auto = 가장 불리한 조합 → 가장 빨리 죽었어야 함
실제: 이 그룹에서 가장 오래 생존한 환자

이 환자가 빠지면 NHL/auto 그룹의 위험 추정이 다른 방향으로 이동 → 이식 종류 효과($Z_1$), 질환 효과($Z_2$), 교호작용($Z_3$) 모두에 큰 영향.

3.6.3 환자 12의 프로필

낮은 Karnofsky인데 오래 생존 → Karnofsky 효과를 약화시키는 방향
환자 3, 11과 정반대 — 좋은 Karnofsky인데 빨리 사망
이 세 환자가 Karnofsky 계수 추정의 상호 균형을 좌우

3.7 영향력 처리 원칙

Klein의 권고 — 영향력 환자 처리 4단계

Step 1: 큰 $|\Delta_{jk}|$ 환자 식별

Step 2: 데이터 품질 확인 - 입력 오류? 단위 혼동? 결측치 잘못 처리? - 원본 자료로 돌아가 검증

Step 3: 임상의/도메인 전문가와 검토 - 의학적으로 가능한 케이스인가? - 특수한 상황(다른 병합증, 약물 상호작용)이 있었는가?

Step 4: 결정 - 명확한 오류면 제거 또는 수정 - 합당한 케이스면 보존, 단 결과 보고에 민감도 분석 추가 - 단순히 통계적 영향력만으로 자동 제거 금지

작은 표본에서는 거의 모든 관측치가 어느 정도 영향력을 가지므로, 임계 적용이 더 보수적이어야 한다.

3.8 dfbeta가 알려주지 않는 것

dfbeta는 계수 변화만 본다. 따라서:

표준 오차의 변화는 알려주지 않음 (별도 dfbetas 통계 필요)
모형 적합도 변화는 알려주지 않음 (deviance 잔차로)
절단 패턴의 변화도 알려주지 않음

dfbeta + deviance 결합이 표준 절차이다.

4 § 11.5–11.6 통합 워크플로

이 두 절을 함께 사용하면 모형의 문제 환자들을 두 차원에서 평가할 수 있다.

4.1 4분면 분석

risk score vs deviance 도표 + dfbeta 도표를 합치면 환자를 4분면으로 분류할 수 있다:

	영향력 작음 ($
이상치 아님 ($\|D\| < 2$)	정상 환자 (대다수)	극단 공변량값 환자 — 보존
이상치 ($\|D\| > 2$)	우연의 이상치 — 보존	고위험 검토 환자

4분면별 처리 권고

좌상 (정상): 처리 불필요.

우상 (극단 공변량): 모형 외삽 영역. 보존하되 결과 해석 시 외삽 한계 명시.

좌하 (우연의 이상치): 작은 영향력이므로 보존. 무거운 절단의 정상 분산.

우하 (고위험): 데이터 오류 가능성 + 의학적 검토 필수. 민감도 분석 (포함/제외 비교) 보고서에 추가.

4.2 종합 절차

1. 최종 Cox 모형 (§ 11.3-11.4 거친 모형) 적합
   ↓
2. 마팅게일 → deviance 잔차 계산 (§ 11.5)
   - D vs risk score 도표
   - |D| > 2-3 환자 식별
   ↓
3. score 잔차 → dfbeta 근사 (§ 11.6)
   - 각 공변량별 dfbeta 도표
   - |Δ| > 임계 환자 식별
   ↓
4. 두 결과 4분면 교차 분석
   ↓
5. 의심 환자에 대한:
   - 데이터 검증
   - 임상 검토
   - 민감도 분석 (포함 vs 제외)
   ↓
6. 최종 보고서에 영향력 분석 결과 명시

5 코드 예시

5.1 Step 1 — Deviance 잔차 (식 11.5.1) 직접 계산

import numpy as np
import matplotlib.pyplot as plt
from lifelines import CoxPHFitter
from lifelines.datasets import load_rossi

df = load_rossi()
cph = CoxPHFitter()
cph.fit(df, duration_col="week", event_col="arrest")

# 마팅게일 잔차
mart = cph.compute_residuals(df, kind="martingale").values.flatten()
delta = df["arrest"].values

# Deviance 변환 식 (11.5.1)
def deviance_residual(M, delta):
    eps = 1e-12
    inside = M + delta * np.log(np.where(delta - M > eps, delta - M, eps))
    return np.sign(M) * np.sqrt(-2 * inside)

D = deviance_residual(mart, delta)

# Risk score
risk_score = cph.predict_log_partial_hazard(df).values

# 도표
fig, axes = plt.subplots(1, 2, figsize=(12, 4))
axes[0].scatter(risk_score, mart, alpha=0.5, s=20)
axes[0].axhline(0, color="gray", ls="--")
axes[0].set_xlabel("Risk score"); axes[0].set_ylabel("Martingale")
axes[0].set_title("마팅게일 잔차 (비대칭)")

axes[1].scatter(risk_score, D, alpha=0.5, s=20)
axes[1].axhline(0, color="gray", ls="--")
axes[1].axhline(2, color="r", ls=":"); axes[1].axhline(-2, color="r", ls=":")
axes[1].set_xlabel("Risk score"); axes[1].set_ylabel("Deviance")
axes[1].set_title("Deviance 잔차 (정규형 변환)")

# 이상치 식별
outliers = np.where(np.abs(D) > 2)[0]
print(f"잠재 이상치 ({len(outliers)}명): index {outliers}")
print(f"|D| > 2 비율: {(np.abs(D) > 2).mean():.2%} (대략 5% 기대)")

5.2 Step 2 — dfbeta 근사 직접 구현

# Score 잔차는 lifelines가 직접 제공
score_resid = cph.compute_residuals(df, kind="score")
print("Score 잔차 shape:", score_resid.shape)  # (n, p)

# Fisher 정보의 역수 = b의 공분산 행렬
cov_b = cph.variance_matrix_  # 이미 계산된 추정 공분산

# dfbeta 근사 = Cov × score 잔차^T (행별)
dfbeta = score_resid.values @ cov_b.values
dfbeta_df = pd.DataFrame(dfbeta, columns=cph.params_.index)

# 각 공변량별 도표
n_cov = dfbeta_df.shape[1]
fig, axes = plt.subplots(2, (n_cov + 1) // 2, figsize=(15, 6))
threshold = 2 / np.sqrt(len(df))  # 대표본 임계

for i, col in enumerate(dfbeta_df.columns):
    ax = axes.flat[i]
    ax.scatter(range(len(df)), dfbeta_df[col], alpha=0.5, s=15)
    ax.axhline(threshold, color="r", ls=":")
    ax.axhline(-threshold, color="r", ls=":")
    ax.axhline(0, color="gray", ls="--")
    ax.set_title(f"dfbeta: {col}")
    ax.set_xlabel("관측치 번호"); ax.set_ylabel(r"$\Delta_{jk}$")

plt.tight_layout()

# 영향력 환자 상위 5명
for col in dfbeta_df.columns:
    top5 = dfbeta_df[col].abs().nlargest(5).index.tolist()
    print(f"{col}: 영향력 상위 = {top5}")

5.3 Step 3 — lifelines 내장 dfbeta

# lifelines는 'delta_beta' 잔차를 직접 제공
delta_beta = cph.compute_residuals(df, kind="delta_beta")
print("Delta beta shape:", delta_beta.shape)

# 위에서 직접 계산한 dfbeta와 일치 확인
print("최대 차이:", np.abs(delta_beta.values - dfbeta).max())

5.4 Step 4 — R survival 패키지 (참고)

library(survival)

fit <- coxph(Surv(time, status) ~ age + sex + ph.ecog, data = lung)

# § 11.5 Deviance 잔차
dev <- residuals(fit, type = "deviance")
risk_score <- predict(fit, type = "lp")
plot(risk_score, dev,
     xlab = "Risk score", ylab = "Deviance residual",
     main = "Deviance vs Risk score")
abline(h = c(-2, 2), col = "red", lty = 2)
abline(h = 0, col = "gray", lty = 3)

# 이상치 식별
outliers <- which(abs(dev) > 2)
cat("이상치 관측치:", outliers, "\n")

# § 11.6 dfbeta
dfb <- residuals(fit, type = "dfbeta")
matplot(dfb, type = "l",
        xlab = "Observation number", ylab = "dfbeta",
        col = 1:ncol(dfb), lty = 1)
legend("topright", colnames(dfb), col = 1:ncol(dfb), lty = 1)

# 영향력 환자 상위
n <- nrow(lung)
threshold <- 2 / sqrt(n)
for (j in 1:ncol(dfb)) {
  influential <- which(abs(dfb[, j]) > threshold)
  cat(colnames(dfb)[j], ":", length(influential), "명 (임계", round(threshold, 3), ")\n")
}

6 핵심 요약

§ 11.5-11.6 한 줄 요약

Deviance 잔차 $D_j = \text{sign}(\hat{M}_j)\sqrt{-2[\hat{M}_j + \delta_j \log(\delta_j - \hat{M}_j)]}$ 는 마팅게일을 정규형으로 변환해 이상치를 탐지하고, dfbeta 근사 $\Delta_j \approx \mathbf{I}(b)^{-1} S_j$ 는 score 잔차에 공분산을 곱해 한 번의 적합으로 모든 관측치의 영향력을 평가한다.

절	잔차	핵심 식	용도	임계
11.5	Deviance $D_j$	식 (11.5.1)	이상치 탐지	$\|D_j\| > 2{-}3$
11.6	dfbeta $\Delta_{jk}$	$\mathbf{I}(b)^{-1} S_j$	영향력 식별	$\|\Delta_{jk}\| > 2/\sqrt{n}$

측면	이상치 (§ 11.5)	영향력 (§ 11.6)
측정	모형 예측 오차	추정 변화량
핵심 잔차	Deviance	dfbeta = $\mathbf{I}^{-1} S$
도표	$D_j$ vs risk score	$\Delta_{jk}$ vs 관측 번호
처리	임상 검토 후 결정	데이터 검증 + 민감도 분석

7 관련 주제

선행 지식

Cox 모형 기초

후속 주제

상황	\(\hat{M}_j\) 범위	의미
사건 발생 (\(\delta_j = 1\))	\((-\infty, 1]\)	최댓값 \(+1\) (즉시 사망 + 위험 0)
절단 (\(\delta_j = 0\))	\((-\infty, 0]\)	큰 음수 가능 (오래 살았는데 모형이 빨리 죽을 거라 예측)