1 들어가며 — 모형 선택의 큰 질문

Ch.7 의 5 자기상관 구조 와 Ch.6 의 5 공분산 패턴 구조 까지 다 다뤘다. 이제 실제 데이터에서 어느 모형을 쓸지 결정하는 절차를 본다.

§7.3 의 핵심 질문:

같은 데이터에 세 패러다임 — MRM (Ch.4-5), CPM (Ch.6), MRM+AC (Ch.7) — 중 어느 것을 선택할까?
nested vs non-nested 비교에 어떤 도구 (LR vs AIC vs BIC) 가 적절한가?
분산 모수의 boundary 문제 는 어떻게 다루는가?
AIC 와 BIC 가 다른 결론 을 줄 때 어느 것을 따를까?

한 줄 요약

“세 패러다임의 분산-공분산 형태를 알고, nested 면 LR, non-nested 면 AIC, 분산 모수 검정에는 p-value/2 보정 적용. BIC 는 \(N\) 클 때 너무 절약적이라 분산 구조 선택에 자제.”

이 한 줄을 식과 직관으로 풀어내는 것이 본 sub-post 의 목표.

2 § 7.3 의 핵심 — 세 패러다임 비교

2.1 세 모형의 분산-공분산 형태

Hedeker §7.3 의 통합 시각 (식 7.20, 7.21)

같은 종단 데이터에 세 종류의 분산-공분산 구조를 적합 가능:

모형	\(\Sigma_i = V(y_i)\)	출처
MRM (Ch.4-5)	\(Z_i \Sigma_\upsilon Z_i^\top + \sigma^2 I_i\)	식 (7.20)
CPM (Ch.6)	\(\Sigma_i\) 직접 명세 (CS, AR(1), Toeplitz, UN, RE)	(Ch.6 §6.2)
MRM + AC (Ch.7)	\(Z_i \Sigma_\upsilon Z_i^\top + \sigma^2 \Omega_i\)	식 (7.21)

세 모형의 관계:

\(\Omega_i = I_i\) → MRM (Ch.4-5) 의 특수 경우.
\(Z_i = 0\) → CPM (Ch.6) 의 특수 경우 (\(\Omega_i\) 가 CPM 의 5 구조 중 하나).
둘 다 비단순 → MRM + AC (Ch.7).

직관 — 모형 패러다임의 두 축

세 모형의 차이를 두 축으로 정리:

        ↑ AC (시간 의존 모형화)
        │
        │           [MRM + AC]
        │            (Ch.7)
   AC   │
        │
        │   [MRM]      [CPM]
        │  (Ch.4-5)   (Ch.6)
        │
   no AC│
        └──────────────────────→
         no RE         RE (피험자 차이)

MRM (Ch.4-5): 피험자 차이 모형화, 시간 의존 안 함 (조건부 독립).
CPM (Ch.6): 시간 의존 모형화 (직접), 피험자 차이는 명시 안 함 (\(\Omega\) 가 marginal 표현).
MRM + AC (Ch.7): 두 축 모두 모형화 — 가장 유연.

→ 세 모형은 종종 비슷한 적합도 를 줄 수 있다 (Toeplitz CPM ≈ random intercept + Toeplitz MRM-AC, § 7.2.4 의 reparameterization 등가성 참조).

선택 기준: 통계적 적합도 + 해석의 자연스러움.

2.2 어느 모형을 언제

모형 선택의 실용 가이드

연구 질문	권장 모형
개인별 추세 (BLUP) 가 본질	MRM 또는 MRM-AC
모집단 평균 효과만 관심	CPM 또는 MRM-AC
분산 구조 자체가 연구 질문	CPM (5 구조 비교)
피험자 차이 + 단기 시간 의존 둘 다	MRM + AC
임상 시험 (보수적 추론)	UN-CPM 또는 MRM-AC
표본 작음, 시점 적음	MRM (절약)

3 모형 선택 도구 — 세 가지 접근

3.1 LR 검정 — 식 (7.22)

Likelihood Ratio Test (식 7.22)

내포 (nested) 모형 비교:

\[ \chi^2 = 2(\log L_{\text{full}} - \log L_{\text{reduced}}) = -2\log L_{\text{reduced}} - (-2\log L_{\text{full}}) \tag{7.22} \]

\(-2\log L\) = deviance (적합도).
자유도 = full vs reduced 의 모수 수 차이.
점근 분포: \(\chi^2_{\text{df}}\) (귀무가설 하).
큰 값 = 제약 모형 부적합 → full 모형 채택.

적용 가능한 비교 — Ch.7 맥락

§7.3 본문에서 명시된 nested 비교 사례:

MRM 의 랜덤 효과 추가: random intercept vs random intercept + slope. nested (\(\sigma_{\upsilon_1}^2 = 0\) 가설).
CPM 의 제약 구조 vs UN: CS, AR(1), Toeplitz vs UN. nested.
MRM-AC 의 AC 추가: standard MRM (\(\Omega = I\)) vs MRM + AR(1) (\(\rho = 0\) 가설).

§ 7.4 Bock 데이터 예 의 검정:

standard MRM vs MRM + NS-AR(1) (\(\rho = 0\) 가설).
\(\chi^2_1 = 992.5 - 986.7 = 5.8\), df = 1.
nominal p-value = 0.016, 보정 후 p = 0.016 / 2 = 0.008.
→ MRM + NS-AR(1) 채택.

3.2 Boundary 문제 + p-value/2 보정

Verbeke & Molenberghs (2000) 의 boundary 문제

분산 모수 검정 — \(\sigma_\upsilon^2 = 0\), \(\rho = 0\) 같은 가설은 모수 공간 경계 가설.

표준 LR 점근 분포 (\(\chi^2_{\text{df}}\)) 가 부정확 → 점근 분포가 mixture:

\[ \chi^2 \sim \frac{1}{2}\chi^2_0 + \frac{1}{2}\chi^2_1 \quad \text{(경계 모수 1 개)} \]

(자세한 메커니즘은 § 6.3 sub-post 참조.)

결과: 표준 \(\chi^2\) p-value 사용 시 유의 여부를 너무 보수적으로 판단 — 제약 모형 (분산 모수 = 0) 을 너무 자주 채택.

Berkhof & Snijders (2001) 의 실용 보정

표준 LR p-value 를 2 로 나눠서 보고하라.

이 단순 보정이 mixture 분포의 정확한 p-value 와 매우 가까운 근사.

적용 범위:

적용: 분산 구조 비교 (UN vs CS, MRM vs MRM-AC 등) — p-value/2.
적용: 랜덤 효과 추가 검정 (\(r=1\) vs \(r=2\)).
적용: AC 추가 검정 (\(\rho = 0\) vs \(\rho \neq 0\)).
적용 제외: 회귀 계수 (고정 효과) 검정 — 모수 공간 경계 아님.
적용 제외: 두 분산 구조의 직접 비교 (예: AR(1) vs Toeplitz, nested 가 아님).

§7.4 Bock 사례에서 보정 (\(0.016 \to 0.008\)) 이 결정에 영향 없었지만, 경계 부근 (\(p \approx 0.05\)) 사례에서는 보정이 결정적.

3.3 AIC — 식 (7.23)

Akaike Information Criterion (Akaike 1973)

내포되지 않은 (non-nested) 모형 비교용:

\[ \text{AIC} = -2(\log L - p) = -2\log L + 2p \tag{7.23} \]

\(-2\log L\): deviance (적합도). 작을수록 좋음.
\(p\): 모수 수.
페널티: 모수당 2.
작은 AIC 선호.

AIC 의 매력 — 다중 회귀의 Mallows \(C_p\) 와 일치

선형 회귀에서 Mallows \(C_p\):

\[ C_p = \frac{\text{RSS}_p}{\hat\sigma^2} - n + 2p \]

(RSS = 잔차 제곱합, \(\hat\sigma^2\) = full 모형의 잔차 분산.)

AIC 가 정규 가정 하에서 \(C_p\) 와 정확히 동치 → AIC 는 다중 회귀의 모형 선택 도구를 종단 데이터로 자연 일반화.

해석: AIC 는 예측력 (out-of-sample) 을 최적화. 약간 더 복잡한 모형 선호 가능.

3.4 BIC — 식 (7.24)

Bayesian Information Criterion (Schwarz 1978)

또 다른 non-nested 비교용:

\[ \text{BIC} = -2(\log L - \frac{1}{2} p \log N) = -2\log L + p \log N \tag{7.24} \]

페널티: 모수당 \(\log N\) (\(N\) = 표본 크기).
작은 BIC 선호.

3.5 \(N\) 의 의미 — 가장 큰 함정

종단 데이터에서 \(N\) 은 무엇인가

종단 데이터의 BIC 계산에서 \(N\) 의 두 가지 가능성:

Level-2 (피험자 수): 예 75 명.
Level-1 (총 관측치 수): 예 75 × 6 = 450.

두 선택이 BIC 값을 매우 다르게 만든다 — \(\log N\) 이 \(\log 75 \approx 4.3\) vs \(\log 450 \approx 6.1\).

Raftery (1995) 권장: level-2 (피험자 수) 사용. SAS PROC MIXED 의 default: level-2 (Hedeker §7.3 본문 명시). 본 sub-post 의 convention: level-2 (Hedeker 책 따라).

직관 — 왜 level-2 가 적절한가

종단 데이터의 “독립 단위” 는 시점이 아니라 피험자다. BIC 의 페널티는 모수 수가 데이터 정보량에 비해 얼마나 큰지를 측정 — 정보량 단위가 피험자.

만약 level-1 (총 관측치) 을 사용하면 모수 페널티가 인위적으로 커져 너무 단순한 모형 선택. 이는 종단 데이터의 자기상관 구조를 표현하는 데 필요한 모수마저 페널라이즈.

3.6 AIC vs BIC — \(N = e^2\) 분기점

정량적 비교 — Hedeker §7.3 본문

BIC 페널티 (\(p \log N\)) > AIC 페널티 (\(2p\)) 의 조건:

\[ \log N > 2 \iff N > e^2 \approx 7.39 \]

종단 데이터에서 \(N\) (피험자 수) 이 8 이상이면 BIC 페널티가 더 큼 → BIC 가 더 절약적 모형 선호.

거의 모든 실용 사례 (\(N \geq 30\)) 에서 BIC 가 AIC 보다 페널티 큼.

\(N\) 별 페널티 비교

\(N\)	\(2p\) (AIC)	\(p \log N\) (BIC)	BIC/AIC 비율
7	\(2p\)	\(1.95p\)	0.97 (거의 같음)
30	\(2p\)	\(3.40p\)	1.70
75	\(2p\)	\(4.32p\)	2.16
100	\(2p\)	\(4.61p\)	2.30
500	\(2p\)	\(6.21p\)	3.10

→ 표본이 커질수록 BIC 가 더 보수적 (절약 모형). 모수 1 개 추가의 비용이 표본에 따라 달라짐.

해석: BIC 는 true model 식별 을 최적화. 큰 표본에서 절약적 모형으로 강하게 수렴.

3.7 Fitzmaurice et al. (2004) 의 BIC 자제 권고

분산-공분산 구조 선택에 BIC 사용 자제

Fitzmaurice, Laird & Ware (2004) 의 Applied Longitudinal Analysis 권고:

분산-공분산 구조 선택에서 BIC 사용을 자제.

이유:

Toeplitz, UN 등 자유도 큰 구조 과도 페널라이즈 → 정보 손실.
종단 데이터의 분산 구조는 종종 복잡한 형태가 진짜 — 너무 단순한 구조 (CS, AR(1)) 가 BIC 에 의해 채택되면 SE 가 부정확.
AIC 가 분산 구조 비교에 더 균형적.

실무 권고:

분산 구조 비교: AIC 우선, BIC 는 보조.
고정 효과 (공변량) 비교: AIC, BIC 둘 다.
둘 다 보고하되 결정은 데이터 적합도 + 해석 용이성 종합.

4 데이터셋 일관성 — 실무 함정

같은 데이터셋에서 비교

LR, AIC, BIC 모두 같은 데이터셋 에서 적합한 모형이어야 비교 가능.

위반 사례 (Hedeker §7.3 본문):

두 모형이 다른 공변량 포함.
일부 공변량에 결측값 존재.
모형 1 은 결측 행 포함, 모형 2 는 그 행을 제외 (해당 공변량 사용으로) → 다른 표본 크기 → 다른 우도 → 비교 무의미.

이 함정은 종단 데이터에서 흔히 발생. 시변 공변량의 일부 시점 결측은 더 미묘.

해결 방법

공통 공변량만 사용 — 비교할 모형들의 공통 변수 집합.
결측 imputation 후 비교 — multiple imputation 등.
결측 없는 부분집합으로 제한 — 표본 크기 줄지만 비교 가능.
Per-protocol vs ITT 분리 보고 — 결측 처리 정책 명시.

종단 임상 시험에서는 ITT (Intention-to-Treat) 가 표준 — 결측 없는 부분집합 분석은 보조.

5 § 6.3 sub-post 와의 차이

두 sub-post 의 강조점 분리

항목	§ 6.3 sub-post (06-5)	본 sub-post (07-5)
출발점	CPM 5 구조 선택	세 패러다임 (MRM/CPM/MRM-AC) 비교
LR 검정 강조	UN 을 full model 로 한 비교	nested vs non-nested 일반론
AIC vs BIC	짧게	\(N=e^2\) 분기점 + Fitzmaurice 권고 깊이
사례	Bock § 6.4 (CPM 4 구조)	Bock § 7.4 (NS-AR(1) 추가 검정)
boundary 보정	mixture 분포 메커니즘 깊이	적용 범위 정리

두 sub-post 는 같은 모형 선택 절차의 다른 측면 을 강조. 본 sub-post 가 Ch.7 의 세 패러다임 통합 시각에 집중.

6 § 7.4 Bock 사례 — NS-AR(1) 추가 검정

§7.4 본문에서 LR 검정의 실제 적용 사례.

Bock 데이터의 두 모형 (Hedeker §7.4 Table 7.1)

Bock WPSS 데이터 (\(N = 75\), 6 주, cross-over) 에 대한 두 MRM 비교:

모형	분산-공분산	모수 추가	\(-2\log L\)
Standard MRM	\(Z\Sigma_\upsilon Z^\top + \sigma^2 I\)	(기준)	992.5
MRM + NS-AR(1)	\(Z\Sigma_\upsilon Z^\top + \sigma^2 \Omega_{\text{NS-AR(1)}}\)	\(\rho\) 추가 (1)	986.7

LR 검정:

\[ \chi^2_1 = 992.5 - 986.7 = 5.8 \]

자유도 = 1 (1 모수 추가 — \(\rho\)).

보정 전 p-value: \(P(\chi^2_1 > 5.8) \approx 0.016\).

boundary 보정 (\(\rho = 0\) 이 모수 공간 경계): \(0.016 / 2 = 0.008\).

→ MRM + NS-AR(1) 채택, 자기상관 통계적으로 유의.

결과의 임상 해석

Hedeker §7.4 본문의 추가 통찰:

고정 효과 추정 거의 동일: 두 모형의 회귀 계수와 SE 가 매우 비슷 → 회귀 계수의 점추정은 분산 구조에 강건.
결론 동일: linear trend, group, group × change of slope 모두 같은 결론.
랜덤 효과 분산 추정 변화: NS-AR(1) 추가 시 \(\hat\Sigma_\upsilon\) 의 추정값이 줄어듦. SE 도 약간 증가.
- 이유: \(\Omega\) 와 \(\Sigma_\upsilon\) 가 같은 데이터의 변동을 설명 → 다중 회귀의 다공선성과 같은 원리.

결론: NS-AR(1) 추가가 통계적으로 유의 + 분산 구조 보정으로 SE 를 더 정확히 추정. 단 회귀 계수의 임상 결론에는 영향 없음.

7 통합 모형 선택 워크플로

Ch.6 + Ch.7 의 통합 절차

EDA — 시점별 분산·lag 별 상관 그림. 시점별 분산 변동 → UN 또는 NS-AR(1) 후보로 좁힘.
Standard MRM (Ch.4-5) 적합 — 랜덤 효과 디자인 결정 (절편만 vs +기울기).
잔차 ACF/PACF 진단:
- 자기상관 없음 → MRM 으로 충분.
- AR(1) 시그너처 (ACF 지수 + PACF lag-1) → MRM + AR(1) 후보.
- MA(1) 시그너처 (ACF lag-1 + PACF 지수) → MRM + MA(1).
- 시점별 분산 증가 → MRM + NS-AR(1).
- 비단조 ACF → MRM + Toeplitz.
Nested 비교 — LR 검정:
- Standard MRM vs MRM + AR(1) (ρ = 0 가설, p-value/2 보정).
- Standard MRM vs random slopes (σ_v1² = 0 가설, 보정).
Non-nested 비교 — AIC (BIC 보조):
- MRM + AR(1) vs MRM + Toeplitz.
- MRM + AR(1) vs CPM-Toeplitz.
- 세 패러다임 (MRM, CPM, MRM-AC) 의 비교.
데이터셋 일관성 검증 — 모든 비교 모형이 같은 표본에서 적합.
최종 보고:
- 분산-공분산 구조 명시.
- \(\hat\rho\) (또는 다른 AC 모수) + SE.
- 회귀 계수의 강건성 검증 (분산 구조 변경 시 변화 비교).

8 코드 예시

8.1 Step 1: LR 검정 + boundary 보정 함수

import numpy as np
from scipy import stats


def lr_test_boundary(deviance_reduced: float,
                     deviance_full: float,
                     df: int,
                     boundary: bool = True) -> dict:
    """LR 검정 + boundary 보정

    boundary:
        True  — 분산 모수 검정 (p-value/2 보정).
        False — 회귀 계수 검정 (보정 안 함).
    """
    chi2 = deviance_reduced - deviance_full
    p_raw = 1 - stats.chi2.cdf(chi2, df=df)
    p_corrected = p_raw / 2 if boundary else p_raw
    return {
        "chi2": chi2,
        "df": df,
        "p_raw": p_raw,
        "p_corrected": p_corrected,
        "decision_at_05": "Full 채택" if p_corrected < 0.05 else "Reduced 채택",
    }


# Hedeker Table 7.1 사례 — NS-AR(1) 추가 검정
result = lr_test_boundary(
    deviance_reduced=992.5,   # standard MRM
    deviance_full=986.7,       # MRM + NS-AR(1)
    df=1,                       # rho 1 개 추가
    boundary=True,              # 분산 모수
)
print(f"chi2 = {result['chi2']:.2f}")
print(f"p_raw = {result['p_raw']:.4f}")
print(f"p_corrected = {result['p_corrected']:.4f}")
print(result['decision_at_05'])
# 검증: chi2=5.80, p_raw=0.016, p_corrected=0.008 → MRM+NS-AR(1) 채택

8.2 Step 2: AIC·BIC 비교 표 + \(N=e^2\) 분기점

import numpy as np
import pandas as pd


def aic_bic_comparison(deviances: dict, q_values: dict, N: int) -> pd.DataFrame:
    """여러 모형의 AIC·BIC 비교 + 페널티 비율"""
    out = []
    for name, dev in deviances.items():
        q = q_values[name]
        aic = dev + 2 * q
        bic = dev + q * np.log(N)
        out.append({
            "Structure": name,
            "q": q,
            "deviance": dev,
            "AIC": aic,
            "BIC": bic,
            "AIC_rank": None,
            "BIC_rank": None,
        })
    df = pd.DataFrame(out)
    df["AIC_rank"] = df["AIC"].rank().astype(int)
    df["BIC_rank"] = df["BIC"].rank().astype(int)
    return df.sort_values("AIC")


# Bock-like 5 모형 비교 (가상)
deviances = {
    "Standard MRM":        1010.0,
    "MRM + AR(1)":          1004.0,
    "MRM + ARMA(1,1)":      1003.5,
    "MRM + Toeplitz":       1000.0,
    "MRM + NS-AR(1)":        998.0,
    "CPM-UN":                995.0,
}
q_values = {
    "Standard MRM":         4,
    "MRM + AR(1)":          5,
    "MRM + ARMA(1,1)":      6,
    "MRM + Toeplitz":       9,
    "MRM + NS-AR(1)":       5,
    "CPM-UN":              21,
}
N = 75  # level-2

table = aic_bic_comparison(deviances, q_values, N)
print(table.to_string(index=False))

# 분기점 검증: log(75) = 4.32 vs 2
print(f"\nlog(N=75) = {np.log(N):.3f}")
print(f"BIC penalty per param = {np.log(N):.2f} (vs AIC's 2)")
print(f"BIC/AIC penalty ratio = {np.log(N) / 2:.2f}")

결과 해석

위 가상 사례에서 BIC 가 AIC 와 다른 결론 가능:

AIC: deviance 가 가장 작은 CPM-UN (q=21) 을 우선.
BIC: 페널티 (\(21 \times 4.32 = 90.7\)) 가 deviance 차이 (\(-15\)) 를 압도 → MRM + AR(1) 또는 MRM + NS-AR(1) 같은 절약 모형 선호.

Fitzmaurice 권고에 따라 분산 구조 선택은 AIC 우선. 절약 모형이 적합도가 비슷하면 (AIC 차이 < 2) 절약 선택.

8.3 Step 3: 데이터셋 일관성 검증 함수

import pandas as pd


def check_dataset_consistency(df: pd.DataFrame,
                              model_covariates: list[list[str]]) -> dict:
    """여러 모형의 공변량 집합이 같은 표본을 사용하는지 검증

    각 모형 사용 시 결측이 없는 행의 수를 비교.
    """
    sample_sizes = {}
    for cov_set in model_covariates:
        complete_rows = df[cov_set].notna().all(axis=1).sum()
        sample_sizes[", ".join(cov_set)] = complete_rows

    sizes_unique = set(sample_sizes.values())
    return {
        "sample_sizes": sample_sizes,
        "consistent": len(sizes_unique) == 1,
        "max_difference": max(sample_sizes.values()) - min(sample_sizes.values()),
    }


# 예시
np.random.seed(2026)
df = pd.DataFrame({
    "x1": np.random.normal(size=100),
    "x2": np.random.normal(size=100),
    "x3": np.random.normal(size=100),
    "y":  np.random.normal(size=100),
})
df.loc[5:10, "x3"] = np.nan  # 6 행에서 x3 결측

result = check_dataset_consistency(
    df,
    [["y", "x1", "x2"], ["y", "x1", "x2", "x3"]],
)
print(result)
# 두 모형의 표본 크기 다름 → LR/AIC 비교 무의미

9 핵심 정리

한 페이지 요약

세 패러다임: MRM (식 7.20), CPM, MRM-AC (식 7.21). 종종 비슷한 적합도, 해석 자연스러움이 선택 기준.
LR 검정 (식 7.22): nested 비교용. \(\chi^2 = -2\log L_{\text{red}} - (-2\log L_{\text{full}})\), df = 모수 차이.
Boundary 보정: 분산 모수 검정에 p-value/2 (Berkhof & Snijders, 2001). 회귀 계수 검정 X.
AIC (식 7.23): non-nested 비교, 페널티 \(2p\). Mallows \(C_p\) 와 동치.
BIC (식 7.24): 페널티 \(p \log N\), \(N\) = level-2 (Raftery 1995).
AIC vs BIC 분기점: \(N > e^2 = 7.39\) 이면 BIC 페널티 더 큼 → 더 절약적.
Fitzmaurice 권고: 분산 구조 선택에 BIC 자제. AIC 우선.
데이터셋 일관성: 모든 비교 모형이 같은 표본에서 적합. 결측 함정 주의.
§ 7.4 Bock 사례: standard MRM vs MRM+NS-AR(1), \(\chi^2_1 = 5.8\), 보정 p = 0.008, NS-AR(1) 채택.
회귀 계수 강건성: 분산 구조 변경 시 점추정 거의 불변, SE 만 영향. 임상 결론은 분산 구조 선택에 비교적 둔감.

§7.3 의 통합 시각: 세 패러다임을 통합한 모형 선택 절차 + nested vs non-nested 도구 매핑 + 분산 모수의 boundary 처리. § 6.3 sub-post 의 일반론을 Ch.7 의 맥락 (세 패러다임) 으로 확장.

10 다음 단계

주제	내용	위치
§ 7.4 Bock 데이터 적합	NS-AR(1) 추가의 회귀 계수·랜덤 효과 변화	작성 예정 (`07-6-mrm-ac-bock-example.qmd`)
Ch.8 GEE	CPM 의 비정규 일반화	미작성
Ch.9 GLMM 이항	비정규 반응의 MRM	미작성 (mm-06 참조)

11 관련 주제

선행 지식

Ch.7 Overview — MRM with AC errors — 5 구조 + framework
§ 7.2.1-7.2.2 — AR(1)·MA(1) — 두 절약 구조
§ 7.2.3-7.2.4 — ARMA(1,1)·Toeplitz — 두 유연 구조
§ 7.2.5 — NS-AR(1) — 비정상 구조