Ch.7 Overview — MRM with Autocorrelated Errors

조건부 독립 가정 완화 · MRM + CPM 결합 · 5 자기상관 구조 · 모형 선택 · Bock 항우울제 예제

Hedeker & Gibbons (2006) Ch.7 의 종합 overview. Ch.4-5 의 MRM 은 조건부 독립 가정 (\(\varepsilon_i \sim \mathcal{N}(0, \sigma^2 I)\)) 위에서 작동하고, Ch.6 의 CPM 은 분산-공분산 행렬 자체를 직접 모형화한다. Ch.7 은 두 접근을 결합하여 MRM 의 랜덤 효과 (\(Z_i \upsilon_i\)) 와 CPM 의 자기상관 오차 (\(\sigma^2 \Omega_i\)) 를 같은 모형에 둔다. 결과 분산-공분산 \(V(y_i) = Z_i\Sigma_\upsilon Z_i' + \sigma^2 \Omega_i\) 는 종단 데이터의 가장 유연한 표현이다. § 7.1 도입, § 7.2 일반 framework + 5 자기상관 구조 (AR(1)·MA(1)·ARMA(1,1)·Toeplitz·NS-AR(1)) 요약, § 7.3 모형 선택, § 7.4 Bock 항우울제 데이터 적합 패턴까지 정리한다.

Statistics
저자

Kwangmin Kim

공개

2026년 05월 14일

1 들어가며 — Ch.7 의 위치

Hedeker 책의 Ch.4 부터 Ch.7 까지의 흐름:

Chapter 내용 \(V(y_i)\) 형태 핵심 가정
Ch.4 MRM (랜덤 절편) \(\sigma_\upsilon^2 \mathbf{1}\mathbf{1}^\top + \sigma^2 I\) 조건부 독립
Ch.5 MRM (랜덤 절편 + 추세) \(Z_i\Sigma_\upsilon Z_i^\top + \sigma^2 I\) 조건부 독립
Ch.6 CPM (공분산 패턴) \(\Sigma_i\) 직접 명세 랜덤 효과 없음
Ch.7 MRM + AC 오차 \(Z_i\Sigma_\upsilon Z_i^\top + \sigma^2 \Omega_i\) 조건부 독립 가정 완화

Ch.7 은 Ch.4-5 의 MRM 과 Ch.6 의 CPM 을 결합한다. 두 chapter 의 핵심 도구를 하나의 모형으로 통합:

  • Ch.4-5 의 도구: 랜덤 효과 \(Z_i\upsilon_i\) — 피험자별 절편·기울기 차이 모형화.
  • Ch.6 의 도구: 자기상관 오차 행렬 \(\Omega_i\) — 시간적 의존 모형화.
  • Ch.7 의 통합: 두 도구가 같은 모형 안에서 동시 작동.
두 종류의 의존성 — 왜 둘 다 필요한가

종단 임상 데이터는 두 가지 통로로 시점들이 의존한다.

  1. 피험자 차이 — 환자 A 의 baseline WPSS 가 5, 환자 B 가 2 라면, A 의 모든 시점이 B 보다 일관되게 높음. 이 의존성은 피험자별 랜덤 효과 (\(\upsilon_i\)) 로 자연스럽게 잡힌다.

  2. 시간 momentum — 같은 환자에서 어제 우울했으면 오늘도 우울할 경향. 이 의존성은 자기상관 오차 (\(\Omega_i\)) 로 잡힌다.

표준 MRM (Ch.4-5) 만으로는 시간 momentum 을 못 잡고, CPM (Ch.6) 만으로는 피험자 차이를 분리 못한다. Ch.7 의 결합 모형이 두 종류 의존성을 동시 표현하는 가장 자연스러운 길.

본 overview 는 Ch.7 의 4 개 절을 차례로 정리한다.

  • § 7.1 Introduction — 자기상관 오차의 도입 동기
  • § 7.2 MRMs with AC Errors — 일반 framework + 5 자기상관 구조 (상세는 § 7.2 sub-post)
  • § 7.3 Model Selection — LR 검정·AIC·BIC + CPM vs MRM vs MRM-AC 비교
  • § 7.4 Example — Bock 항우울제 데이터의 적합 패턴

2 § 7.1 — Introduction: 왜 자기상관 오차인가

2.1 표준 MRM 의 가정 점검

Ch.4-5 에서 정의한 MRM (식 7.1):

\[ y_i = X_i\beta + Z_i\upsilon_i + \varepsilon_i, \qquad \varepsilon_i \sim \mathcal{N}_{n_i}(0, \sigma^2 I_{n_i}) \tag{7.1} \]

마진 분산-공분산:

\[ V(y_i) = Z_i\Sigma_\upsilon Z_i^\top + \sigma^2 I_{n_i} \tag{7.2} \]

식 (7.2) 가 가정하는 것 — 조건부 독립

오차 분산-공분산 \(\sigma^2 I\) 가 단위 행렬이라는 것이 의미하는 두 가지:

  1. 시점 간 동일 분산: \(V(\varepsilon_{ij}) = \sigma^2\) — 모든 시점에서 같은 분산.
  2. 시점 간 독립: \(\text{Cov}(\varepsilon_{ij}, \varepsilon_{ik}) = 0\) (\(j \neq k\)).

즉 랜덤 효과 \(\upsilon_i\) 가 주어지면 같은 피험자의 시점들이 서로 독립 이라는 강한 가정.

이 가정이 자주 위반되는 임상 시나리오:

  • 우울증 점수: 어제 우울 → 오늘도 우울 (단기 momentum).
  • 혈압 측정: 어제 높음 → 오늘도 높음 (생리적 안정성).
  • 학습 곡선: 어제 잘함 → 오늘도 잘함 (skill carryover).

→ 이 시간적 의존이 랜덤 효과만으로는 잡히지 않는 부분.

2.2 Figure 7.1 vs Figure 7.2 — 시각적 비교

Hedeker 책의 두 그림이 핵심 차이를 직관적으로 보여준다.

ASCII 재현 — 두 그림의 의미

Figure 7.1 (조건부 독립 오차) — 환자 2 명, 50 시점:

관측: ●  ●●  ●  ●●●  ●  ●●  ●  ●●●  ●●  ●  ●  ●●  ●●● ...
trend line ─────────────────────────────────────────

관측이 trend line 주위에 무작위로 흩어짐. 한 시점이 위에 있다고 다음 시점도 위에 있을 이유 없음.

Figure 7.2 (AR(1) 오차, \(\rho = 0.75\)):

관측: ●●●●●▲▲▲▲▲●●●●●▼▼▼▼▼●●●●●▲▲▲▲▲●●●●●▼▼▼▼▼ ...
trend line ─────────────────────────────────────────

관측이 연속된 위/아래 streaks 로 그룹화. 한 시점이 위에 있으면 다음 몇 시점도 위에 있을 가능성이 높음.

→ Streaks 가 자기상관의 시각적 시그너처. AR(1) 모수 \(\rho = 0.75\) 가 강해 streaks 가 명확하지만, 실제 데이터에서는 보통 \(\rho \approx 0.2 \sim 0.5\) 범위로 더 미묘.

진단 도구: 표준 MRM 적합 후 잔차의 ACF/PACF 도표. lag-1 이상의 상관이 있으면 자기상관 모형 (Ch.7) 으로 확장.

2.3 역사적 배경

자기상관 오차를 회귀 모형에 포함하는 아이디어는 계량경제학 문헌 (MaCurdy 1982, 종단 소득 데이터) 에 잘 정립되어 있다. MRM 의 자기상관 확장에 대한 핵심 참고문헌:

  • Chi & Reinsel (1989) — MRM with AR(1) 오차의 표준 reference.
  • Mansour et al. (1985), Hedeker (1989), Jones & Boadi-Boateng (1991), Rochon (1992).

Ch.7 은 이 흐름을 종단 데이터 분석의 일반 framework 로 정리한다.

3 § 7.2 — MRM with AC Errors: 일반 Framework

3.1 모형 정의

정의: MRM with Autocorrelated Errors

오차 분포를 \(\varepsilon_i \sim \mathcal{N}(0, \sigma^2 \Omega_i)\) 로 일반화 (단위 행렬 \(I\) 를 자기상관 행렬 \(\Omega_i\) 로 대체):

\[ y_i = X_i\beta + Z_i\upsilon_i + \varepsilon_i, \quad \upsilon_i \sim \mathcal{N}(0, \Sigma_\upsilon), \quad \varepsilon_i \sim \mathcal{N}(0, \sigma^2 \Omega_i) \]

마진 분산-공분산:

\[ V(y_i) = Z_i\Sigma_\upsilon Z_i^\top + \sigma^2 \Omega_i \tag{7.3} \]

  • \(Z_i\Sigma_\upsilon Z_i^\top\): 피험자 간 이질성 (Ch.4-5 의 랜덤 효과 부분).
  • \(\sigma^2 \Omega_i\): 시간적 자기상관 (모든 피험자에 공통인 오차 구조).
  • \(\Omega_i\) 는 \(q\) 개 자기상관 모수의 함수, 형태는 5 가지 중 선택.

특수 경우:

  • \(\Omega_i = I_i\) → 표준 MRM (Ch.4-5, 식 7.2).
  • \(Z_i = 0\) → CPM (Ch.6).
  • 둘 다 비단순 → MRM-AC (Ch.7).
\(I \to \Omega\) — 우아한 일반화

식 (7.3) 의 형태가 식 (7.2) 와 정확히 같고 단위 행렬 \(I\) 자리에 \(\Omega\) 만 들어간 것 이다. 이 한 줄 일반화의 결과:

  1. 추정 알고리즘 그대로: Ch.4 의 EM·Fisher Scoring 등이 그대로 적용. 행렬 연산만 확장.
  2. 모든 직관 transfer: Ch.4 의 EB (Empirical Bayes) 추정·BLUP·고정 효과 추정 직관이 AC 모형에서도 동일한 형태.
  3. 소프트웨어 구현 단순: 기존 MRM 코드에 \(\Omega\) 행렬 인자만 추가.

이 우아함이 Ch.7 의 수학적 매력 — 새로운 추정 이론을 짓지 않고 기존 framework 의 자연 확장.

3.2 EB 추정과 사후 공분산

식 (7.5)-(7.6) 의 형태가 Ch.4 과 정확히 같다 (단 \(I \to \Omega\)):

\[ \hat\upsilon_i = [Z_i^\top (\sigma^2 \Omega_i)^{-1} Z_i + \Sigma_\upsilon^{-1}]^{-1} Z_i^\top (\sigma^2 \Omega_i)^{-1} (y_i - X_i\beta) \tag{7.5} \]

\[ \Sigma_{\upsilon \mid y_i} = [Z_i^\top (\sigma^2 \Omega_i)^{-1} Z_i + \Sigma_\upsilon^{-1}]^{-1} \tag{7.6} \]

이는 § 4.5 MRM 추정론 의 EB 추정 식과 정확히 같은 구조다. 모든 직관과 알고리즘이 그대로 transfer.

4 § 7.2 의 5 자기상관 구조 — 한 페이지 요약

이 5 구조의 자세한 식·매트릭스·직관·코드는 § 7.2 sub-post 에서 다룬다. 본 overview 에서는 핵심 요약.

4.1 5 구조 비교 표

구조 자유 모수 \(q\) 핵심 가정 적합 패턴
AR(1) 2 (\(\sigma^2, \rho\)) 정상성, 지수 감쇠 시계열 표준, 단기 momentum
MA(1) 2 (\(\sigma^2, \theta\)) 정상성, lag-1 만 상관 hard cutoff, 매우 단기 의존
ARMA(1,1) 3 (\(\sigma^2, \rho, \theta\)) 정상성, lag-1 강 + 후속 감쇠 약물 carryover, 인접 강
Toeplitz \(n\) 정상성, lag 별 자유 비단조 패턴, 주기성
NS-AR(1) 2 + 추가 비정상성, 분산 시간 증가 학습 효과, 분산 누적

4.2 AR(1) — 가장 흔한 default

AR(1) 정의 (식 7.7-7.13)

오차의 1차 자기회귀:

\[ \varepsilon_j = \rho \varepsilon_{j-1} + \xi_j, \quad \xi_j \sim \mathcal{N}(0, \sigma^2) \text{ i.i.d.} \tag{7.7} \]

정상성 가정 하에서 분산:

\[ V(\varepsilon_j) = \frac{\sigma^2}{1 - \rho^2} \tag{7.10} \]

lag-\(s\) 공분산:

\[ \text{Cov}(\varepsilon_j, \varepsilon_{j-s}) = \frac{\rho^s \sigma^2}{1 - \rho^2} \tag{7.12} \]

분산-공분산 행렬:

\[ \sigma^2 \Omega = \frac{\sigma^2}{1 - \rho^2} \begin{bmatrix} 1 & \rho & \rho^2 & \cdots & \rho^{n-1} \\ \rho & 1 & \rho & \cdots & \rho^{n-2} \\ \rho^2 & \rho & 1 & \cdots & \rho^{n-3} \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ \rho^{n-1} & \rho^{n-2} & \rho^{n-3} & \cdots & 1 \end{bmatrix} \tag{7.13} \]

Ch.6 § 6.2.2 의 AR(1) 과 차이 — 표기만 다름

Ch.6 § 6.2.2 의 AR(1) 식 (6.4) 와 본 식 (7.13) 을 비교하면 분산 항만 다르다.

  • 식 (6.4): \(\sigma_{(6.4)}^{*2} \cdot \rho^{|j-j'|}\) (분산 = \(\sigma_{(6.4)}^{*2}\))
  • 식 (7.13): \(\frac{\sigma^2}{1-\rho^2} \cdot \rho^{|j-j'|}\) (분산 = \(\sigma^2/(1-\rho^2)\))

두 표기의 관계: \(\sigma_{(6.4)}^{*2} = (1-\rho^2)\sigma^2\).

식 (6.4) 는 생물통계 문헌의 표기 (분산이 직접), 식 (7.13) 은 시계열·계량경제 표기 (\(\xi_j\) 의 분산이 직접). 데이터 분석 결과는 동일 — 표기 문제일 뿐.

AR(1) 의 직관 — “기억의 지수적 망각”

\(\rho = 0.5\) 일 때 lag 별 상관:

  • lag 1: \(\rho = 0.5\)
  • lag 2: \(\rho^2 = 0.25\)
  • lag 3: \(\rho^3 = 0.125\)
  • lag 5: 0.031 (거의 무관)

기억이 등비수열로 사라진다 — Markov 1단계 성질.

식 (7.7) 의 점화식이 의미하는 바: “오늘의 오차는 어제 오차의 일부 (\(\rho\) 배) + 새 잡음.” 어제만으로 미래 충분 정보 (mean-square sense).

4.3 MA(1) — Hard Cutoff

MA(1) 정의 (식 7.16)

\[ \varepsilon_j = \xi_j - \theta \xi_{j-1}, \quad \xi_j \sim \mathcal{N}(0, \sigma^2) \tag{7.16} \]

정상성 분산-공분산:

\[ \sigma^2 \Omega = \sigma^2 \begin{bmatrix} 1 + \theta^2 & -\theta & 0 & \cdots & 0 \\ -\theta & 1 + \theta^2 & -\theta & \cdots & 0 \\ 0 & -\theta & 1 + \theta^2 & \cdots & 0 \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & 0 & \cdots & 1 + \theta^2 \end{bmatrix} \]

대각: \((1+\theta^2)\sigma^2\), lag-1: \(-\theta\sigma^2\), lag \(\geq 2\): 0.

MA(1) 의 직관 — “hard cutoff”

lag-1 만 상관 있고 그 이상은 정확히 0. AR(1) 의 점진적 감쇠와 대비.

왜 CPM 에는 안 쓰고 MRM-AC 에만 쓰는가:

  • CPM 의 marginal \(V(y)\) 에 hard cutoff 는 부자연 — 임상 데이터에서 lag-2 의 상관이 정확히 0 이라는 가정이 비현실적.
  • MRM-AC 의 conditional \(V(\varepsilon)\) 에서는 합리 — 랜덤 효과 (\(\upsilon_i\)) 를 빼고 남은 잔차에서 단 lag-1 의존만 있을 수 있음.

이런 차이가 CPM 의 5 구조에는 MA(1) 가 없고 MRM-AC 의 5 구조에 포함된 이유.

4.4 ARMA(1,1) — lag-1 강조 + 후속 감쇠

ARMA(1,1) 정의 (식 7.17)

\[ \varepsilon_j = \rho \varepsilon_{j-1} + \xi_j - \theta \xi_{j-1} \tag{7.17} \]

3 모수 (\(\sigma^2, \rho, \theta\)). AR(1) 보다 lag-1 의 hump 가 강조.

행렬 형태 (간략화):

\[ \sigma^2 \Omega \approx \begin{bmatrix} \gamma_0 & \gamma_1 & \rho \gamma_1 & \cdots & \rho^{n-2} \gamma_1 \\ \gamma_1 & \gamma_0 & \gamma_1 & \cdots & \rho^{n-3} \gamma_1 \\ \vdots & & & \ddots & \\ \rho^{n-2}\gamma_1 & \rho^{n-3}\gamma_1 & & & \gamma_0 \end{bmatrix} \]

여기서 \(\gamma_0 = 1 + \theta^2 - 2\rho\theta\), \(\gamma_1 = (1 - \rho\theta)(\rho - \theta)\) — Hedeker 책의 식 (7.17) 다음.

ARMA(1,1) 의 직관 — 약물 carryover 패턴

AR(1) 와 MA(1) 를 결합 → lag-1 에서 추가 hump, 그 이후 AR(1) 처럼 지수 감쇠.

적합 시나리오: 약물 단기 carryover 효과처럼 인접 시점에 매우 강한 상관이 있고 이후 빠르게 감쇠. AR(1) 만으로는 lag-1 의 강도를 잡지 못하는 경우.

4.5 Toeplitz — lag 별 자유

Toeplitz 자기상관 (식 7.13 다음)

\[ \sigma^2 \Omega = \sigma^2 \begin{bmatrix} 1 & \rho_1 & \rho_2 & \cdots & \rho_{n-1} \\ \rho_1 & 1 & \rho_1 & \cdots & \rho_{n-2} \\ \rho_2 & \rho_1 & 1 & \cdots & \rho_{n-3} \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ \rho_{n-1} & \rho_{n-2} & \rho_{n-3} & \cdots & 1 \end{bmatrix} \]

각 lag 의 상관 \(\rho_s\) 가 자유 모수. 모수 수: \(n - 1\) (또는 절약 Toeplitz \(s\) 개).

higher-order lag 를 0 으로 묶어 모수 수 감소: \(\rho_1, \ldots, \rho_s, 0, 0, \ldots, 0\).

Toeplitz 의 직관 — 비단조 패턴

AR(1) 의 지수 감쇠 강제, MA(1) 의 hard cutoff 모두 부족할 때.

적합 시나리오: lag 별 상관이 비단조 (예: 주기적, 세번째 시점에서 다시 강해지는 패턴). 시계열 분석에서 ACF 그림이 단순하지 않을 때.

4.6 NS-AR(1) — 비정상

Non-Stationary AR(1)

기본 AR(1) 의 정상성 가정 (분산 시점 무관) 을 풀어 분산이 시점에 따라 변동.

Cholesky factorization 으로 구현 (식 7.19 등). 분산이 시간에 따라 단조 증가하는 형태.

NS-AR(1) 의 직관 — 학습 효과 누적

처치 효과 누적, baseline 으로부터 멀어질수록 분산이 커지는 패턴 (Bock WPSS 데이터의 fan-out 패턴과 유사).

기본 AR(1) 의 정상성을 깨면서도 lag 의 지수 감쇠 구조는 유지하는 절충.

5 § 7.3 — 모형 선택: LR 검정·AIC·BIC

5.1 세 모형 패러다임의 비교

CPM vs MRM vs MRM-AC

같은 데이터에 세 종류의 분산-공분산 구조를 적합 가능:

모형 \(V(y_i)\) 자유 모수 강점
MRM (Ch.4-5) \(Z_i\Sigma_\upsilon Z_i^\top + \sigma^2 I\) \(r(r+1)/2 + 1\) 개인별 추론 (BLUP)
CPM (Ch.6) 5 구조 중 직접 명세 구조 의존 분산 구조 자체 모형화
MRM + AC (Ch.7) \(Z_i\Sigma_\upsilon Z_i^\top + \sigma^2 \Omega_i\) MRM + \(\Omega\) 모수 둘 다

핵심 통찰: 세 모형이 종종 비슷한 적합도 를 줄 수 있다. 예를 들어 Toeplitz CPM 과 MRM-AC(Toeplitz) 가 reparameterization 으로 동치일 수 있음 (랜덤 효과를 디자인에 흡수).

선택 기준은 통계적 적합도뿐 아니라 해석의 자연스러움:

  • 개인별 추세 해석이 본질이면 → MRM 또는 MRM-AC.
  • 분산 구조 자체가 연구 질문이면 → CPM.
  • 둘 다 필요하면 → MRM-AC.

5.2 LR 검정 (식 7.22)

내포 (nested) 모형 비교:

\[ \chi^2 = -2\log\hat L_{\text{reduced}} - (-2\log\hat L_{\text{full}}) = 2(\log\hat L_{\text{full}} - \log\hat L_{\text{reduced}}) \tag{7.22} \]

자유도 = full vs reduced 의 모수 수 차이.

5.2.1 분산 모수 검정의 boundary 보정

§ 6.3 모형 선택 sub-post 에서 자세히 다룬 내용 — 본 chapter 에도 동일 적용.

p-value/2 보정

\(\rho = 0\), \(\sigma_\upsilon^2 = 0\) 같은 분산 모수 검정은 모수 공간 경계 (boundary) 가설. 표준 \(\chi^2\) 점근 분포가 부정확 → mixture 분포.

실용 보정 (Snijders & Bosker, 1999; Berkhof & Snijders, 2001): 일반 LR p-value 를 2 로 나눔.

  • 적용: \(\rho = 0\) (AC 추가 검정), \(\sigma_\upsilon^2 = 0\) (랜덤 효과 추가 검정).
  • 적용 제외: 회귀 계수 검정 (모수 공간 경계 아님).

5.3 AIC, BIC (식 7.23-7.24)

내포되지 않은 모형 비교 (예: MRM-AR(1) vs CPM-Toeplitz):

\[ \text{AIC} = -2\log\hat L + 2p \tag{7.23} \]

\[ \text{BIC} = -2\log\hat L + p \log N \tag{7.24} \]

\(p\): 모수 수, \(N\): 표본 크기 (level-2 = 피험자 수가 표준 — Raftery 1995 권장).

AIC vs BIC — 분산 구조 선택에 어느 것?

\(N \geq 8\) 이면 (보통 성립) BIC 의 페널티 (\(p \log N\)) 가 AIC 의 페널티 (\(2p\)) 보다 큼 → BIC 가 더 절약적 모형 선호.

Fitzmaurice et al. (2004) 의 권고: 분산-공분산 구조 선택에 BIC 사용 자제. Toeplitz 등 자유도 큰 구조를 과도하게 페널라이즈해 정보 손실. AIC 가 더 균형적.

실무: 둘 다 보고하되 결정은 데이터 적합도 + 해석 용이성 종합.

5.4 모형 비교 시 주의 — 같은 데이터셋

결측 처리의 함정

LR, AIC, BIC 모두 같은 데이터셋 에서 비교해야 의미.

위반 사례: 두 모형이 다른 공변량 포함 + 그 공변량의 일부가 결측 → 두 모형이 다른 표본 크기 (결측 행 제외) 로 적합 → 우도 직접 비교 무의미.

해결:

  • 공통 공변량만 사용.
  • 또는 결측 imputation 후 비교.
  • 또는 결측 없는 부분집합으로 제한.

6 § 7.4 — Bock 항우울제 데이터 적합 패턴

6.1 데이터 (Ch.6 § 6.4 와 동일)

Bock (1983b) WPSS 데이터:

  • \(N = 75\) 우울증 환자, 6 주 추적, cross-over 설계.
  • TCA-None (\(n = 46\)): 첫 3 주 약물 → 다음 3 주 무약물.
  • None-TCA (\(n = 29\)): 첫 3 주 무약물 → 다음 3 주 약물.

직교 대비 (Linear trend, Change of slope) 코딩.

6.2 비교한 모형들

Hedeker 본문에서 적합한 모형 패턴
모형 분산-공분산 모수 수
Random intercept + slope (Ch.5) \(Z\Sigma_\upsilon Z^\top + \sigma^2 I\) 4 (= 3 + 1)
MRM + AR(1) \(Z\Sigma_\upsilon Z^\top + \sigma^2 \Omega_{\text{AR(1)}}\) 5 (= 4 + 1)
MRM + ARMA(1,1) \(Z\Sigma_\upsilon Z^\top + \sigma^2 \Omega_{\text{ARMA}}\) 6
MRM + Toeplitz \(Z\Sigma_\upsilon Z^\top + \sigma^2 \Omega_{\text{Toep}}\) \(4 + n\)

(정확한 deviance 수치는 § 7.4 sub-post 가 작성되면 거기서 다룸 — Bock 데이터의 정밀 재현은 본 overview 의 범위를 넘음.)

6.3 일반적 결과 패턴

Bock 데이터에서 흔히 관찰되는 패턴

Hedeker 본문 + 후속 분석들에서:

  • Random intercept + slope 만 (Ch.5): baseline 적합. 6 주 우울증 추적의 큰 부분 (개인별 변동) 잡음.
  • + AR(1): \(\hat\rho \approx 0.2 \sim 0.3\), LR \(\chi^2_1 \approx 2 \sim 5\), p-value 약간 유의. 모수 1 추가로 적합도 약간 개선.
  • + ARMA(1,1): AR(1) 와 거의 차이 없음 (lag-1 의 추가 분리가 데이터에서 잡히지 않음).
  • + Toeplitz: 자유도 많아 적합도 가장 높지만 AIC 페널티로 손해.

최종 모형 선택: AIC 기준 보통 AR(1) 가 우위. 해석도 가장 단순.

Fixed effects 의 강건성: Linear, Change of slope 의 추정값이 분산 구조에 거의 무관하게 안정적 — 회귀 계수의 점추정은 분산 구조 선택에 강건. 단 SE 와 검정 결과는 영향.

6.4 자기상관 모수의 임상 의미

\(\hat\rho\) 가 의미하는 것 — Bock 데이터 예

\(\hat\rho \approx 0.25\) 라면:

  • 어제 오차의 25% 만큼이 오늘 오차에 carry over.
  • 즉 랜덤 효과 (피험자별 trend) 를 제거하고 남은 잔차에서, 인접 주차 간 상관이 약 0.25.
  • 2 주 간격: \(0.25^2 \approx 0.06\) (거의 무관).
  • 3 주 이상: 사실상 0.

임상 해석: 주 단위 측정에서 단기 momentum 은 약함 — 일별 측정이었다면 더 강한 자기상관 예상. 주별 임상 평가에서는 랜덤 효과가 더 큰 의존성 통로.

검정: \(H_0: \rho = 0\) (표준 MRM) vs \(H_1: \rho \neq 0\) (MRM + AR(1)). LR \(\chi^2_1\), p-value/2 보정 적용. 유의하면 AC 추가 정당화.

7 통합 워크플로 — 5 단계

자기상관 검토를 포함한 종단 분석 절차

1. 표준 MRM 적합 — 랜덤 절편 (필요 시 + 기울기). Ch.4-5 절차.

2. 잔차 진단 — 잔차의 ACF/PACF 도표 + Ljung-Box 검정. 유의한 자기상관 여부 확인.

3. 자기상관 구조 후보 — ACF/PACF 패턴으로:

  • 지수 감쇠 → AR(1)
  • lag-1 만 → MA(1)
  • lag-1 강 + 빠른 감쇠 → ARMA(1,1)
  • 비단조 → Toeplitz
  • 분산 시간 증가 → NS-AR(1)

4. 후보 모형 적합 + 비교 — AIC + LR. 구조 1-2 개로 좁힘.

5. 최종 보고:

  • 분산-공분산 구조 명시.
  • \(\hat\rho\) (또는 다른 AC 모수) 와 SE.
  • Fixed effects 의 robust 검증 (분산 구조 변경 시 변화 비교).

8 코드 예시

8.1 R nlme — 표준 도구

library(nlme)

# 1. 표준 MRM (랜덤 절편 + 기울기, 조건부 독립)
fit_mrm <- lme(score ~ Linear + SlopeChange,
               random = ~ Linear | subject,
               data = bock,
               method = "ML")

# 2. + AR(1) 오차
fit_ar1 <- update(fit_mrm,
                  correlation = corAR1(form = ~ week | subject))

# 3. + MA(1) 오차 (corARMA p=0, q=1)
fit_ma1 <- update(fit_mrm,
                  correlation = corARMA(form = ~ week | subject, p = 0, q = 1))

# 4. + ARMA(1,1)
fit_arma <- update(fit_mrm,
                   correlation = corARMA(form = ~ week | subject, p = 1, q = 1))

# 5. + Toeplitz (corARMA p=0, q=n-1)
fit_toep <- update(fit_mrm,
                   correlation = corARMA(form = ~ week | subject, p = 0, q = 5))

# AIC + LR 비교
AIC(fit_mrm, fit_ar1, fit_ma1, fit_arma, fit_toep)
anova(fit_mrm, fit_ar1)        # LR for AR(1) vs no-AC
anova(fit_ar1, fit_arma)       # LR for ARMA vs AR(1) (nested)

# AR(1) 모수 추출
coef(fit_ar1$modelStruct$corStruct, unconstrained = FALSE)
# Phi = rho_hat

# 잔차 ACF (자기상관 진단)
plot(ACF(fit_mrm, resType = "normalized"))

8.2 Python statsmodels — 제한적

statsmodels MixedLM 은 랜덤 효과만 지원, AC 오차 직접 지원 안 함. 우회 옵션:

import statsmodels.api as sm
import statsmodels.formula.api as smf
from statsmodels.tsa.stattools import acf

# 표준 MRM 적합
model = smf.mixedlm(
    "score ~ Linear + SlopeChange",
    data=df,
    groups=df["subject"],
    re_formula="~Linear",
)
result = model.fit()
print(result.summary())

# 잔차 ACF 진단
residuals = result.resid
acf_values = acf(residuals, nlags=10)
print(f"ACF (lag 1-10): {acf_values[1:11]}")

# AC 가 있어 보이면 R nlme/lme4 또는 SAS PROC MIXED 로 이전 권장
도구 선택 가이드
도구 AC 오차 지원 추천
R nlme::lme 강력 (corAR1, corARMA, corCAR1 등) 권장
R lme4::lmer 직접 지원 안 함 (랜덤 효과만) AC 시 nlme
R glmmTMB 일부 지원 (AR1, OU 등) 비정규 반응 시
SAS PROC MIXED 강력 (repeated /type= 다양) 임상 표준
Python statsmodels 직접 지원 안 함 진단만

9 핵심 정리

Ch.7 한 페이지 요약
  1. 출발점: Ch.4-5 의 MRM 은 조건부 독립 가정 (\(\varepsilon \sim \mathcal{N}(0, \sigma^2 I)\)). 임상에서 자주 위반.
  2. 확장: 단위 행렬 \(I\) 를 자기상관 행렬 \(\Omega\) 로 대체 → \(\varepsilon \sim \mathcal{N}(0, \sigma^2 \Omega)\).
  3. 결합 모형: \(V(y_i) = Z_i\Sigma_\upsilon Z_i^\top + \sigma^2 \Omega_i\) — 두 의존성 통로 (피험자 차이 + 시간 momentum) 동시 모형화.
  4. 5 자기상관 구조: AR(1), MA(1), ARMA(1,1), Toeplitz, NS-AR(1). 각각 적합 패턴 다름.
  5. \(I \to \Omega\) 일반화: Ch.4 의 추정 식 그대로 transfer (\(I\) 를 \(\Omega\) 로 대체). 새 이론 불필요.
  6. CPM 과의 관계: MRM-AC = CPM (Ch.6) 에 랜덤 효과 추가. 두 패러다임의 일반 결합.
  7. 모형 선택: LR (분산 모수는 p-value/2 보정), AIC (BIC 보다 권장 — Fitzmaurice et al. 2004).
  8. 세 패러다임 비교: MRM (Ch.4-5), CPM (Ch.6), MRM-AC (Ch.7) — 종종 비슷한 적합도. 해석 자연스러움이 선택 기준.
  9. Fixed effects 강건성: 회귀 계수 점추정은 분산 구조에 거의 무관, SE 와 검정 결과는 영향.
  10. Bock 패턴: AR(1) 가 default 우위, \(\hat\rho \approx 0.2 \sim 0.3\) 범위 흔함. 주 단위 임상 측정에서 자기상관 약함.

Ch.7 의 핵심 통찰: \(I \to \Omega\) 의 우아한 일반화로 종단 데이터의 두 의존성 통로 (랜덤 효과 + 자기상관) 를 한 모형에 결합. 가장 유연한 분산-공분산 구조.

절 내용 핵심 식
§ 7.1 Introduction — 자기상관 동기 (7.1)-(7.2)
§ 7.2 MRM with AC errors + 5 구조 (7.3)
§ 7.3 Model selection (LR/AIC/BIC) (7.22)-(7.24)
§ 7.4 Bock antidepressant 예제 —

10 다음 단계 — Ch.7 시리즈

주제 위치
Ch.7 § 7.1 도입 본 overview 흡수
Ch.7 § 7.2 — 5 구조 상세 § 7.2 sub-post (작성됨)
Ch.7 § 7.3 — 모형 선택 § 6.3 모형 선택 sub-post 와 통합 가능 (Ch.6·7 공통 절차)
Ch.7 § 7.4 — Bock 분석 sub-post 작성 예정 (07-2-cpm-bock-ac-example.qmd)
Ch.8 GEE 미작성 — CPM 의 비정규 일반화

11 관련 주제

선행 지식

Ch.6 시리즈

후속 주제

교재

  • Hedeker, D. & Gibbons, R. D. (2006). Longitudinal Data Analysis, Wiley, Ch.7 (pp. 113-129)
  • Chi, E. M. & Reinsel, G. C. (1989). “Models for longitudinal data with random effects and AR(1) errors”, JASA 84, 452-459 — MRM-AR(1) 의 표준 reference
  • MaCurdy, T. E. (1982). “The use of time series processes to model the error structure of earnings in a longitudinal data analysis”, Journal of Econometrics 18, 83-114 — 계량경제 출처
  • Verbeke, G. & Molenberghs, G. (2000). Linear Mixed Models for Longitudinal Data, Springer — boundary 분포 표준 reference
  • Berkhof, J. & Snijders, T. A. B. (2001). “Variance component testing in multilevel models”, Journal of Educational and Behavioral Statistics 26, 133-152 — p-value/2 보정 분석
  • Fitzmaurice, G. M., Laird, N. M. & Ware, J. H. (2004). Applied Longitudinal Analysis, Wiley — AIC vs BIC 권고
  • Akaike, H. (1973). “Information theory and an extension of the maximum likelihood principle”, 2nd International Symposium on Information Theory, 267-281
  • Schwarz, G. (1978). “Estimating the dimension of a model”, Annals of Statistics 6, 461-464
  • Raftery, A. E. (1995). “Bayesian model selection in social research”, Sociological Methodology 25, 111-163 — BIC 의 \(N\) = level-2 권장
  • Jones, R. H. & Boadi-Boateng, F. (1991). “Unequally spaced longitudinal data with AR(1) serial correlation”, Biometrics 47, 161-175 — 불등간격 확장

Subscribe

Enjoy this blog? Get notified of new posts by email: