§ 7.2.3-7.2.4 — ARMA(1,1) 와 Toeplitz 자기상관 오차 깊이

AR + MA 결합 (3 모수) · lag 별 자유 (s-order 절약) · MA(1) = Toeplitz(2) · 랜덤 절편 = full Toeplitz CPM reparameterization

Hedeker & Gibbons (2006) Ch.7 §7.2.3 (ARMA(1,1)) 와 §7.2.4 (Toeplitz) 의 자세한 풀이. ARMA(1,1) 은 AR(1) 의 점진 감쇠와 MA(1) 의 lag-1 hump 를 결합한 3 모수 구조다. \(\gamma_0 = 1+\theta^2-2\rho\theta\), \(\gamma_1 = (1-\rho\theta)(\rho-\theta)\) 의 형태와 lag-1 hump 의 약물 carryover 직관, AR(1)·MA(1) 을 특수 경우로 포함하는 일반화 관계, 부분자기상관 시그너처를 다룬다. Toeplitz 는 각 lag 가 독립 모수를 갖는 가장 유연한 정상 자기상관 구조 — \(n - 1\) 모수, s-order Toeplitz 의 절약 trick, MA(1) = Toeplitz(2) 등가, 랜덤 절편 + Toeplitz lag-1 자기상관 = full Toeplitz CPM 의 reparameterization (Hedeker §7.2.4 의 핵심 통찰), MRM 관행 vs CPM 관행의 차수 명명 함정까지 정리한다.

Statistics
저자

Kwangmin Kim

공개

2026년 04월 30일

1 들어가며 — 두 유연 구조의 자리

Ch.7 Overview 의 자기상관 5 구조에서 ARMA(1,1) 와 Toeplitz 는 § 7.2.1-7.2.2 의 AR(1)·MA(1) 의 한계를 푸는 두 단계다.

구조 자유 모수 핵심 가정
AR(1) 2 정상성, lag 의 지수 함수로 강제
MA(1) 2 정상성, lag-1 만 상관
ARMA(1,1) 3 정상성, lag-1 hump + 후속 지수 감쇠
Toeplitz \(n-1\) 정상성, lag 별 자유
NS-AR(1) 2+ 비정상

ARMA(1,1) 와 Toeplitz 의 비교 학습 가치:

  1. 두 구조가 AR(1)·MA(1) 의 일반화 — ARMA 는 모수 1 추가, Toeplitz 는 lag 별 자유로 풀어줌.
  2. 함수 형태 가정의 단계적 완화: AR(1) (1 모수 강제) → ARMA(1,1) (3 모수) → Toeplitz (lag 별 자유) → 가장 유연한 정상 구조.
  3. CPM 와의 다중 등가: MA(1) = Toeplitz(2), 랜덤 절편 + Toeplitz = full Toeplitz CPM 등 reparameterization 관계 다수.
  4. 모수 폭발 trade-off: Toeplitz 는 \(n-1\) 자유 모수 — 시점 많을 때 절약 Toeplitz (s-order) 가 절충점.
한 줄 비유

ARMA(1,1): “AR(1) 의 매끄러운 감쇠에 MA(1) 의 lag-1 hump 를 더함 — 약물 carryover 의 표준 모형.” Toeplitz: “거리별 친밀도가 lag 마다 자유 — 단 거리가 같으면 모두 동등.”

ARMA(1,1) 가 더 유연한 함수 형태, Toeplitz 가 형태 가정 전혀 없이 자유.

2 § 7.2.3 — ARMA(1,1)

2.1 정의

ARMA(1,1) 점화식 (식 7.17)

\[ \varepsilon_j = \rho \varepsilon_{j-1} + \xi_j - \theta \xi_{j-1}, \quad \xi_j \sim \mathcal{N}(0, \sigma^2) \text{ i.i.d.} \tag{7.17} \]

  • \(\rho\): AR 자기상관 계수, \(|\rho| < 1\).
  • \(\theta\): MA 자기상관 계수, \(|\theta| < 1\) (가역성).
  • \(\xi_j\): 새 잡음.
  • 모수: \(\sigma^2, \rho, \theta\) — 총 3 개.
직관 — AR(1) 와 MA(1) 의 결합

식 (7.17) 의 두 부분:

  • \(\rho \varepsilon_{j-1}\): AR(1) 의 점진 감쇠 부분 — 어제 오차의 일부가 오늘에 carry over.
  • \(-\theta \xi_{j-1}\): MA(1) 의 lag-1 hump 부분 — 어제 잡음이 오늘 오차에 추가.

두 부분이 동시에 작동하므로 lag-1 의 상관이 강조 + 그 이후는 AR(1) 처럼 매끄럽게 감쇠.

특수 경우:

모수 조건 결과 구조
\(\theta = 0\) AR(1) (식 7.7)
\(\rho = 0\) MA(1) (식 7.16)
\(\rho = \theta\) 자기상관 0 (즉 white noise)

ARMA(1,1) 가 AR(1)·MA(1) 의 공통 일반화 다.

2.2 분산-공분산 행렬

ARMA(1,1) 행렬 형태

\[ \sigma^2 \Omega \approx \begin{bmatrix} \gamma_0 & \gamma_1 & \rho \gamma_1 & \rho^2 \gamma_1 & \cdots & \rho^{n-2} \gamma_1 \\ \gamma_1 & \gamma_0 & \gamma_1 & \rho \gamma_1 & \cdots & \rho^{n-3} \gamma_1 \\ \rho \gamma_1 & \gamma_1 & \gamma_0 & \gamma_1 & \cdots & \rho^{n-4} \gamma_1 \\ \vdots & \vdots & \vdots & \vdots & \ddots & \vdots \\ \rho^{n-2}\gamma_1 & \rho^{n-3}\gamma_1 & \rho^{n-4}\gamma_1 & \cdots & & \gamma_0 \end{bmatrix} \]

여기서

\[ \gamma_0 = 1 + \theta^2 - 2\rho\theta \]

\[ \gamma_1 = (1 - \rho\theta)(\rho - \theta) \]

(scaling factor \(\sigma^2\) 또는 \(\sigma^2 / (1 - \rho^2)\) 표기에 따라 다르게 정규화.)

\(\gamma_0, \gamma_1\) 의 의미

\(\gamma_0\) — 분산 부분:

\[ \gamma_0 = 1 + \theta^2 - 2\rho\theta = (\rho - \theta)^2 + (1 - \rho^2) \geq 0 \]

특수 경우:

  • \(\theta = 0\) (AR(1)): \(\gamma_0 = 1\) (정상화 후).
  • \(\rho = 0\) (MA(1)): \(\gamma_0 = 1 + \theta^2\) — MA(1) 의 분산.
  • \(\rho = \theta\): \(\gamma_0 = 1 - \rho^2\) — white noise.

\(\gamma_1\) — lag-1 공분산:

\[ \gamma_1 = (1 - \rho\theta)(\rho - \theta) \]

부호:

  • \(\rho > \theta\): \(\gamma_1 > 0\) (lag-1 양의 상관) — AR 효과 우세.
  • \(\rho < \theta\): \(\gamma_1 < 0\) (lag-1 음의 상관) — MA 효과 우세.
  • \(\rho = \theta\): \(\gamma_1 = 0\) — 두 효과 상쇄.

lag-2 이상의 공분산: \(\rho^k \gamma_1\) — AR(1) 처럼 지수 감쇠 (단 출발점이 \(\gamma_1\) 로 강조됨).

2.3 ARMA(1,1) 의 특징적 패턴 — lag-1 hump

AR(1) vs ARMA(1,1) lag 별 상관 비교

같은 \(\rho = 0.4\) 일 때:

lag AR(1) ARMA(1,1) (\(\rho=0.4, \theta=-0.3\))
1 0.400 0.617 (강조)
2 0.160 0.247
3 0.064 0.099
4 0.026 0.040
5 0.010 0.016

ARMA(1,1) 의 lag-1 가 AR(1) 보다 0.617 - 0.4 = 0.217 만큼 더 강함 (hump). 이후 lag 들은 AR(1) 의 비율 (\(\times 0.4\) 마다) 로 감쇠.

이 hump 가 ARMA(1,1) 의 핵심 — 인접 시점에 추가 의존이 있는 패턴 을 표현.

직관 — 약물 carryover 의 표준 모형

종단 임상 시험에서 흔한 시나리오:

  • 약물의 즉각적 효과는 어제·오늘에 매우 강 (lag-1 의 강한 상관).
  • 그 이후 효과가 매끄럽게 감쇠 (반감기에 따라 lag-2, lag-3 으로 약해짐).

이 패턴을 AR(1) 만으로는 표현 못함 — 1 모수가 lag-1 의 강도와 후속 감쇠율을 동시에 결정. 데이터의 lag-1 가 AR(1) 의 예측보다 강하면 ARMA(1,1) 가 유의하게 더 적합.

진단: AR(1) 적합 후 잔차의 ACF — lag-1 만 추가 hump 보이면 ARMA(1,1) 후보.

2.4 ARMA(1,1) 의 PACF 시그너처

ACF·PACF 패턴

ARMA(1,1):

  • ACF: lag-1 강 (hump) + 이후 점진 감쇠.
  • PACF: lag-1 강 + 점진 감쇠 (AR(1) 같은 lag-1 만 양상이 아니다).

AR(1) 와의 차이: AR(1) 의 PACF 는 lag-1 만 유의 (마르코프 1단계), ARMA(1,1) 의 PACF 는 점진 감쇠.

MA(1) 와의 차이: MA(1) 의 ACF 는 lag-1 만 유의, ARMA(1,1) 의 ACF 는 점진 감쇠.

ARMA(1,1) 의 진단 시그너처: ACF·PACF 둘 다 점진 감쇠. AR(1)·MA(1) 의 swap 패턴이 깨짐.

2.5 모수 식별 가능성 — 공통 인수 함정

\(\rho \approx \theta\) 의 추정 불안정

식 (7.17) 에서 \(\rho = \theta\) 이면:

\[ \varepsilon_j = \rho \varepsilon_{j-1} + \xi_j - \rho \xi_{j-1} \]

이 표현은 white noise 와 동등 (자기상관 0) — 두 모수 (\(\rho, \theta\)) 가 상쇄 됨.

데이터에서 \(\hat\rho \approx \hat\theta\) 가 추정되면:

  • ARMA(1,1) 가 white noise 처럼 행동 → 자기상관 모형 자체가 불필요.
  • 또는 ML 추정의 boundary 문제 (수렴 안 됨, SE 비현실적).

실무 진단: \(\hat\rho\) 와 \(\hat\theta\) 가 비슷하면 더 단순한 모형 (AR(1) 또는 표준 MRM) 으로 회귀.

3 § 7.2.4 — Toeplitz

3.1 정의

Toeplitz 자기상관 행렬

각 lag 의 자기상관이 독립 모수:

\[ \sigma^2 \Omega = \sigma^2 \begin{bmatrix} 1 & \rho_1 & \rho_2 & \cdots & \rho_{n-1} \\ \rho_1 & 1 & \rho_1 & \cdots & \rho_{n-2} \\ \rho_2 & \rho_1 & 1 & \cdots & \rho_{n-3} \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ \rho_{n-1} & \rho_{n-2} & \rho_{n-3} & \cdots & 1 \end{bmatrix} \]

  • 대각: 1 (정규화 후, \(\sigma^2\) 가 분산).
  • lag-\(k\) 비대각: \(\rho_k\), \(k = 1, \ldots, n-1\).
  • 모수: \(\sigma^2\) + \(n - 1\) 개 자기상관 = 총 \(n\).

각 \(\rho_k\) 는 자유 추정 — 함수 형태 가정 없음.

직관 — “lag 별 친밀도, 단 같은 lag 면 동등”

§ 6.2.3 CPM-Toeplitz 와 동일 형태 — Ch.7 의 MRM-AC 에서는 conditional 잔차에 적용.

핵심:

  • 같은 lag 의 모든 시점 쌍이 같은 상관 (정상성 유지).
  • 다른 lag 들은 자유 — AR(1) 의 지수 감쇠 강제 X, MA(1) 의 hard cutoff 강제 X.

데이터의 ACF 가 비단조 (lag-1 강, lag-2 약, lag-3 다시 강 같은 패턴) 일 때 Toeplitz 가 유일한 해결.

3.2 절약 Toeplitz — s-order

\(n - 1\) 모수의 폭발

\(n = 6\) 시점이면 5 모수, \(n = 10\) 이면 9 모수. UN 보다는 적지만 후반 lag 의 추정 표본이 적어 SE 가 폭발.

해결: s-order Toeplitz — 첫 \(s\) 개 lag 만 비영, 나머지는 0:

\[ \rho_1, \rho_2, \ldots, \rho_s, 0, 0, \ldots, 0 \]

모수 수: \(\sigma^2 + s\).

  • s = 1: lag-1 만 자기상관 (= MA(1) 와 비슷한 형태, 단 분산 항 다름).
  • s = 2: lag-1, lag-2 자기상관, 그 이상 0.
  • …
  • s = n - 1: 완전 Toeplitz.
절약 Toeplitz 의 실무 가치
시점 \(n\) 절약 권장 \(s\) 모수 수
6 2~3 3~4
10 3~4 4~5
20 5~6 6~7

후반 lag 의 표본이 매우 적으므로 0 으로 묶는 것이 안정. ACF 그림을 보고 어디서 0 에 가까워지는지 시각적 결정.

3.3 차수 명명의 함정 — MRM 관행 vs CPM 관행

“Toeplitz(s)” 가 무엇을 카운트하는가

Hedeker §7.2.4 의 핵심 함정:

CPM 관행 (Ch.6): 분산 모수 (\(\theta_1\)) 를 포함해 카운트.

  • “Toeplitz(3)” = 분산 + lag-1 + lag-2 = 3 모수.
  • 시점 3 의 full Toeplitz CPM = Toeplitz(3).

MRM-AC 관행 (Ch.7): 자기상관 모수만 카운트 (분산은 별도 \(\sigma^2\)).

  • “Toeplitz(1)” = lag-1 만 = 1 자기상관 모수.
  • 시점 3 의 절약 Toeplitz with lag-1 자기상관 = Toeplitz(1).

본 sub-post 는 CPM 관행 (Hedeker 책의 본 chapter 의 선택) 을 따른다.

→ MA(1) 도 Toeplitz(2) 로 표현 가능 (분산 + lag-1) — 단 모수화 다름.

MA(1) = Toeplitz(2) 의 의미

§ 7.2.2 MA(1) 행렬:

대각 (1+θ²)σ², lag-1 -θσ², lag-2 이상 0

CPM 관행 Toeplitz(2):

대각 σ², lag-1 ρ₁σ², lag-2 이상 0

행렬 형태가 같음 (대각 + lag-1 만 비영). 모수의 의미만 다름:

  • MA(1): \(\sigma^2\) 는 잡음 분산, \(\theta\) 는 MA 계수, lag-1 상관 = \(-\theta/(1+\theta^2)\).
  • Toeplitz(2): \(\sigma^2\) 는 시점별 분산, \(\rho_1\) 은 직접 lag-1 상관.

같은 모형의 두 표기. 데이터 분석 결과 동일.

3.4 핵심 통찰 — 랜덤 절편 + Toeplitz lag-1 = full Toeplitz CPM

Hedeker §7.2.4 의 reparameterization (3 시점 예시)

3 시점에서 두 모형이 등가임을 보인다.

좌변: full Toeplitz CPM (CPM-Ch.6, 3 모수)

\[ \Sigma_{\text{CPM}} = \begin{bmatrix} \theta_1 & \theta_2 & \theta_3 \\ \theta_2 & \theta_1 & \theta_2 \\ \theta_3 & \theta_2 & \theta_1 \end{bmatrix} \]

우변: 랜덤 절편 + lag-1 Toeplitz 자기상관 (MRM-AC, 3 모수)

\[ V(y_i) = \sigma_\upsilon^2 \mathbf{1}\mathbf{1}^\top + \sigma^2 \begin{bmatrix} 1 & \rho_1 & 0 \\ \rho_1 & 1 & \rho_1 \\ 0 & \rho_1 & 1 \end{bmatrix} \]

모수 매핑:

\[ \theta_1 = \sigma_\upsilon^2 + \sigma^2 \]

\[ \theta_2 = \sigma_\upsilon^2 + \rho_1 \sigma^2 \]

\[ \theta_3 = \sigma_\upsilon^2 \]

→ 두 모형이 reparameterization 으로 동치. 모수 수 (3) 와 마진 분포가 정확히 같음.

의미 — MRM-AC 와 CPM 의 다리

이 등가성이 보여주는 것:

  1. CPM Toeplitz 가 메커니즘 모형으로 분해 가능: 랜덤 절편 (피험자 차이) + lag-1 자기상관 (시간 의존).
  2. 모형 표기는 다르지만 결과 동일: 어느 표기를 쓰든 ML 우도, 추정량, SE 모두 같음.
  3. 해석 자유: 분산 분해를 보고 싶으면 MRM-AC 표기, 직접 분산 형태가 관심이면 CPM 표기.

이 통찰이 MRM-AC 와 CPM 의 본질적 동치성 을 명시. § 6.2.5 RE 구조 가 본 통찰의 일반화 — MRM 의 마진 형태 = CPM 의 RE 구조.

실무 함정 — 동치 모형의 식별

데이터 분석에서 같은 데이터에 두 모형 (full Toeplitz CPM vs 랜덤 절편 + lag-1 자기상관) 을 적합하면 AIC, BIC, deviance 가 정확히 같다.

LR 검정을 시도하면 자유도 0 (모수 수 같음) 으로 무의미.

→ 둘 중 어느 표기를 선택할지는 해석의 자연스러움 이 기준. 임상에서 “환자 차이 + 단기 의존” 으로 해석하고 싶으면 MRM-AC, 분산-공분산 형태 자체가 관심이면 CPM.

도구별 차이 (R nlme vs SAS) 에 따라 선호 표기 다를 수도 있음.

3.5 Toeplitz 의 한계

한계 의미
정상성 가정 유지 시점별 분산 변동 (NS-AR(1) 필요)
같은 lag 시점 위치 무관 UN 만이 시점별 lag 변동 표현
후반 lag 추정 불안정 s-order 절약 또는 더 단순한 구조로 회귀
모수 폭발 (\(n\) 클 때) UN 의 \(n(n+1)/2\) 보다는 적지만 여전히 부담

4 ARMA(1,1) vs Toeplitz 한 페이지 비교

항목 ARMA(1,1) Toeplitz
모수 수 3 (\(\sigma^2, \rho, \theta\)) \(n\) (\(\sigma^2\) + \(n-1\) 자기상관)
함수 형태 AR + MA 결합 (지수 감쇠 + lag-1 hump) 가정 없음 (lag 별 자유)
정상성 O O
같은 lag 시점 무관 O O
AR(1) 특수 경우 \(\theta = 0\) \(s\)-order Toeplitz with \(\rho_k = \rho^k\) (사실상 안 됨, AR(1) 의 강제)
MA(1) 특수 경우 \(\rho = 0\) Toeplitz(2) (CPM 관행)
진단 시그너처 ACF·PACF 모두 점진 감쇠 ACF 비단조, PACF 복잡
적합 시나리오 lag-1 hump + 후속 감쇠 (carryover) 비단조 ACF, 자유 패턴
모수 식별 함정 \(\rho \approx \theta\) → white noise 합쳐짐 후반 lag 표본 부족
직관 한 줄

ARMA(1,1): “AR(1) 의 지수 감쇠에 MA(1) 의 lag-1 추가 충격을 더함.” Toeplitz: “함수 형태 가정 자체를 포기 — lag 마다 자유로운 친밀도.”

ARMA(1,1) 가 형태 약간 완화, Toeplitz 가 형태 완전 포기.

5 코드 예시

5.1 Step 1: ARMA(1,1)·Toeplitz 행렬 직접 구성

import numpy as np


def arma11_omega(rho: float, theta: float, n: int) -> np.ndarray:
    """ARMA(1,1) 자기상관 행렬

    rho:    AR 계수, |rho| < 1.
    theta:  MA 계수, |theta| < 1.
    """
    gamma_0 = 1 + theta ** 2 - 2 * rho * theta
    gamma_1 = (1 - rho * theta) * (rho - theta)

    out = np.zeros((n, n))
    np.fill_diagonal(out, gamma_0)

    for lag in range(1, n):
        if lag == 1:
            val = gamma_1
        else:
            val = (rho ** (lag - 1)) * gamma_1
        for i in range(n - lag):
            out[i, i + lag] = val
            out[i + lag, i] = val

    return out


def toeplitz_omega(rho_vec: np.ndarray, n: int) -> np.ndarray:
    """Toeplitz 자기상관 행렬

    rho_vec: 길이 n-1 의 자기상관 벡터 (lag-1 ~ lag-(n-1)).
             일부가 0 이면 절약 Toeplitz.
    """
    assert len(rho_vec) == n - 1
    out = np.eye(n)
    for lag in range(1, n):
        for i in range(n - lag):
            out[i, i + lag] = rho_vec[lag - 1]
            out[i + lag, i] = rho_vec[lag - 1]
    return out


# 비교 예시
n = 6

print("ARMA(1,1) (rho=0.4, theta=-0.3):")
print(arma11_omega(0.4, -0.3, n).round(3))

print("\nToeplitz (rho_vec = [0.5, 0.4, 0.3, 0.2, 0.1]):")
rho_vec = np.array([0.5, 0.4, 0.3, 0.2, 0.1])
print(toeplitz_omega(rho_vec, n).round(3))

print("\nToeplitz(3) — 절약, lag 4-5 = 0:")
rho_vec_sparse = np.array([0.5, 0.4, 0.3, 0.0, 0.0])
print(toeplitz_omega(rho_vec_sparse, n).round(3))

5.2 Step 2: ARMA(1,1) lag 별 상관 곡선

import numpy as np
import matplotlib.pyplot as plt


def arma11_corr(rho: float, theta: float, lags: np.ndarray) -> np.ndarray:
    """ARMA(1,1) lag 별 상관 계수 (정규화)"""
    gamma_0 = 1 + theta ** 2 - 2 * rho * theta
    gamma_1 = (1 - rho * theta) * (rho - theta)

    corr = np.zeros_like(lags, dtype=float)
    corr[lags == 0] = 1.0
    for k in range(1, len(lags)):
        corr[k] = (rho ** (k - 1)) * gamma_1 / gamma_0
    return corr


lags = np.arange(8)

# AR(1) baseline
ar1_corr = 0.4 ** lags
ar1_corr[0] = 1.0

# ARMA(1,1) — lag-1 hump
arma_corr = arma11_corr(0.4, -0.3, lags)

plt.figure(figsize=(7, 4))
plt.stem(lags - 0.1, ar1_corr, linefmt="C0-", markerfmt="C0o", label="AR(1) ρ=0.4")
plt.stem(lags + 0.1, arma_corr, linefmt="C1-", markerfmt="C1s", label="ARMA(1,1) ρ=0.4, θ=-0.3")
plt.xlabel("lag")
plt.ylabel("autocorrelation")
plt.title("AR(1) vs ARMA(1,1) — lag-1 hump in ARMA")
plt.legend()
plt.grid(alpha=0.3)
plt.tight_layout()
plt.show()
검증 포인트

ARMA(1,1) (\(\rho=0.4, \theta=-0.3\)) 의 lag-1 상관:

\[ \frac{\gamma_1}{\gamma_0} = \frac{(1-(0.4)(-0.3))((0.4)-(-0.3))}{1+(-0.3)^2 - 2(0.4)(-0.3)} = \frac{(1.12)(0.7)}{1.33} \approx 0.589 \]

AR(1) 의 lag-1 = 0.400 보다 0.189 큰 hump.

lag-2 상관:

\[ \frac{\rho \gamma_1}{\gamma_0} = 0.4 \cdot 0.589 \approx 0.236 \]

AR(1) 의 lag-2 = 0.16 보다 약간 큼 — hump 의 영향이 lag-2 까지 일부 carry over.

5.3 Step 3: R nlme 로 ARMA(1,1)·Toeplitz 적합

library(nlme)

# ARMA(1,1) — corARMA(p=1, q=1)
fit_arma <- lme(y ~ Linear + SlopeChange,
                random = ~ Linear | subject,
                correlation = corARMA(form = ~ week | subject, p = 1, q = 1),
                data = bock,
                method = "ML")

# Toeplitz (full, n-1 모수) — corARMA(p=0, q=n-1)
n_time <- 6
fit_toep <- lme(y ~ Linear + SlopeChange,
                random = ~ Linear | subject,
                correlation = corARMA(form = ~ week | subject,
                                       p = 0, q = n_time - 1),
                data = bock,
                method = "ML")

# 절약 Toeplitz(s=2) — corARMA(p=0, q=2)
fit_toep2 <- update(fit_toep,
                    correlation = corARMA(form = ~ week | subject, p = 0, q = 2))

# 모수 추출
coef(fit_arma$modelStruct$corStruct, unconstrained = FALSE)
# Phi1 = rho, Theta1 = theta

coef(fit_toep$modelStruct$corStruct, unconstrained = FALSE)
# Theta1, Theta2, ..., Theta_{n-1}

# AIC/BIC 비교
AIC(fit_arma, fit_toep, fit_toep2)

# nested LR 검정
anova(fit_toep2, fit_toep)  # 절약 Toeplitz vs full Toeplitz
R 의 corARMA(p, q) 명명 다시 강조
구조 corARMA 호출
AR(1) corARMA(p=1, q=0) 또는 corAR1
MA(1) corARMA(p=0, q=1)
ARMA(1,1) corARMA(p=1, q=1)
Toeplitz corARMA(p=0, q=n-1)
s-order Toeplitz corARMA(p=0, q=s)

corARMA(p=0, q=...) 가 사실상 절약 Toeplitz — MA 차수가 곧 lag 자유도.

6 한계와 다음 단계

6.1 두 구조의 공통 한계

한계 의미
정상성 가정 시점별 분산 변동 못함
등간격 가정 불등간격 시 NS-AR(1) 또는 연속 시간 AR
모수 식별 (ARMA(1,1)) \(\rho \approx \theta\) → white noise 흡수
모수 폭발 (Toeplitz) 시점 많을 때 절약 Toeplitz 또는 다른 구조

6.2 § 7.2.5 NS-AR(1) 로 정상성 풀기

§ 7.2.5 NS-AR(1) sub-post 는 위 4 구조의 정상성 가정을 푼다.

분산이 시간에 따라 단조 증가 (학습 효과 누적, 처치 효과 fan-out 등) 하는 패턴 표현.

7 핵심 정리

한 페이지 요약
  1. ARMA(1,1) (\(q=3\)): \(\varepsilon_j = \rho\varepsilon_{j-1} + \xi_j - \theta\xi_{j-1}\). AR(1) + MA(1) 결합.
  2. ARMA(1,1) 분산-공분산: \(\gamma_0 = 1+\theta^2-2\rho\theta\), \(\gamma_1 = (1-\rho\theta)(\rho-\theta)\), lag-\(k\) 공분산 \(\rho^{k-1}\gamma_1\).
  3. lag-1 hump 패턴: AR(1) 의 점진 감쇠에 MA(1) 의 lag-1 추가 효과 → 약물 carryover 의 표준 모형.
  4. 특수 경우: \(\theta = 0\) → AR(1), \(\rho = 0\) → MA(1), \(\rho = \theta\) → white noise (모수 식별 함정).
  5. Toeplitz (\(q = n\)): lag 별 자유 자기상관, 정상성 유지. 함수 형태 가정 없음.
  6. s-order 절약: 첫 \(s\) 개 lag 만 비영, 나머지 0. 후반 lag 의 추정 불안정 회피.
  7. 차수 명명 함정: CPM 관행 (분산 포함) vs MRM 관행 (자기상관만). MA(1) = Toeplitz(2) (CPM 관행).
  8. 랜덤 절편 + Toeplitz lag-1 = full Toeplitz CPM: 두 모형의 reparameterization 등가성. 모수 수·우도·추정량 모두 일치.
  9. MRM-AC 와 CPM 의 다리: Toeplitz 의 등가 표기가 두 패러다임 사이 본질적 일치를 보여줌. § 6.2.5 RE 구조의 일반화.
  10. 다음 단계: NS-AR(1) (정상성 완화), continuous-time AR (불등간격), Antedependence 등 추가 구조.

ARMA(1,1) 와 Toeplitz 는 AR(1)·MA(1) 의 함수 형태 가정을 단계적으로 푸는 두 길이다. ARMA(1,1) 는 lag-1 hump 를 추가, Toeplitz 는 형태 가정 자체를 포기. 랜덤 절편 + Toeplitz lag-1 = full Toeplitz CPM 의 등가성이 MRM-AC 와 CPM 의 본질적 다리.

8 관련 주제

선행 지식

관련

후속 주제

  • § 7.2.5 NS-AR(1) — 비정상 자기상관 (07-1 통합 참조)
  • § 7.4 Bock 데이터 적합 — Ch.7 케이스 스터디 (작성 예정)
  • Ch.8 GEE — 비정규 marginal 모형

교재

  • Hedeker, D. & Gibbons, R. D. (2006). Longitudinal Data Analysis, Wiley, Ch.7 §7.2.3-7.2.4 (pp. 119-120)
  • Box, G. E. P., Jenkins, G. M. & Reinsel, G. C. (1994). Time Series Analysis: Forecasting and Control (3rd ed.), Prentice-Hall — ARMA 모형 표준
  • Gottman, J. M. (1981). Time-Series Analysis, Cambridge University Press — AR/MA dual 관계
  • Wolfinger, R. (1993). “Covariance structure selection in general mixed models”, Communications in Statistics 22, 1079-1106 — SAS PROC MIXED 추가 구조
  • Jennrich, R. I. & Schluchter, M. D. (1986). “Unbalanced repeated-measures models with structured covariance matrices”, Biometrics 42, 805-820 — Toeplitz CPM 원전

Subscribe

Enjoy this blog? Get notified of new posts by email: