1 들어가며 — Ch.13 의 자리와 3-level data 의 동기

Ch.4-12 의 모든 모형 이 2-level data — 반복 측정 (\(k\)) nested in 환자 (\(j\)) — 였다. Ch.13 는 그 자연 확장 — 3-level data 로 한 단계 더 nested.

Ch.4-13 안의 자리

Chapter	모형	응답 형태	데이터 구조
Ch.4-7	MRM/CPM/MRM-AC	정규	2-level
Ch.8	GEE	자유	2-level
Ch.9	GLMM 이항	0/1	2-level
Ch.10	GLMM 순서형	1, …, C	2-level
Ch.11	GLMM 명목	1, …, C	2-level
Ch.12	GLMM 카운트	0, 1, …	2-level
Ch.13	3-level GLMM	다양	3-level
Ch.14	결측 데이터	다양	다양

→ Ch.13 = 응답 형태 무관, 데이터 구조의 추가 nesting.

한 줄 요약

“Ch.13 = 2-level (반복 측정 nested in 환자) → 3-level (반복 측정 nested in 환자 nested in cluster). Cluster 예: hospital, clinic, school, classroom, region. § 13.1 Linear 3-level (식 13.1): \(y_i = X_i \beta + Z_i \upsilon_i^* + \varepsilon_i\) — 3 종 random effects (cluster intercept + subject intercept/trend + observation residual). EM + Fisher scoring. § 13.2 Nonlinear 3-level — Ch.9-12 의 GLMM framework 직접 확장. 결정적 trick (식 13.9): cluster random effect 조건부로 subject random effects 가 독립 → 적분이 cluster \(\theta_{(3)}\) 외부 + subject \(\theta_{(2)}\) 내부로 분리 → \(r+1\) 차원 적분 (cluster 1 + subject \(r\)). NIMH center clustering 의 illustration 으로 환자 ICC + center ICC 의 분해 시연.”

본 overview 의 절 구성:

§ 13.1 — Linear 3-level model.
§ 13.1.1 — NIMH center clustering illustration 미리보기.
§ 13.2 — Nonlinear 3-level (probit, logistic, ordinal, nominal, count).
§ 13.2.1-13.2.4 — Sub-sections 미리보기.
§ 13.3 — 핵심 메시지.

2 3-Level Data 의 동기

2.1 왜 3-level 인가

3-level data 의 흔한 형태

저자 본문 인용:

“In many longitudinal studies, the data are collected not at one site, but at multiple centers. This may occur when the number of subjects at any one center is inadequate, and so by obtaining a sample of centers a reasonable number of subjects are recruited for the study.”

전형적 3-level 구조:

Cluster (level 3)	Subject (level 2)	Observation (level 1)
Treatment center	Patient	Repeated measure
Hospital	Patient	Daily blood pressure
Classroom	Student	Test score over years
School	Student	Grade by year
Clinic	Patient	Visit count
Region	Family	Family member
Country	County	County statistic

2-level 모형의 한계

3-level data 를 2-level 로 분석하는 두 잘못된 길:

길 1 — Cluster 무시 (subject random effect 만):

같은 cluster 의 subject 간 상관 무시.
Cluster random effect = 0 가정.
표준오차 과소 추정 → Type I error 증가.

길 2 — Subject 무시 (모든 관측 독립):

같은 subject 의 반복 측정 간 상관 무시.
더 심한 표준오차 과소.

저자 본문 인용:

“intraclass correlation levels have been observed between 5% to 12% for data from spouse pairs and 0.05% to 0.85% for data clustered by counties.”

→ Cluster ICC 가 작아도 (1% 이하), Type I error 영향 무시 못함.

직관 — 3-level 의 자연스러운 ICC 분해

3-level 모형의 분산 분해:

\[ V(y_{ijk}) = \sigma_\gamma^2 + \sigma_\upsilon^2 + \sigma_\varepsilon^2 \]

각 component:

\(\sigma_\gamma^2\): cluster 간 분산 (level 3).
\(\sigma_\upsilon^2\): subject 간 분산 (level 2, cluster 안).
\(\sigma_\varepsilon^2\): 관측 잔차 (level 1, subject 안).

ICC 분해:

Cluster ICC: \(\sigma_\gamma^2 / (\sigma_\gamma^2 + \sigma_\upsilon^2 + \sigma_\varepsilon^2)\) — “같은 cluster 의 subject 간 상관”.
Subject ICC (cluster 같음 조건부): \(\sigma_\upsilon^2 / (\sigma_\upsilon^2 + \sigma_\varepsilon^2)\) — “같은 subject 의 반복 측정 간 상관”.

임상적 해석:

큰 cluster ICC: cluster 효과 (병원·학교 등) 가 결과에 큰 영향.
큰 subject ICC: 환자 이질성이 큰 영향.
→ 정책 결정에서 어느 수준의 변동이 더 중요한지 진단.

§ 9.5.1 의 단일 ICC 와의 비교:

2-level: 단일 ICC.
3-level: 두 ICC (cluster + subject).
→ 3-level 이 더 풍부한 정보.

3 § 13.1 — Three-Level Linear Mixed-Effects Model

3.1 표기와 모형 — 식 (13.1)

표기

\(i = 1, \ldots, N\): cluster (level 3).
\(j = 1, \ldots, n_i\): subject in cluster \(i\) (level 2).
\(k = 1, \ldots, n_{ij}\): observation for subject \(j\) in cluster \(i\) (level 1).
\(N_i = \sum_{j=1}^{n_i} n_{ij}\): cluster \(i\) 의 총 관측 수.

→ Cluster 와 subject 의 size 가 가변 — unbalanced data 자연 처리.

식 (13.1) — 3-level linear model

\[ y_i = X_i \beta + Z_i \upsilon_i^* + \varepsilon_i \tag{13.1} \]

표기:

\(y_i\): \(N_i \times 1\) 응답 vector.
\(X_i\): \(N_i \times p\) fixed effects design matrix.
\(\beta\): \(p \times 1\) fixed effects.
\(Z_i\): \(N_i \times R_i\) random effects design matrix (\(R_i = n_i \times r + 1\)).
\(\upsilon_i^*\): \(R_i \times 1\) random effects vector — cluster + subject 모두 포함.
\(\varepsilon_i\): \(N_i \times 1\) residual vector.

분포:

\(\gamma_i \sim \mathcal{N}(0, \sigma_\gamma^2)\) — cluster random intercept.
\(\upsilon_{ij} \sim \mathcal{N}_r(0, \Sigma_\upsilon)\) — subject random effects.
\(\varepsilon_{ijk} \sim \mathcal{N}(0, \sigma_\varepsilon^2)\) — observation residual.
모두 독립.

직관 — Random Effects 의 Hierarchical 구조

\(\upsilon_i^*\) 의 구조 (식 13.1 의 explicit 형태):

\[ \upsilon_i^* = \begin{bmatrix} \gamma_i \\ \upsilon_{i1} \\ \upsilon_{i2} \\ \vdots \\ \upsilon_{i n_i} \end{bmatrix} \]

크기: \(1 + n_i \times r\).

해석:

\(\gamma_i\): cluster \(i\) 전체에 적용되는 random intercept (“이 hospital 의 평균 효과”).
\(\upsilon_{ij}\): cluster \(i\) 안의 subject \(j\) 의 random effects (“이 환자의 baseline + trend”).

예시 — 3 환자가 한 cluster 안:

\[ \upsilon_i^* = \begin{bmatrix} \gamma_i \\ \upsilon_{i1, \text{intercept}} \\ \upsilon_{i1, \text{slope}} \\ \upsilon_{i2, \text{intercept}} \\ \upsilon_{i2, \text{slope}} \\ \upsilon_{i3, \text{intercept}} \\ \upsilon_{i3, \text{slope}} \end{bmatrix} \]

크기: \(1 + 3 \times 2 = 7\).

각 환자의 관측이 \(\gamma_i\) 와 자기 환자의 \(\upsilon_{ij}\) 만 영향받음 (다른 환자의 random effects 와 무관).

이것이 \(Z_i\) matrix 의 block-diagonal-like 구조의 출처:

\[ Z_i = \begin{bmatrix} 1_{i1} & Z_{i1} & 0 & 0 \\ 1_{i2} & 0 & Z_{i2} & 0 \\ 1_{i3} & 0 & 0 & Z_{i3} \end{bmatrix} \]

첫 column 이 cluster random effect (모든 row 1), 나머지가 subject 별 design matrix (block-diagonal).

3.2 EAP Estimator + Score

EB random effects (식)

EAP estimator (사후 평균):

\[ \bar\upsilon^* = [Z_i^\top (\sigma_\varepsilon^2 I_i)^{-1} Z_i + \Sigma_i^{-1}]^{-1} Z_i^\top (\sigma_\varepsilon^2 I_i)^{-1} (y_i - X_i \beta) \]

사후 분산:

\[ \Sigma_{\upsilon^* \mid y_i} = [Z_i^\top (\sigma_\varepsilon^2 I_i)^{-1} Z_i + \Sigma_i^{-1}]^{-1} \]

→ 정규 mixed-effects 의 closed-form EB estimator. § 4.5 의 식과 같은 형태.

직관 — Score 와 EM 알고리즘

저자 본문 인용:

“Note that these derivatives are functionally the same as those for the 2-level model. Thus, the same approach using the EM algorithm and Fisher scoring solution can be used.”

→ § 4.5 의 2-level toolkit 그대로 적용:

Score 의 형태 동일.
EM 알고리즘 (E-step: random effects 추정, M-step: fixed + variance 갱신).
Fisher scoring update.

3-level 에서 새로운 것:

\(\Sigma_i\) 가 더 큼 (block 구조).
하지만 행렬 연산은 같은 알고리즘.
Cluster 별 separate 적용 (parallelizable).

Software 지원:

R lme4::lmer(y ~ x + (1 | cluster) + (1 | cluster:subject)).
R nlme::lme(y ~ x, random = ~1 | cluster/subject).
SAS PROC MIXED RANDOM with two RANDOM statements.

계산 부담:

2-level: \(N\) environment matrix inversions.
3-level: \(N\) environment matrix inversions (cluster 마다).
Cluster size 가 클 때 더 비싼 행렬 연산.

3.3 § 13.1.1 — NIMH Illustration 미리보기

NIMH Schizophrenia 데이터 with Treatment Center

지금까지 NIMH 데이터를 2-level (환자 → 시점) 로 다뤘으나, 실제 데이터는 3-level:

Cluster (level 3): Treatment center.
Subject (level 2): Patient (within center).
Observation (level 1): Repeated visit (within patient).

Center clustering 의 효과:

같은 center 의 환자가 비슷한 처치 protocol, 의료진, 시설.
→ Center 별 random effect 모형화 필요.

§ 13.1.1 의 분석:

IMPS Item 79 의 continuous version (1-7 scale 그대로 사용).
Center, patient, time 의 3 수준 모형.
Center ICC + patient ICC 비교.
자세한 분석은 후속 sub-post.

4 § 13.2 — Three-Level Nonlinear Mixed-Effects Models

4.1 Nonlinear 의 결정적 어려움

Linear vs Nonlinear 3-level 의 차이

저자 본문 인용:

“The primary difference between linear and nonlinear mixed-effects models is that in the nonlinear case, evaluation of the likelihood requires an \(r\)-dimensional integration over the joint distribution of the level-two and level-three random effects.”

Linear 3-level:

Conjugate prior (normal-normal) → closed form integration.
EM + Fisher scoring 직접 적용.

Nonlinear 3-level (probit, logistic, ordinal, nominal, count):

Likelihood 안에 nonlinear function (logistic, normal cdf 등).
적분 closed form 없음.
→ Numerical integration 필요.

직관 — 적분 차원 폭발의 위험

Naive 한 적분 (식 13.8):

\[ h(y_i) = \int_{\theta^*} \ell(y_i \mid \theta^*) g(\theta^*) d\theta^* \]

차원 = \(\dim(\theta^*) = (n_i \times r) + 1\).

예시:

\(r = 2\) (random intercept + slope), \(n_i = 10\) subjects per cluster: \(\dim = 21\).
Gauss-Hermite quadrature with \(Q = 5\): \(5^{21} \approx 5 \times 10^{14}\) 점 — 계산 불가능.

→ Naive Gauss-Hermite 는 3-level 에 적용 불가.

해결책 (저자 본문 인용):

“the responses from the \(n_i\) subjects in cluster \(i\) are independent, therefore the marginal probability can be rewritten as …”

→ 적분 분해: cluster random effect 조건부로 subject random effects 가 독립 → 적분이 분리.

4.2 식 (13.9) — 적분 분해의 결정적 Trick

Cluster 조건부 분리

\[ h(y_i) = \int_{\theta_{(3)}} \left\{ \prod_{j=1}^{n_i} \int_{\theta_{(2)}} \left( \prod_{k=1}^{n_{ij}} [\Phi(z_{ijk})]^{1-y_{ijk}} [1 - \Phi(z_{ijk})]^{y_{ijk}} \right) g(\theta_{(2)}) d\theta_{(2)} \right\} g(\theta_{(3)}) d\theta_{(3)} \tag{13.9} \]

표기:

\(\theta_{(3)}\): cluster random effect (1 dimension).
\(\theta_{(2)}\): subject random effects (\(r\) dimensions).
외부 적분: cluster level (1 차원).
내부 적분: subject level (\(r\) 차원).

직관 — 차원 절약의 의미

Naive 적분 (식 13.8): \(\dim = (n_i \times r) + 1\) — 폭발.

분해 적분 (식 13.9): \(\dim = r + 1\) — 폭발 회피.

메커니즘:

Cluster random effect \(\theta_{(3)}\) 가 fixed 상태에서 — subject 들이 conditional independent.
→ Subject 별 별도 \(r\) 차원 적분.
그 후 cluster 적분 (1 차원).

계산 효율:

시나리오	Naive	분해	비율
\(r = 1, n_i = 5, Q = 5\)	\(5^6 = 15625\)	\(5^2 = 25\)	625x
\(r = 2, n_i = 10, Q = 5\)	\(5^{21} \approx 10^{14}\)	\(5^3 = 125\)	\(10^{12}\)x
\(r = 1, n_i = 100, Q = 10\)	\(10^{101}\)	\(10^2 = 100\)	\(10^{99}\)x

→ 분해가 없으면 3-level 추정 불가능.

필수 조건 — Conditional independence:

Subject 들이 cluster random effect 조건부로 독립.
즉 cluster effect 가 모든 subject 간 상관을 흡수.
추가 subject 간 상관 (예: same cluster 의 family ties) 이 없어야 함.

이 가정이 깨지면 → 더 복잡한 모형 (cross-level interactions, multiple cluster levels).

4.3 § 13.2.1 — Three-Level Probit

Probit 3-level (식 13.3-13.5)

잠재 변수 모형:

\[ y_{ijk} = \upsilon_{0i} + z_{ijk}^\top \upsilon_{ij} + x_{ijk}^\top \beta + \varepsilon_{ijk} \tag{13.3} \]

\(\varepsilon_{ijk} \sim \mathcal{N}(0, 1)\) (probit 의 표준 가정).

조건부 확률:

\[ P(y_{ijk} = 1 \mid \upsilon^*) = \Phi(z_{ijk}) \tag{13.4} \]

with \(z_{ijk} = \upsilon_{0i} + z_{ijk}^\top \upsilon_{ij} + x_{ijk}^\top \beta\).

Conditional likelihood:

\[ \ell(y_i \mid \upsilon^*) = \prod_{j=1}^{n_i} \prod_{k=1}^{n_{ij}} [\Phi(z_{ijk})]^{y_{ijk}} [1 - \Phi(z_{ijk})]^{1-y_{ijk}} \tag{13.5} \]

→ § 9.5 의 mixed-effects probit 의 3-level 일반화.

Cholesky Reparameterization

식 (13.7) — 표준화:

\[ z_{ijk} = \sigma_{(3)} \theta_{0i} + z_{ijk}^\top T \theta_{ij} + x_{ijk}^\top \beta \tag{13.7} \]

표기:

\(\theta_{0i} = \gamma_i / \sigma_{(3)}\) — 표준화 cluster effect.
\(\theta_{ij} = T^{-1} \upsilon_{ij}\) — 표준화 subject effects.
\(T\) = \(\Sigma_{(2)}\) 의 Cholesky factor.

→ § 9.5 의 식 (9.24) 의 3-level 확장.

Cholesky 의 가치:

양정치 자동 보장.
Gauss-Hermite quadrature 친화 (표준 정규).
§ 9.5.2 framework 직접 활용.

4.4 § 13.2.2 — Three-Level Logistic

Logistic 3-level (간단한 변형)

Probit 의 \(\Phi\) 를 logistic cdf \(\Psi\) 로 대체:

\[ P(y_{ijk} = 1 \mid \upsilon^*) = \Psi(z_{ijk}) = \frac{1}{1 + \exp(-z_{ijk})} \]

나머지 framework 동일.

\(\sigma_\varepsilon^2\) 차이:

Probit: \(\sigma_\varepsilon^2 = 1\).
Logistic: \(\sigma_\varepsilon^2 = \pi^2/3\).
→ ICC 분모 차이 (§ 9.5.5 와 동일).

4.5 § 13.2.3 — Illustration

Treatment Center 3-level Logistic

§ 13.1.1 와 같은 NIMH 데이터의 dichotomized 응답 분석:

IMPS Item 79 이항화 (Ch.9 § 9.7 와 같은 방식).
3-level: center → patient → visit.
Center clustering 효과 + Drug × Time 분석.

자세한 분석은 후속 sub-post.

4.6 § 13.2.4 — More General Outcomes

Ordinal, Nominal, Count 3-level

같은 framework 의 다양한 응답 형태 확장:

3-level Ordinal (Ch.10 의 일반화):

Cumulative logit + 3-level random effects.
예: school × student × time 의 학업 등급.

3-level Nominal (Ch.11 의 일반화):

Multinomial logit + 3-level.
예: Health system × patient × visit 의 진료 형태.

3-level Count (Ch.12 의 일반화):

Poisson + 3-level.
예: Region × county × year 의 자살률.

→ Ch.9-12 의 모든 GLMM 이 3-level 로 자연 확장.

5 § 13.3 — Chapter 의 핵심 메시지

Ch.13 의 5 가지 핵심 메시지

3-level data 는 multi-center longitudinal study 의 자연 형태: Hospital, school, region 등 cluster 가 흔함. 무시하면 표준오차 부정확.
§ 13.1 Linear 3-level 는 § 4 의 직접 확장: 같은 EM + Fisher scoring, random effects 가 한 단계 추가.
§ 13.2 Nonlinear 3-level 의 적분 분해 (식 13.9) 가 결정적: Cluster 조건부로 subject 독립 → 적분 차원이 \((n_i \times r + 1)\) 에서 \(r + 1\) 로 폭발 회피.
Ch.9-12 의 모든 GLMM 이 3-level 로 일반화: Probit, logistic, ordinal, nominal, count 모두.
두 ICC 의 정보: Cluster ICC + subject ICC 가 단일 ICC 보다 풍부한 진단.

6 응용 분야

분야	Cluster (level 3)	Subject (level 2)	Observation (level 1)
Multi-center 임상시험	Treatment center	Patient	Visit
학교 효과	School	Student	Test/year
지역 의료	Hospital	Patient	Daily measure
가족 연구	Family	Family member	Repeated measure
다국가 연구	Country	Subject	Time
Spatial cohort	Region	County	Year
교사 효과	Classroom	Student	Assignment
회사 직원	Company	Employee	Performance review

→ “Multi-level nesting + longitudinal” 이 모든 분야.

7 코드 예시

7.1 Step 1: 3-Level Linear 시뮬레이션

library(lme4)
library(dplyr)


# 3-level 데이터 시뮬레이션
set.seed(2026)
n_clusters <- 20
n_subjects_per_cluster <- 10
n_times_per_subject <- 5

# Random effects
sigma_cluster <- 1.0  # cluster intercept SD
sigma_subject <- 0.8  # subject intercept SD
sigma_residual <- 0.5  # observation residual SD

cluster_effects <- rnorm(n_clusters, 0, sigma_cluster)

df <- data.frame()
for (i in 1:n_clusters) {
  for (j in 1:n_subjects_per_cluster) {
    subject_effect <- rnorm(1, 0, sigma_subject)
    for (k in 1:n_times_per_subject) {
      time <- k
      x <- rnorm(1)
      eta <- 1.0 + 0.3 * time + 0.5 * x +
             cluster_effects[i] + subject_effect
      y <- eta + rnorm(1, 0, sigma_residual)
      df <- rbind(df, data.frame(
        cluster = i, subject = paste0(i, "_", j),
        time = time, x = x, y = y
      ))
    }
  }
}

cat("전체 관측:", nrow(df), "\n")
cat("Cluster 수:", length(unique(df$cluster)), "\n")
cat("Subject 수:", length(unique(df$subject)), "\n")

3-level 데이터 구조 검증

N_cluster = 20, n_subjects_per_cluster = 10, n_times_per_subject = 5.
전체 = 1000 관측, 200 subjects, 20 clusters.
각 subject 가 정확히 하나의 cluster 에 속함 (nested).
→ 3-level 구조의 표준 예.

7.2 Step 2: Linear 3-Level 적합

# 3-level mixed-effects linear model 적합
fit_3level <- lmer(y ~ time + x + (1 | cluster) + (1 | cluster:subject),
                   data = df, REML = TRUE)
summary(fit_3level)

# Random effects 분산 추출
var_corr <- VarCorr(fit_3level)
print(var_corr)

# ICC 계산
sigma_cluster_hat <- as.numeric(VarCorr(fit_3level)$cluster[1, 1])
sigma_subject_hat <- as.numeric(VarCorr(fit_3level)$`cluster:subject`[1, 1])
sigma_residual_hat <- sigma(fit_3level)^2
total_var <- sigma_cluster_hat + sigma_subject_hat + sigma_residual_hat

cat("ICC 분해:\n")
cat("  Cluster ICC:", round(sigma_cluster_hat / total_var, 3),
    "(예상:", round(1.0^2 / (1.0^2 + 0.8^2 + 0.5^2), 3), ")\n")
cat("  Subject ICC (within cluster):", round(sigma_subject_hat / total_var, 3),
    "(예상:", round(0.8^2 / (1.0^2 + 0.8^2 + 0.5^2), 3), ")\n")
cat("  Residual:", round(sigma_residual_hat / total_var, 3),
    "(예상:", round(0.5^2 / (1.0^2 + 0.8^2 + 0.5^2), 3), ")\n")

R lmer 의 3-level syntax

(1 | cluster) + (1 | cluster:subject):

첫 항: cluster random intercept.
둘째 항: cluster 안의 subject random intercept.
cluster:subject 가 nested 구조 표현.

대안 syntax (R nlme):

library(nlme)
fit_3level_nlme <- lme(y ~ time + x, random = ~1 | cluster/subject, data = df)

cluster/subject 가 “subject nested in cluster” 의 표준 표기.

결과 해석:

Cluster ICC: 같은 center 의 환자 간 상관.
Subject ICC: 같은 환자의 반복 측정 간 상관 (cluster 같음 조건부).

큰 cluster ICC 의 의미:

Center 효과가 크다 → multi-center study design 에서 중요.
Center 별 표준화 protocol, training 필요.
Random effects 추정으로 best/worst center 식별.

7.3 Step 3: 3-Level Logistic 적합 (R `lme4`)

# 3-level 이항 응답 시뮬레이션
df$y_binary <- as.numeric(df$y > median(df$y))

# 3-level mixed-effects logistic
fit_3level_logit <- glmer(y_binary ~ time + x +
                          (1 | cluster) + (1 | cluster:subject),
                          data = df, family = binomial,
                          control = glmerControl(optimizer = "bobyqa"))
summary(fit_3level_logit)

# ICC 계산 (logistic — 분모 pi^2/3 추가)
sigma_c <- as.numeric(VarCorr(fit_3level_logit)$cluster[1, 1])
sigma_s <- as.numeric(VarCorr(fit_3level_logit)$`cluster:subject`[1, 1])
icc_cluster <- sigma_c / (sigma_c + sigma_s + pi^2 / 3)
icc_subject <- sigma_s / (sigma_c + sigma_s + pi^2 / 3)

cat("Logistic 3-level ICC:\n")
cat("  Cluster ICC:", round(icc_cluster, 3), "\n")
cat("  Subject ICC:", round(icc_subject, 3), "\n")

R glmer 의 3-level GLMM

glmer 가 3-level 직접 지원:

Random effects 두 수준 + family (binomial, poisson, etc.).
Numerical integration (Laplace 또는 adaptive Gauss-Hermite).
nAGQ > 1 옵션 — adaptive Gauss-Hermite (단, single random effect 만).

계산 부담:

3-level + 다중 random effects → 매우 큰 적분 차원.
glmer 는 Laplace approximation 사용 (default).
정확한 quadrature 는 SAS PROC NLMIXED 또는 brms.

Bayesian 대안:

library(brms)
fit_brm <- brm(y_binary ~ time + x + (1 | cluster) + (1 | cluster:subject),
               data = df, family = bernoulli(),
               chains = 2, iter = 2000)
summary(fit_brm)

Bayesian 의 장점 — 다층 모형의 유연성, prior 활용, 정확한 사후 분포.

7.4 Step 4: 적분 분해의 효과 (계산 비용 비교)

# 적분 차원 비교
calculate_integration_cost <- function(n_subjects, r_random, Q = 5) {
  # Naive 적분: (n_subjects * r) + 1 차원
  naive_dim <- n_subjects * r_random + 1
  naive_points <- Q ^ naive_dim

  # 분해 적분 (식 13.9): r + 1 차원
  decomposed_dim <- r_random + 1
  decomposed_points <- Q ^ decomposed_dim

  cat("Subjects:", n_subjects, ", Random effects:", r_random, ", Q:", Q, "\n")
  cat("  Naive 적분 차원:", naive_dim, "→ 점 수:", format(naive_points, big.mark = ","),"\n")
  cat("  분해 적분 차원:", decomposed_dim, "→ 점 수:", format(decomposed_points, big.mark = ","), "\n")
  cat("  속도 향상:", format(naive_points / decomposed_points, big.mark = ",", scientific = TRUE), "배\n\n")
}

calculate_integration_cost(n_subjects = 5, r_random = 1, Q = 5)
calculate_integration_cost(n_subjects = 10, r_random = 2, Q = 5)
calculate_integration_cost(n_subjects = 100, r_random = 1, Q = 10)

분해의 실용적 의미

식 (13.9) 의 분해가 없으면:

작은 cluster (\(n_i = 5, r = 1\)): 5^6 = 15,625 점 — 실행 가능.
중간 cluster (\(n_i = 10, r = 2\)): 5^21 ≈ 5 × 10^14 점 — 불가능.
큰 cluster (\(n_i = 100\)): 천문학적 — 절대 불가능.

분해 후:

같은 사례 → 25 ~ 125 점 — 매우 빠름.

→ 3-level GLMM 의 추정 가능성이 식 (13.9) 의 분해에 전적으로 의존.

이 분해가 conditional independence 가정 (cluster effect 조건부 subject 독립) 위에 서 있음을 기억.

Conditional independence 위반 시:

Subject 간 추가 상관 (예: same cluster 의 spousal correlation) 모형화 필요.
→ 더 복잡한 covariance structure (cross-level, autocorrelated).
실무에서는 보통 conditional independence 충분.

8 관련 주제

선행 지식

Ch.4 정규 종단 MRM — 2-level linear (3-level 의 토대)
§ 4.5 MRM 추정 — EM + Fisher scoring (3-level 에 직접 적용)
Ch.9 GLMM 이항 — 2-level logistic (§ 13.2 의 토대)
§ 9.6.3 Gauss-Hermite quadrature — 적분 근사
§ 9.5.2 Cholesky factor — 식 (13.7) 의 reparameterization

후속 주제 (Ch.13 sub-posts)

§ 13.1 ~ 13.1.1 — Linear 3-level 의 깊이 (NIMH center clustering)
§ 13.2 ~ 13.2.4 — Nonlinear 3-level (probit, logistic, ordinal, nominal, count)
§ 13.3 — Ch.13 Summary
Ch.14 — 결측 데이터

관련 개념

Raudenbush & Bryk (2002) — Multilevel models 표준 reference
Goldstein (1995) — Multilevel statistical models
Longford (1987, 1993, 1994) — Multilevel models + EB
Hedeker, Gibbons, Flay (1991, 1994) — 초기 mixed-effects + clustering
Gibbons & Bock (1987) — Cholesky reparameterization 원전
Bryk & Raudenbush (1992) — Hierarchical Linear Models
Bock (1975) — Threshold concept (probit 토대)
Ch.14 결측 데이터 — 3-level data 의 missing pattern
Statistics 다수준 모형 일반 — Multilevel/HLM framework

1 들어가며 — Ch.13 의 자리와 3-level data 의 동기

2 3-Level Data 의 동기

2.1 왜 3-level 인가

3 § 13.1 — Three-Level Linear Mixed-Effects Model

3.1 표기와 모형 — 식 (13.1)

3.2 EAP Estimator + Score

3.3 § 13.1.1 — NIMH Illustration 미리보기

4 § 13.2 — Three-Level Nonlinear Mixed-Effects Models

4.1 Nonlinear 의 결정적 어려움

4.2 식 (13.9) — 적분 분해의 결정적 Trick

4.3 § 13.2.1 — Three-Level Probit

4.4 § 13.2.2 — Three-Level Logistic

4.5 § 13.2.3 — Illustration

4.6 § 13.2.4 — More General Outcomes

5 § 13.3 — Chapter 의 핵심 메시지

6 응용 분야

7 코드 예시

7.1 Step 1: 3-Level Linear 시뮬레이션

7.2 Step 2: Linear 3-Level 적합

7.3 Step 3: 3-Level Logistic 적합 (R lme4)

7.4 Step 4: 적분 분해의 효과 (계산 비용 비교)

8 관련 주제

7.3 Step 3: 3-Level Logistic 적합 (R `lme4`)