§ 9.2-9.3 — 로지스틱과 Probit 회귀: GLMM 이항의 토대

Logit link · Bernoulli MLE · Logistic cdf 미분 성질 · Probit 비교 · OR 해석

Hedeker & Gibbons (2006) Ch.9 §9.2 (로지스틱 회귀) 와 §9.3 (Probit 회귀) 의 자세한 풀이. Single-level (cross-sectional) 로지스틱 회귀의 두 표현 (식 9.1, 9.2) 의 등가성과 logit link 의 의미, Bernoulli 우도 (식 9.4-9.6) 으로부터 ML 추정의 score (식 9.7) 와 Fisher information (식 9.8) 도출 과정의 Logistic cdf 미분 성질 (\(\Psi' = \Psi(1-\Psi)\)) 활용, Newton-Raphson 알고리즘 (식 9.9) 의 IRLS 등동성. §9.3 의 Probit 회귀 (식 9.10) 와의 비교 — 두 cdf 의 표준화 형태가 거의 구분 불가, 분산 차이 (\(\pi^2/3\) vs 1), McCullagh (1980) 의 해석 용이성 권고. OR vs Probit Z-statistic 의 동등성, GLMM (§ 9.4-9.5) 토대 로서의 역할까지 정리한다.

Statistics
저자

Kwangmin Kim

공개

2026년 04월 30일

1 들어가며 — GLMM 이항의 토대 두 회귀

Ch.9 Overview 에서 이항 GLMM 의 전체 framework 를 다뤘다. 본 sub-post 는 single-level (cross-sectional) 로지스틱과 probit 회귀 를 깊이 — GLMM 으로 확장 (§ 9.4 threshold, § 9.5 mixed) 의 출발점.

내용 본 sub-post 강조
§ 9.2 로지스틱 회귀 Bernoulli MLE, Logistic cdf 미분 성질, Newton-Raphson
§ 9.3 Probit 회귀 Normal cdf 대안, 표준화 비교, Logit ↔︎ Probit 동등성
한 줄 요약

“§ 9.2 = Bernoulli + logit link 의 GLM. § 9.3 = Bernoulli + probit link 의 대안. 두 모형은 cdf 만 다르고 결론은 거의 같음. 이 single-level 모형이 § 9.5 의 GLMM 으로 자연 확장.”

2 § 9.2 — 로지스틱 회귀

2.1 모형 정의 — 두 가지 표현

식 (9.1) — Odds 형태

\(Y_i \in \{0, 1\}\), \(p_i = P(Y_i = 1)\), \(x_i = (1, x_{i1}, \ldots, x_{ip})^\top\) (\(p+1\) 차원, 절편 포함).

\[ p_i = P(Y_i = 1) = \frac{\exp(x_i^\top \beta)}{1 + \exp(x_i^\top \beta)} \tag{9.1} \]

식 (9.2) — Logistic cdf 형태

식 (9.1) 의 분자·분모를 \(\exp(x_i^\top \beta)\) 로 나누면:

\[ p_i = \frac{1}{1 + \exp(-x_i^\top \beta)} = \Psi(x_i^\top \beta) \tag{9.2} \]

여기서 Logistic cdf:

\[ \Psi(z) = \frac{1}{1 + \exp(-z)} \]

→ 두 표현 (9.1, 9.2) 은 수학적으로 동일, 단 후자가 cdf 형태로 더 깔끔.

2.3 확률 vs Logit Scale 의 모양

Figure 9.1 vs 9.2 — 비선형 vs 선형

Figure 9.1: \(x\) vs \(p\)S 자 (sigmoid) 곡선.

p
|         . - - - - -
|       .
|     .
|   .
| .
|.
└────────────────────── x

비선형 — \(x\) 의 같은 1 단위 증가가 \(p\) 에 다른 변화 (중간에서 가장 큼).

Figure 9.2: \(x\) vs Logit — 선형.

logit
|         /
|       /
|     /
|   /
| /
└────────────────────── x

로지스틱 회귀는 logit scale 에서 선형, 확률 scale 에서 S 자. 회귀 계수의 해석은 logit scale 에서 자연스러움.

2.4 회귀 계수 해석 — Log Odds + OR

\(\beta_p\) 의 두 가지 해석

Logit scale (직접):

\[ \beta_p = \frac{\partial \log[p/(1-p)]}{\partial x_p} = \text{change in log-odds per unit } x_p \]

→ “\(x_p\) 1 단위 증가 시 log-odds 가 \(\beta_p\) 만큼 변화.”

Odds Ratio (지수 변환):

\[ \text{OR} = \exp(\beta_p) = \frac{\text{odds}(x_p + 1)}{\text{odds}(x_p)} \]

→ “\(x_p\) 1 단위 증가 시 odds 가 \(\exp(\beta_p)\) 배 변화.”

OR 의 직관
\(\hat\beta\) OR 해석
0.000 1.000 효과 없음
0.405 1.500 50% odds 증가
0.693 2.000 odds 2 배
1.099 3.000 odds 3 배
-0.693 0.500 odds 절반
-1.099 0.333 odds 1/3

95% CI:

\[ \text{OR}_{\text{lower, upper}} = \exp(\hat\beta \pm 1.96 \cdot \text{SE}(\hat\beta)) \]

CI 가 1 포함 안 하면 유의.

2.5 Bernoulli 우도

식 (9.4-9.6) — Likelihood 도출

\(Y_i\) 가 Bernoulli(\(\Psi_i\)), \(\Psi_i = \Psi(x_i^\top \beta)\):

\[ P(Y_i) = \Psi_i^{Y_i} (1 - \Psi_i)^{1 - Y_i} \tag{9.4} \]

\(N\) 개 독립 표본의 우도:

\[ L = \prod_{i=1}^N \Psi_i^{Y_i} (1 - \Psi_i)^{1 - Y_i} \tag{9.5} \]

Log-likelihood:

\[ \log L = \sum_{i=1}^N [Y_i \log \Psi_i + (1 - Y_i) \log(1 - \Psi_i)] \tag{9.6} \]

Bernoulli 우도의 직관

식 (9.4) 의 형태:

  • \(Y_i = 1\): \(P(Y_i) = \Psi_i\) (성공 확률).
  • \(Y_i = 0\): \(P(Y_i) = 1 - \Psi_i\) (실패 확률).

이 둘을 한 식으로 표현: \(\Psi^Y (1-\Psi)^{1-Y}\).

예시:

  • \(Y = 1\)\(\Psi^1 (1-\Psi)^0 = \Psi\).
  • \(Y = 0\)\(\Psi^0 (1-\Psi)^1 = 1 - \Psi\).

Log 변환:

  • \(Y = 1\)\(\log \Psi\).
  • \(Y = 0\)\(\log(1 - \Psi)\).

→ 식 (9.6) 의 두 항 표현.

2.6 ML 추정 — Score Function

식 (9.7) — Score (1차 미분)

\(\beta\) 에 대한 log-likelihood 의 미분:

\[ \frac{\partial \log L}{\partial \beta} = \sum_i (Y_i - \Psi_i) x_i \tag{9.7} \]

ML 추정: \(U(\beta) = 0\) 을 푸는 \(\hat\beta\).

핵심 도출 — Logistic cdf 의 미분 성질

식 (9.7) 의 우아한 형태는 Logistic cdf 의 미분이 자기 자신의 함수 이기 때문.

\[ \Psi'(z) = \Psi(z) [1 - \Psi(z)] \]

이 성질의 유도:

\[ \Psi(z) = \frac{1}{1 + e^{-z}} \]

\[ \Psi'(z) = \frac{e^{-z}}{(1 + e^{-z})^2} = \frac{1}{1+e^{-z}} \cdot \frac{e^{-z}}{1+e^{-z}} = \Psi(z) \cdot [1 - \Psi(z)] \]

→ Bernoulli 분산 함수와 정확히 같은 형태 (\(V(Y) = \Psi(1-\Psi)\)).

연쇄 법칙으로 score 도출:

\[ \frac{\partial \log L}{\partial \beta} = \sum_i \left[\frac{Y_i}{\Psi_i} - \frac{1-Y_i}{1-\Psi_i}\right] \Psi'(x_i^\top \beta) x_i \]

\[ = \sum_i \frac{Y_i - \Psi_i}{\Psi_i (1 - \Psi_i)} \cdot \Psi_i (1 - \Psi_i) x_i = \sum_i (Y_i - \Psi_i) x_i \]

잔차 (\(Y_i - \Psi_i\)) 의 가중합 = 0. 일반 회귀의 normal equations 와 형태 같음.

식 (9.7) 의 의미 — 잔차 직교성

\[ \sum_i (Y_i - \hat\Psi_i) x_i = 0 \]

잔차가 모든 공변량과 직교. ML 추정의 본질적 성질.

OLS 의 정규 방정식 (\(\sum (Y - \hat\mu) x = 0\)) 와 같은 형태 — canonical link (logit) 의 결과.

다른 link (probit, cloglog) 에서는 \(V(Y)\) 와 link 의 미분이 달라 score 가 더 복잡한 형태.

2.7 Fisher Information — 식 (9.8)

2차 미분 (음수)

\[ -\frac{\partial^2 \log L}{\partial \beta \partial \beta^\top} = \sum_i \Psi_i (1 - \Psi_i) x_i x_i^\top \tag{9.8} \]

Fisher 의 의미 — 가중 외적

식 (9.8) 의 형태:

\[ \mathcal{I}(\beta) = X^\top W X \]

여기서 \(W = \text{diag}(\Psi_i (1 - \Psi_i))\)가중치 행렬, 각 관측에 Bernoulli 분산을 가중.

가중치의 직관:

  • \(\Psi_i \approx 0.5\): \(W_{ii} = 0.5 \cdot 0.5 = 0.25\) — 가장 큰 가중 (정보 많음).
  • \(\Psi_i \approx 0\) 또는 \(1\): \(W_{ii} \approx 0\) — 가중 작음 (정보 적음).

극단 확률에서 정보가 적은 이유: 거의 항상 0 또는 1 이라 어떤 \(\beta\) 에서나 같은 결과 → 데이터가 \(\beta\) 식별 어려움.

점근 분산-공분산: \(\hat\beta\) 의 분산 = \(\mathcal{I}(\hat\beta)^{-1}\).

2.8 Newton-Raphson — 식 (9.9)

반복 갱신

\[ \beta^{(t+1)} = \beta^{(t)} - \left[\frac{\partial^2 \log L}{\partial \beta^{(t)} \partial \beta^{(t),\top}}\right]^{-1} \frac{\partial \log L}{\partial \beta^{(t)}} \tag{9.9} \]

= \(\beta^{(t)} + \mathcal{I}(\beta^{(t)})^{-1} U(\beta^{(t)})\).

Newton-Raphson 의 직관 — Score 의 1 차 Taylor 전개

\(U(\beta) = 0\) 을 풀 때:

\[ 0 = U(\beta_0) \approx U(\beta^{(t)}) + U'(\beta^{(t)}) (\beta_0 - \beta^{(t)}) \]

\(\beta_0\) 에 대해 풀면:

\[ \beta_0 \approx \beta^{(t)} - U'(\beta^{(t)})^{-1} U(\beta^{(t)}) \]

\(U' = -\mathcal{I}\) 이므로:

\[ \beta^{(t+1)} = \beta^{(t)} + \mathcal{I}^{-1} U \]

2 차 수렴 (보통 5~10 회 반복).

각 반복이 사실 IRLS (Iteratively Reweighted Least Squares):

\[ \beta^{(t+1)} = (X^\top W^{(t)} X)^{-1} X^\top W^{(t)} z^{(t)} \]

여기서 \(z = X\beta + W^{-1}(y - \Psi)\) — 작업 응답 (working response).

2.9 ML 추정량의 점근 성질

표준 ML 이론 적용

수렴 후:

  • 점근 정규: \(\sqrt{N}(\hat\beta - \beta_0) \xrightarrow{d} \mathcal{N}(0, \mathcal{I}_0^{-1})\).
  • SE: \(\text{SE}(\hat\beta_p) = \sqrt{[\mathcal{I}^{-1}]_{pp}}\).
  • Wald 검정: \(W = \hat\beta_p / \text{SE}(\hat\beta_p) \sim \mathcal{N}(0, 1)\)\(W^2 \sim \chi^2_1\).
  • 95% CI: \(\hat\beta_p \pm 1.96 \cdot \text{SE}\).
  • OR CI: \(\exp(\hat\beta_p \pm 1.96 \cdot \text{SE})\).

3 § 9.3 — Probit 회귀

3.1 정의

식 (9.10) — Probit 모형

\[ p_i = P(Y_i = 1) = \Phi(x_i^\top \beta) \tag{9.10} \]

여기서 \(\Phi\) = 표준 정규 cdf.

Logit 의 logistic cdf 를 정규 cdf 로 대체.

Probit 의 의미

“Probit” = probability + unit (Bliss 1934).

원래는 “잠재 변수의 임계값” 으로 해석:

\[ y_i = x_i^\top \beta + \epsilon_i, \quad \epsilon_i \sim \mathcal{N}(0, 1) \]

\[ Y_i = I(y_i > 0) \implies P(Y_i = 1) = P(\epsilon_i > -x_i^\top\beta) = \Phi(x_i^\top\beta) \]

→ Threshold concept (§ 9.4) 의 정규 잠재 변수 버전. Probit 가 본질적으로 잠재 정규 가정.

3.2 Logit vs Probit cdf 비교

Figure 9.3 — 두 cdf 의 시각적 차이
P(Y=1)
1.0 |          ··· logistic  - - - normal
0.9 |                     ───────────
0.8 |                  ───
0.7 |               ───
0.6 |             ──
0.5 |          ───
0.4 |       ───
0.3 |    ───
0.2 |  ──
0.1 | ──
0.0 |─────────────────────────────────
        -4  -3  -2  -1   0   1   2   3   4   z

차이:

  • 로지스틱: 두꺼운 꼬리 (heavy tails).
  • 정규: 얇은 꼬리.
  • 분산: 정규 = 1, 로지스틱 = \(\pi^2/3 \approx 3.29\).
Figure 9.4 — 표준화 후 거의 동일

분산을 1 로 표준화한 logistic (\(z \cdot \sqrt{3/\pi^2}\)) 와 정규 cdf:

P(Y=1)
1.0 |           ··· standardized logistic  - - - normal
0.9 |                  ━━━━━━━━━━━━━━
0.8 |               ━━━
0.7 |            ━━━
0.6 |          ━━
0.5 |        ━━
0.4 |      ━━
0.3 |    ━━
0.2 |  ━━
0.1 | ━━
0.0 |─────────────────────────────────
        -4  -3  -2  -1   0   1   2   3   4   z

→ 거의 구분 불가.

Doksum & Gasko (1990): 두 모형 식별에 큰 + 양질 데이터 필요.

3.3 회귀 계수 Scale 차이 — 식 (9.12)

\(\beta_L \approx 1.81 \beta_P\)

같은 데이터에 두 모형 적합 시 회귀 계수가 scale 차이.

잠재 변수 분산 일치 기준 (식 9.12):

\[ \beta_L \approx \sqrt{\pi^2 / 3} \cdot \beta_P \approx 1.81 \cdot \beta_P \tag{9.12} \]

다른 기준:

출처 비율 기준
식 (9.12) 1.81 분산 일치
Amemiya (1981) 1.6 cdf 일치 (least squares)
Long (1997) 1.7 비슷한 cdf 매칭

→ 보통 1.6 ~ 1.8 범위. 정확한 값은 데이터에 따라 미세 차이.

Z-statistic 의 동등성 — 결론 거의 같음

회귀 계수와 SE 가 같은 비율로 변하므로:

\[ Z = \hat\beta / \text{SE}(\hat\beta) \]

가 두 모형에서 거의 같음.

유의성·방향 결론 동일. 단 회귀 계수 점추정값만 1.6~1.8 배 차이.

OR 해석: Logit 만 가능. Probit 는 잠재 변수 척도라 OR 변환 어색.

McCullagh (1980) 권고:

“두 모형이 보통 비슷한 결과 → 해석 용이성 기준 선택. 일반적으로 logit 선호 (OR 직접 해석).”

3.4 Probit 가 우위인 시나리오

Probit 선호 분야
분야 이유
유전 연구 잠재 정규 가정 자연 (생물학적 잠재 형질)
경제학 (이산 선택) 정규 효용 가정 표준
다변량 이항 (multivariate probit) 정규 다변량 분포의 calculus 활용
베이지안 추정 (Albert & Chib 1993) 정규 우도가 데이터 증강 알고리즘과 호환

Probit 가 잠재 변수 framework 와 더 자연스럽게 결합. 이 점이 GLMM (§ 9.4 threshold) 으로 확장 시 중요.

4 두 모형의 GLMM 토대 역할

4.1 § 9.4 Threshold 와의 다리

잠재 변수 형태 통합

§ 9.4 의 식 (9.11):

\[ y_i = x_i^\top \beta + \epsilon_i \]

\(\epsilon_i\) 의 분포에 따라:

  • 로지스틱 (\(V = \pi^2/3\)): logistic regression.
  • 정규 (\(V = 1\)): probit regression.

→ § 9.2-9.3 의 두 회귀가 § 9.4 의 잠재 변수 framework 의 두 특수 경우.

§ 9.5 Mixed-Effects 로의 확장

\[ y_{ij} = x_{ij}^\top \beta + \sigma_\upsilon \theta_i + \epsilon_{ij} \]

→ 잠재 변수 형태에 랜덤 효과 추가. § 9.2-9.3 의 single-level 모형이 GLMM 의 출발점.

핵심 통찰: GLMM 이항이 잠재 변수 framework 위에서 자연 도출 — Threshold concept 가 GLMM 이항의 통합 시각.

5 코드 예시

5.1 Step 1: Logistic Regression IRLS 직접 구현

import numpy as np
from scipy.special import expit


def logistic_irls(X: np.ndarray, y: np.ndarray,
                  max_iter: int = 50, tol: float = 1e-8) -> dict:
    """로지스틱 회귀 ML 추정 (Newton-Raphson / IRLS)"""
    n, p = X.shape
    beta = np.zeros(p)

    for iteration in range(max_iter):
        # 식 (9.2) — 확률 계산
        eta = X @ beta
        psi = expit(eta)  # Logistic cdf

        # 식 (9.7) — Score
        score = X.T @ (y - psi)

        # 식 (9.8) — Fisher information (Bernoulli 가중)
        W = np.diag(psi * (1 - psi))
        fisher = X.T @ W @ X

        # 식 (9.9) — Newton-Raphson
        delta = np.linalg.solve(fisher, score)
        beta_new = beta + delta

        if np.linalg.norm(delta) < tol:
            return {
                "beta": beta_new,
                "iterations": iteration + 1,
                "score": score,
                "fisher": fisher,
                "vcov": np.linalg.inv(fisher),
                "se": np.sqrt(np.diag(np.linalg.inv(fisher))),
            }
        beta = beta_new

    return {"beta": beta, "iterations": max_iter, "converged": False}


# 검증 — 시뮬레이션
np.random.seed(2026)
n = 500
X = np.column_stack([np.ones(n), np.random.normal(size=n), np.random.normal(size=n)])
beta_true = np.array([0.5, 1.0, -0.5])
psi_true = expit(X @ beta_true)
y = np.random.binomial(1, psi_true)

result = logistic_irls(X, y)
print(f"True beta: {beta_true}")
print(f"Estimate:  {result['beta'].round(3)}")
print(f"SE:        {result['se'].round(3)}")
print(f"Iterations: {result['iterations']}")

# OR 계산
or_values = np.exp(result['beta'][1:])
or_lower = np.exp(result['beta'][1:] - 1.96 * result['se'][1:])
or_upper = np.exp(result['beta'][1:] + 1.96 * result['se'][1:])
print(f"\nOR (x1, x2): {or_values.round(2)}")
print(f"95% CI:     [{or_lower.round(2)}, {or_upper.round(2)}]")
검증 포인트
  • 보통 5~10 회 반복으로 수렴.
  • 추정값이 진짜 모수에 가까움 (\(N=500\) 정도면 SE 의 1~2 배 이내).
  • statsmodels Logit(y, X).fit() 결과와 일치.

5.2 Step 2: Logit vs Probit 비교

import statsmodels.api as sm


# Logit 적합
logit_fit = sm.Logit(y, X).fit(disp=False)
print("=== Logit ===")
print(f"Beta: {logit_fit.params.round(3)}")
print(f"SE:   {logit_fit.bse.round(3)}")
print(f"Z:    {(logit_fit.params / logit_fit.bse).round(2)}")

# Probit 적합
probit_fit = sm.Probit(y, X).fit(disp=False)
print("\n=== Probit ===")
print(f"Beta: {probit_fit.params.round(3)}")
print(f"SE:   {probit_fit.bse.round(3)}")
print(f"Z:    {(probit_fit.params / probit_fit.bse).round(2)}")

# Scale 비교
ratio_beta = logit_fit.params / probit_fit.params
ratio_se = logit_fit.bse / probit_fit.bse
ratio_z = (logit_fit.params / logit_fit.bse) / (probit_fit.params / probit_fit.bse)

print("\n=== Logit / Probit ===")
print(f"Beta ratio: {ratio_beta.round(2)} (식 9.12 예측: 1.81)")
print(f"SE ratio:   {ratio_se.round(2)}")
print(f"Z ratio:    {ratio_z.round(2)} (예상: 1.00)")
결과 해석
  • Beta ratio: 약 1.6 ~ 1.8 (Hedeker 식 9.12 의 1.81 와 일치).
  • SE ratio: Beta 와 같은 비율 (분포 분산 차이 반영).
  • Z ratio: 거의 1.00 — 두 모형의 통계량과 결론 동일.

→ McCullagh (1980) 의 권고 검증: 결론은 같으니 해석 용이성 (logit 의 OR) 으로 선택.

5.3 Step 3: 확률 vs Logit Scale 시각화

import numpy as np
import matplotlib.pyplot as plt
from scipy.special import expit
from scipy.stats import norm


z = np.linspace(-4, 4, 200)
psi_logistic = expit(z)
phi_normal = norm.cdf(z)
phi_logistic_std = expit(z * np.pi / np.sqrt(3))  # 표준화 logistic

fig, axes = plt.subplots(1, 2, figsize=(12, 4))

# 좌: 원래 cdf 비교
axes[0].plot(z, psi_logistic, label="Logistic (V=π²/3)")
axes[0].plot(z, phi_normal, label="Normal (V=1)", linestyle="--")
axes[0].set_xlabel("z")
axes[0].set_ylabel("P(Y=1)")
axes[0].set_title("Figure 9.3 — Original cdfs")
axes[0].legend()
axes[0].grid(alpha=0.3)

# 우: 표준화 비교
axes[1].plot(z, phi_logistic_std, label="Standardized Logistic")
axes[1].plot(z, phi_normal, label="Normal", linestyle="--")
axes[1].set_xlabel("z")
axes[1].set_ylabel("P(Y=1)")
axes[1].set_title("Figure 9.4 — Standardized cdfs")
axes[1].legend()
axes[1].grid(alpha=0.3)

plt.tight_layout()
plt.show()
그림 해석
  • 원래 cdf: Logistic 이 더 완만한 S 자 (분산 큼). 같은 \(z\) 에서 정규보다 0.5 에 더 가까움.
  • 표준화 cdf: 분산을 1 로 정규화하면 두 곡선 거의 일치 — 식별 매우 어려움.

이 시각화가 Logit ≈ Probit 결론 동일 의 시각적 근거.

6 핵심 정리

한 페이지 요약

§ 9.2 — 로지스틱 회귀:

  1. 두 표현 (식 9.1, 9.2): \(p = \exp(x'\beta)/(1+\exp(x'\beta)) = \Psi(x'\beta)\). 동등.
  2. Logit link (식 9.3): \(\log[p/(1-p)] = x^\top\beta\). \((0,1)\)\(p\)\((-\infty, +\infty)\) 의 logit 으로.
  3. OR 해석: \(\exp(\beta_p)\) = \(x_p\) 1 단위 증가의 odds 비율.
  4. Bernoulli 우도 (식 9.4-9.6): 직관적 — 성공이면 \(\Psi\), 실패면 \(1-\Psi\).
  5. Score (식 9.7): \(\sum (Y_i - \Psi_i) x_i = 0\). 잔차 직교성.
  6. Logistic cdf 미분 성질: \(\Psi'(z) = \Psi(z)(1-\Psi(z))\) — Bernoulli 분산 함수와 일치.
  7. Fisher (식 9.8): \(X^\top W X\), \(W = \text{diag}(\Psi(1-\Psi))\). 가중 외적.
  8. Newton-Raphson (식 9.9): IRLS 와 동등. 보통 5~10 회 수렴.

§ 9.3 — Probit 회귀:

  1. 모형 (식 9.10): \(p = \Phi(x^\top\beta)\). 정규 cdf.
  2. 잠재 변수 해석: \(y = x^\top\beta + \epsilon\), \(\epsilon \sim \mathcal{N}(0,1)\).
  3. Logit ↔︎ Probit scaling (식 9.12): \(\beta_L \approx 1.81 \beta_P\) (분산 일치). Amemiya 1.6, Long 1.7.
  4. Z-statistic 동등성: \(Z\) 가 거의 같음 → 결론 동일.
  5. 선택 기준 (McCullagh 1980): 해석 용이성. Logit 가 OR 직접 → 일반적 우위.
  6. GLMM 토대: § 9.4 threshold + § 9.5 mixed-effects 의 출발점. 잠재 변수 framework 가 통합 시각.

§ 9.2-9.3 의 single-level 로지스틱·probit 가 GLMM 이항의 수학적 토대. Threshold concept (§ 9.4) 으로 두 모형이 잠재 변수 framework 통합되고, 랜덤 효과 추가 (§ 9.5) 로 GLMM 으로 확장.

7 다음 단계

주제 내용 위치
§ 9.4 Threshold + § 9.5 Mixed-effects 잠재 변수 + 랜덤 효과 추가 작성 예정 (09-2-mrm-glmm-binary-mixed.qmd)
§ 9.6-10 Estimation Marginal MLE + Quadrature 작성 예정
§ 9.12 NIMH 정신과 사례 종단 이항 GLMM 적용 작성 예정

8 관련 주제

선행 지식

관련

후속 주제

  • § 9.4 Threshold concept (잠재 변수 깊이)
  • § 9.5 Mixed-effects logistic
  • § 9.6-10 Estimation
  • Ch.10 GLMM 순서형 — 순서 반응 잠재 변수 확장

교재

  • Hedeker, D. & Gibbons, R. D. (2006). Longitudinal Data Analysis, Wiley, Ch.9 §9.2-9.3 (pp. 150-154)
  • Hosmer, D. W. & Lemeshow, S. (2000). Applied Logistic Regression (2nd ed.), Wiley
  • Finney, D. J. (1971). Probit Analysis (3rd ed.), Cambridge University Press
  • Bliss, C. I. (1934). “The method of probits”, Science 79, 38-39 — Probit 어원
  • McCullagh, P. (1980). “Regression models for ordinal data”, JRSS B 42, 109-142
  • McCullagh, P. & Nelder, J. A. (1989). Generalized Linear Models (2nd ed.), Chapman & Hall
  • Long, J. S. (1997). Regression Models for Categorical and Limited Dependent Variables, Sage
  • Amemiya, T. (1981). “Qualitative response models: a survey”, Journal of Economic Literature 19, 1483-1536
  • Doksum, K. A. & Gasko, M. (1990). “On a correspondence between models in binary regression analysis and in survival analysis”, International Statistical Review 58, 243-252
  • Albert, J. H. & Chib, S. (1993). “Bayesian analysis of binary and polychotomous response data”, JASA 88, 669-679 — 베이지안 probit
  • Dobson, A. J. (1990). An Introduction to Generalized Linear Models, Chapman & Hall

Subscribe

Enjoy this blog? Get notified of new posts by email: