1 개요 — 12 문제의 지형
§14.7 의 연습문제는 Salamander 예제 (§14.5) 와 함께 Ch.14 의 수학적 뼈대를 채우는 도구 집합이다. 본문은 개요만 제시하고 “상세 유도는 연습문제 X” 로 미룬 부분이 많다 — 따라서 §14.7 을 풀지 않으면 본문의 주장들이 공중에 뜬다.
12 문제 분류:
| 유형 | 문제 번호 | 주제 |
|---|---|---|
| 이론 근사 | 14.2, 14.3, 14.4 | 로지스틱-정규 혼합의 평균·분산·공분산 |
| 수학 보조 정리 | 14.6, 14.8, 14.10, 14.11 | \(E(s^2)\), Kruskal 정리, 로그 분산 |
| Salamander 구체 | 14.1, 14.5, 14.9, 14.12 | (14.12) 유도, 데이터 추가 분석, 균형 조건 |
| 분산 성분 pooling | 14.7 | Table 14.10 pooled 추정치 재확인 |
이번 글은 가장 통찰력 있는 6 문제 (14.2, 14.6, 14.8, 14.9, 14.10-11, 14.12) 를 심화하고, 나머지를 간략 요약한다. 특히 Kruskal 정리와 (14.12) 의 유일 estimable contrast 는 Salamander 분석 전체의 이론적 토대다.
2 연습 14.2 — 로지스틱-정규 혼합의 \(\tanh\) 보정 근사
2.1 문제
\(\epsilon \sim N(0, \sigma^2)\), \(P = F(\alpha + \epsilon) = \frac{e^{\alpha+\epsilon}}{1+e^{\alpha+\epsilon}}\), \(\pi = E(P)\).
주장: \(\pi \simeq F(\alpha^*)\), 여기서
\[ \alpha^* = \alpha - \frac{1}{2} \sigma^2 \tanh\left\{\frac{\alpha(1 + 2e^{-\sigma^2/2})}{6}\right\}. \]
이 근사의 \(\sigma^2 < 2\) 에서 최대 오차 = 0.003 (확률 스케일). Taylor 1차 근사보다 훨씬 정확.
2.2 왜 이 근사가 필요한가
§14.3 과 §14.5 에서 반복적으로 등장하는 문제: “로지스틱 링크 + 정규 랜덤효과” 의 주변 평균 이 어떻게 되는가?
직접 계산:
\[ \pi = E\left[\frac{e^{\alpha+\epsilon}}{1+e^{\alpha+\epsilon}}\right] = \int \frac{e^{\alpha+\epsilon}}{1+e^{\alpha+\epsilon}} \phi(\epsilon; 0, \sigma^2)\, d\epsilon. \]
닫힌 해 없음. 수치 적분 또는 Monte Carlo 필요.
Taylor 1차 근사: \(F(\alpha + \epsilon) \approx F(\alpha) + F'(\alpha) \epsilon + \frac{1}{2}F''(\alpha)\epsilon^2\). \(E(\epsilon) = 0\) 이므로:
\[ \pi \approx F(\alpha) + \frac{1}{2} F''(\alpha) \sigma^2 = F(\alpha) + \frac{1}{2} F(\alpha)(1-F(\alpha))(1-2F(\alpha)) \sigma^2. \]
문제: 이 근사는 \(\alpha\) 가 0 에서 멀고 \(\sigma^2\) 가 크면 심각하게 부정확. 특히 극단 확률에서 Taylor 꼬리 근사가 실패.
2.3 \(\tanh\) 보정의 기원
Zeger-Liang-Albert (1988) 와 후속 연구가 제안한 개선식. 직관:
- \(\alpha \to +\infty\): \(\pi \to 1\). Taylor 는 \(F(\alpha) \to 1\) 에서 2차 항이 음수로 발산 → \(\pi > 1\) 의 불합리.
- \(\tanh\) 보정: \(\alpha\) 가 커지면 \(\tanh \to 1\) 이 되어 \(\alpha^* = \alpha - \sigma^2/2\) 로 수렴. 여전히 큰 \(\alpha\) 이므로 \(F(\alpha^*) \to 1\) — 경계 행동 올바름.
\((1 + 2 e^{-\sigma^2/2})/6\) 계수는 2차·4차 모멘트 보정으로 수치적으로 최적화된 값.
2.4 극한 검증
\(\alpha \to \infty\): \(\tanh \to 1\), \(\alpha^* \approx \alpha - \sigma^2/2 \to \infty\), \(F(\alpha^*) \to 1\). ✓
\(\alpha \to -\infty\): \(\tanh \to -1\), \(\alpha^* \approx \alpha + \sigma^2/2 \to -\infty\), \(F(\alpha^*) \to 0\). ✓
\(\alpha = 0\): \(\tanh(0) = 0\), \(\alpha^* = 0\), \(F(0) = 1/2\). 대칭성 유지. ✓
2.5 분산 근사
\(\alpha\) 에 대한 미분으로
\[ \text{var}(P) \simeq \sigma^2 \pi(1-\pi) \pi^\dagger(1-\pi^\dagger) \cdot \frac{1}{3}(1 + 2e^{-\sigma^2/2}), \]
\(\pi^\dagger = F(\alpha(1 + 2e^{-\sigma^2/2})/3)\).
\(\sigma^2 < 2\) 에서 매우 정확 — Taylor 근사보다 훨씬 우월.
2.6 Python 검증
import numpy as np
from scipy import stats
from scipy.integrate import quad
def F(x):
"""로지스틱 누적"""
return 1 / (1 + np.exp(-x))
def pi_exact(alpha, sigma2, n_points=1000):
"""수치 적분으로 정확한 π"""
mean, err = quad(lambda e: F(alpha + e) * stats.norm.pdf(e, 0, np.sqrt(sigma2)),
-10*np.sqrt(sigma2), 10*np.sqrt(sigma2))
return mean
def pi_taylor(alpha, sigma2):
"""Taylor 1차 근사"""
Fa = F(alpha)
return Fa + 0.5 * Fa * (1 - Fa) * (1 - 2*Fa) * sigma2
def pi_tanh(alpha, sigma2):
"""§14.2 tanh 보정"""
alpha_star = alpha - 0.5 * sigma2 * np.tanh(
alpha * (1 + 2*np.exp(-sigma2/2)) / 6
)
return F(alpha_star)
# 비교
for sigma2 in [0.5, 1.0, 1.5]:
print(f"\nσ² = {sigma2}:")
for alpha in [-2, -1, 0, 1, 2]:
pe = pi_exact(alpha, sigma2)
pt = pi_taylor(alpha, sigma2)
ph = pi_tanh(alpha, sigma2)
print(f" α={alpha:+.0f}: exact={pe:.4f}, Taylor={pt:.4f} (err {pt-pe:+.4f}), "
f"tanh={ph:.4f} (err {ph-pe:+.4f})")기대: \(\tanh\) 보정의 오차가 Taylor 의 \(1/10 \sim 1/100\).
3 연습 14.6 — 표본 분산 기대값의 일반 공식
3.1 문제
\(Y_1, \ldots, Y_n\) 이 공통 평균 \(\mu\) 와 공분산 \(\kappa_{i,j} = \text{cov}(Y_i, Y_j)\) 를 가질 때
\[ s^2 = \frac{1}{n-1} \sum_i (Y_i - \bar Y)^2. \]
주장:
\[ E(s^2) = \frac{1}{n} \sum_i \kappa_{i,i} - \frac{1}{n(n-1)} \sum_{i \neq j} \kappa_{i,j}. \]
3.2 증명
\(\sum_i (Y_i - \bar Y)^2 = \sum_i Y_i^2 - n \bar Y^2\).
첫 항: \(E[\sum Y_i^2] = \sum E[Y_i^2] = \sum (\mu^2 + \kappa_{ii}) = n\mu^2 + \sum \kappa_{ii}\).
두 번째 항:
\[ E[n \bar Y^2] = n \cdot E\left[\left(\frac{\sum Y_i}{n}\right)^2\right] = \frac{1}{n} E[(\sum Y_i)^2] = \frac{1}{n}(n^2 \mu^2 + \sum_i \sum_j \kappa_{i,j}). \]
\(\sum_i \sum_j \kappa_{i,j} = \sum_i \kappa_{ii} + \sum_{i \neq j} \kappa_{ij}\).
차이:
\[ E[\sum(Y_i - \bar Y)^2] = \sum \kappa_{ii} - \frac{1}{n}\{\sum \kappa_{ii} + \sum_{i \neq j} \kappa_{ij}\} = \frac{n-1}{n} \sum \kappa_{ii} - \frac{1}{n} \sum_{i \neq j} \kappa_{ij}. \]
\((n-1)\) 로 나누면:
\[ E(s^2) = \frac{1}{n} \sum \kappa_{ii} - \frac{1}{n(n-1)} \sum_{i \neq j} \kappa_{ij}. \;\square \]
3.3 해석 — 독립 경우의 일반화
\(\kappa_{ij} = 0\) for \(i \neq j\) (독립): \(E(s^2) = \bar\kappa_{ii} = \sigma^2\) (전통적 결과).
\(\kappa_{ij} \neq 0\) (상관): 두 번째 항이 \(s^2\) 의 기대값을 편향. 양의 상관이면 \(s^2\) 이 참 분산을 과소 추정.
\(Y\) 가 cluster 구조를 가지면 같은 cluster 관측치들이 서로 비슷함 → \(\kappa_{ij} > 0\) for same cluster. 표본 분산 \(s^2\) 는 전체 변동이 아니라 cluster 내 변동에 가까운 값을 주므로 진짜 분산보다 작다.
실무 함의: 독립 가정 하의 \(s^2\) 를 cluster 데이터에 적용하면 SE 과소 추정 — GLMM 이 필요한 이유.
3.4 §14.4 와의 연결
이 공식이 이차 형식 \(Q_r\) 기대값 (14.9) 의 특수 사례. \(P_r\) = 분산 연산자 (\(I - \bar\bullet\)) 일 때 \(Q_r / (n-1) = s^2\) 이고, \(\text{tr}(P_r V_j)\) 가 \(\sum \kappa_{ii}, \sum \kappa_{ij}\) 로 분해된다. MoM 분산 성분 추정의 일반 공식이 여기서 나옴.
4 연습 14.8 — Kruskal 정리 (1968)
4.1 문제
선형 모형 \(E(Y) = X\beta\), \(\text{cov}(Y) = V\). OLS 추정 \(\widetilde\beta = (X^TX)^{-1}X^TY\), GLS 추정 \(\widehat\beta = (X^TWX)^{-1}X^TWY\) with \(W = V^{-1}\).
주장: \(X\) 의 열공간 \(\mathcal X\) 가 \(V\)-불변 이면 (즉 \(x \in \mathcal X \Rightarrow Vx \in \mathcal X\)), \(\widetilde\beta = \widehat\beta\) — OLS 와 GLS 가 일치.
4.2 의미
일반적으로 OLS 는 GLS 보다 비효율. 그러나 \(V\) 가 설계 공간을 보존 하면 두 방법이 같다.
4.3 증명 스케치
\(V x \in \mathcal X\) for \(x \in \mathcal X\) 이면, \(V\) 의 \(\mathcal X\) 에 대한 제한이 \(\mathcal X \to \mathcal X\) 자기 사상. 고유 분해 에서 \(\mathcal X\) 가 \(V\) 의 고유 공간 의 직합.
따라서 \(P_X V = V P_X\) (\(P_X\) = \(\mathcal X\) 사영). 이 가환성이
\[ (X^TX)^{-1}X^T Y \overset{?}{=} (X^TV^{-1}X)^{-1}X^TV^{-1}Y \]
를 강제. 대수 조작으로 두 추정치가 실제로 같음이 드러난다. \(\square\)
4.4 언제 \(V\mathcal X \subset \mathcal X\) 인가
조건 1 — \(V = \sigma^2 I\): 당연. OLS = GLS = MLE.
조건 2 — 완전 균형 설계: 특정 블록 구조에서 \(V\) 가 블록 단위로 작용하고 \(\mathcal X\) 가 그 블록 구조에 호환.
조건 3 — Salamander 의 예 (연습 14.9): 각 cross type 에 정확히 30 짝짓기. 균형성이 \(V\)-불변 조건을 만족.
4.5 실무 함의
균형 설계에서는 단순 OLS 가 복잡한 GLS 와 같은 답. 따라서 연습 14.9 가 보이듯 (14.12) 의 단순 비율 추정이 GLMM 의 정확한 해.
Kruskal 정리는 “균형 설계는 복잡한 분산 구조에 robust” 라는 실무 원칙의 이론적 근거.
- 균형 설계: OLS / 단순 비율 = GLS. 분산 성분이 부정확해도 점 추정 견고.
- 불균형 설계: OLS ≠ GLS. 분산 구조 정확한 명세가 필수.
실무: 균형 가능하면 균형으로 설계하라. 분석의 강건성이 극적으로 향상.
5 연습 14.9 — Salamander 의 균형 조건
5.1 문제
Salamander 실험에서 Kruskal 정리를 적용해 (14.12) 의 단순 비율 추정이 MLE 임을 보이라. 필요한 균형 조건 은?
5.2 조건
Salamander 설계: - 4 cross type 각 30 짝짓기 (균형). - 각 암컷이 cross 당 3 기회 (균형). - 각 수컷이 cross 당 3 기회 (균형).
이 세 조건의 교집합 이 \(V\)-불변 성질을 보장.
5.3 증명 개요
공분산 (14.13) 이 네 블록 (cross type) 각각에서 동일 구조. \(X\) = cross type 지시 행렬. \(X\) 의 열공간은 각 cross type 의 상수 벡터 기반.
\(V\) 를 \(X\)-열공간에 작용시키면: - 대각 \(\Pi(I - \Pi)\) 가 cross type 단위로 상수 → \(X\)-공간 보존. - 두 번째 항 (랜덤효과) 이 \(3\sigma_F^2, 3\sigma_M^2, 0\) 블록 구조 → 역시 \(X\)-공간 보존.
따라서 \(V\mathcal X \subset \mathcal X\). Kruskal 정리로 OLS = GLS = (14.12) 단순 비율. \(\square\)
5.4 불균형이 되면
각 cross type 에 다른 관측 수 가 있거나, 각 암컷이 어떤 cross 에는 3 기회 다른 cross 에는 2 기회가 있으면 조건이 깨진다. 이 경우 (14.12) 는 근사적 MLE 만 되고 GLS 재적합이 필요.
6 연습 14.10-11 — Gamma vs 로그-정규의 \(\text{var}(\log Y)\)
6.1 14.10: Gamma 경우
\(Y \sim \text{Gamma}(\mu, \nu)\) (shape \(\nu\), mean \(\mu\)).
주장: \(\text{var}(\log Y) = \psi'(\nu)\), \(\psi(x) = \Gamma'(x)/\Gamma(x)\) (digamma 함수).
증명: \(\log Y = \log \mu + \log(Y/\mu)\). \(Y/\mu \sim \text{Gamma}(1, \nu)\) — 표준 gamma. 이의 로그 분산:
\[ \text{var}(\log(Y/\mu)) = \text{var}(\log Z), \quad Z \sim \text{Gamma}(\nu, 1). \]
Gamma 함수 적분 공식과 MGF 로부터 \(\text{var}(\log Z) = \psi'(\nu) = \text{trigamma}(\nu)\).
6.2 CV 근사 조건
\(\text{var}(\log Y) \simeq \text{CV}^2(Y) = 1/\nu\) 가 언제 정확한가?
큰 \(\nu\) (= 작은 CV): \(\psi'(\nu) \approx 1/\nu + 1/(2\nu^2)\) (점근 확장). 1/ν 으로 근사하면 오차 \(O(1/\nu^2)\).
실무 규칙: \(\nu > 10\) (CV < 32%) 이면 \(\text{var}(\log Y) \simeq 1/\nu\) 가 3% 오차 이내. CV 가 작을수록 근사 정확.
6.3 14.11: 로그-정규 경우
\(\log Y \sim N(\mu, \sigma^2)\). 정확한 결과: \(\text{var}(\log Y) = \sigma^2\) (정의상).
한편 \(\text{CV}^2(Y) = e^{\sigma^2} - 1\).
근사 \(\text{var}(\log Y) \simeq \text{CV}^2(Y)\): \(\sigma^2 \approx e^{\sigma^2} - 1\). Taylor 전개 \(e^{\sigma^2} = 1 + \sigma^2 + \sigma^4/2 + \cdots\) → 오차 \(\sigma^4/2\).
실무 규칙: \(\sigma^2 < 0.5\) (CV < 80%) 이면 근사 적당. CV 가 매우 크면 실패.
6.4 비교
| 분포 | \(\text{var}(\log Y)\) | CV 근사 조건 |
|---|---|---|
| Gamma | \(\psi'(\nu)\) | \(\nu\) 크면 \(1/\nu \approx\) 참 |
| 로그-정규 | \(\sigma^2\) (정확) | 항상 \(\sigma^2\), but CV² 근사는 \(\sigma^2\) 작을 때만 |
§14.2 에서 결핵균 assay 분석에 사용한 “\(\text{var}(\log Y) \simeq \text{CV}^2(Y)\)” 관계는 CV ≈ 15% (within) · 94% (between) 수준에서: - within (15%): 근사 오차 < 1% — 정확. - between (94%): 근사 오차 ~50% — 대략적. 해석 시 주의 필요.
7 연습 14.12 — 유일 Estimable Contrast
7.1 문제
Salamander 모형 (14.10) 을 행렬로 쓰면
\[ \eta = Zb + X\pi, \]
- \(Z\): \(120 \times 40\) incidence 행렬 (각 시도의 암컷 + 수컷 동물 쌍 표시).
- \(X\): \(120 \times 4\) incidence 행렬 (4 cross type).
- \(b\): 40 개별 동물 효과.
- \(\pi\): 4 cross type 효과.
주장: \((I - Z(Z^TZ)^{-}Z^T)X\) 의 rank = 1. Span 은 대조
\[R/R - R/W - W/R + W/W\]
에 대응. 즉 이 대조만 \(b\) 에 orthogonal 하므로 \(\pi\) 에서만 estimable.
7.2 의미
고정효과 모형에서 \(\pi\) 의 4 개 효과 중 \(b\) 에 의해 absorbed 되지 않고 남는 방향이 단 1 차원. 그 차원이 위의 특수 대조.
기하 해석: \(Z\) 의 column space 에 \(X\) 의 column space 를 사영해 제외하면, 4 차원 \(X\)-공간 중 3 차원이 \(Z\)-공간에 흡수되고 1 차원만 남음.
7.3 왜 이 대조만 남는가
위의 4 개 cross type 대조 \(R/R - R/W - W/R + W/W\) 는 “암컷 효과 + 수컷 효과 의 가법성” 을 깨는 교호작용 성분.
- 가산 모형: \(\text{cross effect} = \text{female pop effect} + \text{male pop effect}\).
- 교호작용 대조: \((R/R + W/W) - (R/W + W/R)\) = 같은 개체군 쌍 합 − 다른 개체군 쌍 합.
교호작용은 개별 동물 효과 \(b\) 에 흡수될 수 없다 — 개별 효과는 가산적이므로. 따라서 이 대조만 식별 가능.
7.4 수치 — 두 방식의 SE 비교
대조 값:
\[C = \widehat\pi_{RR} - \widehat\pi_{RW} - \widehat\pi_{WR} + \widehat\pi_{WW} = 0.667 - 0.556 - 0.211 + 0.667 = 0.567.\]
(i) 랜덤효과 무시 (\(\sigma^2 = 0\)): SE 는 이항 분산만.
\[ \text{SE}^2(C) = \frac{1}{30}\{\pi_{RR}(1-\pi_{RR}) + \cdots + \pi_{WW}(1-\pi_{WW})\} \approx \frac{0.89}{30} \approx 0.030. \]
SE \(\approx 0.172\).
(ii) Table 14.10 랜덤효과 포함: (14.13) 의 2 번째 행렬을 C 에 대해 계산. 주의: C = (1, -1, -1, 1) 대조. 공분산 행렬과의 이차형식:
\[ \text{Var}(C) = c^T \text{Cov}(\widehat\pi) c, \quad c = (1, -1, -1, 1)^T. \]
랜덤효과 항 \(c^T G M G c\) 에서 \(M\) 의 블록 구조 (\(c\) 가 대각 \(2(\sigma_F^2 + \sigma_M^2)\) 4 번 합산하고 off-diagonal 은 특정 부호로 합산). 대조의 특수 구조로 인해 랜덤효과 항이 감소 또는 부분 상쇄.
McCullagh-Nelder 는 구체 수치를 요청하지만, 표준 오차 (ii) < (i) 가 나오는 것을 보이려 한다.
7.5 왜 (ii) 가 더 작은가
놀라운 결과: 랜덤효과 포함 시 SE 가 더 작다. 보통 랜덤효과는 SE 를 키우는데 반대 방향.
이유: \(C\) 대조에서 랜덤효과 기여가 대조의 구조와 반대 부호 로 상쇄. 구체적으로 (14.13) 의 off-diagonal 항들이 \(c^T M c\) 에서 음의 기여 를 만든다.
일반 원칙: 교호작용 대조 에서는 랜덤효과가 cross type 간 공통 변동을 흡수하므로, 대조에서 감소 역할 을 한다. 이것이 교차 랜덤효과 GLMM 의 미묘한 이점.
같은 동물이 R/R 과 R/W 양쪽에 등장하므로: - 그 동물이 “전반적으로 효능 높음” → 양쪽 π 모두 증가. - 대조 \(R/R - R/W\) 에서 이 공통 변동이 상쇄.
4 개 cross 의 교호작용 대조에서는 모든 공통 변동이 상쇄 → SE 가 이항 분산만 쓸 때보다 오히려 작다.
이 효과가 짝 맞춤 설계의 효율성 (§14.2 라틴 정방의 6 배 효율) 의 교차 랜덤효과 버전. Salamander 의 복잡한 설계가 교호작용 대조에서는 장점으로 작용.
8 간략 요약 — 나머지 6 문제
8.1 14.1 — (14.12) 유도
\(T_1 = S_1 - S_{RR}/10 - S_{RW}/10\) 가 \(S_{RR}, S_{RW}, S_{WR}, S_{WW}\) 와 uncorrelated. 따라서 \(E(T_1) = 0\) 이 \(\widehat\pi_{RR}, \widehat\pi_{RW}\) 의 모멘트 방정식을 준다. 연립하면 단순 비율 (14.12) 도출.
8.2 14.3 — 두 로지스틱-정규의 상관 감쇠
\(F(\epsilon_1), G(\epsilon_2)\) 의 상관 \(\rho'\) 가 원래 상관 \(\rho\) 보다 작다 (attenuation): \(|\rho|/|\rho'| \geq 1\).
직관: 변수 변환 \(F, G\) 는 극한에서 constant 가 되어 상관 정보를 잃어버린다. “링크 함수가 상관을 약화” 라는 일반 원칙.
8.3 14.4 — 두 로지스틱-정규의 공분산 근사
14.3 의 결과를 사용해 \(\text{cov}(P_1, P_2)\) 를 \(\sigma^2, \rho\) 의 함수로 근사. 수치 비교로 근사의 정확도 평가.
8.4 14.5 — Fall ’86 개별 합계
Fall ’86 데이터에서 Table 14.8 과 같은 개별 동물 합계 표 구성. Summer ’86 과의 상관을 수컷·암컷별로 비교 → 수컷 합계가 강한 양의 상관, 암컷은 약한 상관. §14.5.4 끝의 “수컷 효과 지속 / 암컷 효과 단기” 결론의 실증적 근거.
8.5 14.7 — Pooled SS 추정
Table 14.10 의 pooled 값은 평균 이 아니라 세 실험의 SS 합 / df 합 으로 구해야 함. 재계산 결과: \(\widetilde\sigma_F^2 = 0.9035, \widetilde\sigma_M^2 = 0.8759\) — Table 14.10 의 0.9148, 0.8800 과 약간 다름. 책의 pooled 는 평균, 연습문제의 것은 가중 평균 (SS 가중).
9 Python 실전 — 핵심 근사 검증
import numpy as np
from scipy import special # for digamma/trigamma
# 14.10: Gamma var(log Y) vs CV²
nu_values = [1, 2, 5, 10, 20, 50]
print("Gamma: var(log Y) = ψ'(ν) vs 1/ν (CV²)")
for nu in nu_values:
trigamma = special.polygamma(1, nu)
cv2 = 1 / nu
rel_err = (trigamma - cv2) / trigamma * 100
print(f" ν={nu}: ψ'(ν)={trigamma:.4f}, CV²={cv2:.4f}, rel err={rel_err:.1f}%")
# 14.11: 로그-정규 σ² vs CV² = e^σ²-1
print("\n로그-정규: var(log Y) = σ² vs CV² = e^σ²-1")
for sigma2 in [0.01, 0.1, 0.5, 1.0, 2.0]:
cv2 = np.exp(sigma2) - 1
rel_err = (cv2 - sigma2) / cv2 * 100
print(f" σ²={sigma2}: CV²={cv2:.4f}, rel err of σ²≈CV²: {rel_err:.1f}%")
# 14.2: tanh 보정 vs Taylor
from scipy.integrate import quad
from scipy.stats import norm
def F(x): return 1 / (1 + np.exp(-x))
def pi_exact(alpha, sigma2):
return quad(lambda e: F(alpha+e) * norm.pdf(e, 0, np.sqrt(sigma2)),
-10*np.sqrt(sigma2), 10*np.sqrt(sigma2))[0]
def pi_tanh(alpha, sigma2):
a_star = alpha - 0.5*sigma2*np.tanh(alpha*(1 + 2*np.exp(-sigma2/2))/6)
return F(a_star)
print("\ntanh 근사의 최대 오차 탐색 (σ² < 2):")
max_err = 0
for sigma2 in np.linspace(0.1, 2.0, 20):
for alpha in np.linspace(-3, 3, 30):
err = abs(pi_exact(alpha, sigma2) - pi_tanh(alpha, sigma2))
if err > max_err:
max_err = err
worst = (alpha, sigma2)
print(f"최대 오차 {max_err:.5f} at α={worst[0]:.2f}, σ²={worst[1]:.2f}")
print(f"(책 주장: σ² < 2 에서 0.003 이하)")기대: \(\tanh\) 근사의 최대 오차가 0.003 근처.
10 Ch.14 시리즈 완주 — 회고
이 포스트가 Ch.14 의 마지막. 6 포스트 (13-1 ~ 13-6) 로 McCullagh-Nelder Ch.14 완주.
10.1 전체 지도
| 파일 | 섹션 | 주제 | 분량 |
|---|---|---|---|
| 13-1 | 개관 + §14.1-§14.4 압축 | GLMM 의 출발 | 472 |
| 13-2 | §14.2 | 결핵균 assay 라틴 정방 · ANOVA | 497 |
| 13-3 | §14.3 | 비선형 GLMM · 식별 불가 설계 해결 | 466 |
| 13-4 | §14.4 | 준-우도 방정식 · 이차 형식 MoM | 551 |
| 13-5 | §14.5 | Salamander 교배 실험 | 447 |
| 13-6 | §14.7 | Exercises — 근사·Kruskal·균형 조건 | (this) |
| 합계 | 6 포스트 | ~2,900+ |
10.2 핵심 기여
Ch.14 는 GLMM 의 원형 을 제시한다. 1989 년 당시에는 계산적 제약으로 준-우도 + MoM 에 의존했지만, 현대 도구 (PQL, Laplace, MCMC) 는 이 틀 위에 정교한 대안을 쌓았다. McCullagh-Nelder 가 제시한 개념 틀 은 여전히 유효.
연습문제가 본문 개요의 수학적 뼈대를 채운다. 특히 Kruskal 정리 (14.8-9) 와 유일 estimable contrast (14.12) 는 Salamander 분석 전체의 이론적 토대.
11 관련 주제
Ch.14 전체 시리즈
- Components of Dispersion — 개관 (McCullagh Ch.14)
- Linear Mixed Models — 라틴 정방 (McCullagh §14.2)
- Non-Linear Mixed Models (GLMM) (McCullagh §14.3)
- GLMM Parameter Estimation (McCullagh §14.4)
- Salamander 교배 실험 (McCullagh §14.5)
관련 개념
- Logistic Regression 오즈비 — 14.2 tanh 근사의 맥락
- Gamma 분포 (McCullagh §8.2) — 14.10 의 기반
- 로그-정규 분포 — Casella-Berger — 14.11 의 기반
- 디감마 함수 · 트리감마 함수
관련 참고 문헌
- Kruskal, W. (1968). “When are Gauss-Markov and least squares estimators identical?” Ann. Math. Stat. 39: 70-75. — 14.8 의 원본.
- Zeger, S. L., Liang, K.-Y., Albert, P. S. (1988). “Models for longitudinal data…” Biometrics 44: 1049-1060. — 14.2 근사의 상세.
- Breslow, N. E., Clayton, D. G. (1993). “Approximate inference in GLMMs.” JASA 88: 9-25. — PQL 발전.
Ch.15 시작 — 다음 주제