최선 비편향 추정량 (Best Unbiased Estimators)

1 개요

추정량 평가 방법에서 MSE, Cramer-Rao, Rao-Blackwell, Lehmann-Scheffe의 전체 구조를 다루었다. 이 포스트에서는 최선 비편향 추정량(Best Unbiased Estimators, UMVUE) 을 찾는 문제에 집중한다 (Casella & Berger, 2002, Ch.7.3.2-7.3.3).

비편향 추정량의 클래스에서 분산이 가장 작은 추정량을 찾는 것은 점추정의 핵심 목표 중 하나이다. 그러나 이 목표를 달성하는 것은 여러 이유로 어렵다:

• 비편향 추정량이 무한히 많을 수 있다 (\(a\bar{X} + (1-a)S^2\) 는 모든 \(a\) 에서 비편향)
• 각 추정량의 분산 계산이 복잡할 수 있다
• Cramer-Rao 하한이 달성 불가능할 수 있다
• 정칙 조건이 만족되지 않을 수 있다

이 포스트에서는 이러한 어려움을 극복하는 두 가지 접근법 — Cramer-Rao 경로와 충분성 경로 — 을 상세히 다룬다.

---

2 UMVUE의 정의

정의 7.3.7: 균일 최소분산 비편향 추정량 (UMVUE)

추정량 \(W^*\) 가 \(\tau(\theta)\) 의 UMVUE 이란:

• \(E_\theta[W^*] = \tau(\theta)\) (모든 \(\theta\)) — 비편향성
• 임의의 비편향 추정량 \(W\) (\(E_\theta[W] = \tau(\theta)\))에 대해 \(\text{Var}_\theta(W^*) \leq \text{Var}_\theta(W)\) (모든 \(\theta\)) — 균일 최소분산

“균일(uniform)”은 모든 \(\theta\) 에서 동시에 최소분산이라는 뜻이다. 이것은 강한 조건이다 — MSE 기준에서는 모든 \(\theta\) 에서 동시에 최선인 추정량이 존재하지 않지만, 비편향이라는 제약을 추가하면 존재할 수 있다.

비편향 추정량의 클래스 \(\mathcal{C}_\tau = \{W : E_\theta W = \tau(\theta)\}\) 안에서는 모든 추정량의 편향이 동일하므로, MSE 비교가 분산 비교로 환원된다:

\[ \text{MSE}_\theta(W_1) - \text{MSE}_\theta(W_2) = \text{Var}_\theta(W_1) - \text{Var}_\theta(W_2) \]

---

3 경로 1: Cramer-Rao 부등식과 효율적 추정량

3.1 Cramer-Rao 부등식 (iid 경우)

\(X_1, \ldots, X_n \overset{\text{iid}}{\sim} f(x|\theta)\) 에서 \(W(\mathbf{X})\) 가 \(E_\theta W = \tau(\theta)\) 를 만족하고 정칙 조건이 성립하면

\[ \text{Var}_\theta(W) \geq \frac{[\tau'(\theta)]^2}{nI(\theta)} \]

여기서 피셔 정보(Fisher information) 는

\[ I(\theta) = E_\theta\!\left[\left(\frac{\partial}{\partial\theta}\log f(X|\theta)\right)^2\right] = -E_\theta\!\left[\frac{\partial^2}{\partial\theta^2}\log f(X|\theta)\right] \]

두 번째 등호는 미적분 교환이 가능한 경우(지수족 등)에 성립한다.

3.2 등호 조건: 효율적 추정량

따름정리 7.3.15: Cramer-Rao 등호 조건

비편향 추정량 \(W(\mathbf{X})\) 가 Cramer-Rao 하한을 달성할 필요충분조건은

\[ a(\theta)[W(\mathbf{x}) - \tau(\theta)] = \frac{\partial}{\partial\theta}\log L(\theta|\mathbf{x}) \]

를 만족하는 함수 \(a(\theta)\) 가 존재하는 것이다.

증명: Cramer-Rao 부등식은 Cauchy-Schwarz 부등식 \([\text{Cov}(X,Y)]^2 \leq \text{Var}(X)\text{Var}(Y)\) 의 응용이다. Cauchy-Schwarz에서 등호가 성립할 조건은 \(X - EX\) 와 \(Y - EY\) 가 비례할 때이다. 여기서 \(X = W(\mathbf{X})\), \(Y = \frac{\partial}{\partial\theta}\log L(\theta|\mathbf{X})\) 이고, \(E[Y] = 0\) 이므로

\[ W(\mathbf{x}) - E[W] = W(\mathbf{x}) - \tau(\theta) \propto \frac{\partial}{\partial\theta}\log L(\theta|\mathbf{x}) \]

이것이 정확히 등호 조건이다. \(\square\)

실무적 사용법: 스코어 함수 \(\frac{\partial}{\partial\theta}\log L(\theta|\mathbf{x})\) 를 계산하고, \(a(\theta)[W(\mathbf{x}) - \tau(\theta)]\) 형태로 정리할 수 있는지 확인한다. 정리가 가능하면 \(W\) 가 UMVUE이고, 불가능하면 하한이 달성되지 않는다.

3.3 예시 1: 포아송 분포 — 하한 달성

\(X_1, \ldots, X_n \overset{\text{iid}}{\sim} \text{Poisson}(\lambda)\), \(\tau(\lambda) = \lambda\)

스코어:

\[ \frac{\partial}{\partial\lambda}\log L(\lambda|\mathbf{x}) = \frac{\partial}{\partial\lambda}\left(-n\lambda + \sum x_i \log\lambda - \sum\log x_i!\right) = -n + \frac{\sum x_i}{\lambda} = \frac{n}{\lambda}(\bar{x} - \lambda) \]

\(a(\lambda) = n/\lambda\), \(W(\mathbf{x}) = \bar{x}\), \(\tau(\lambda) = \lambda\) 로 놓으면 등호 조건이 정확히 성립한다.

따라서 \(\bar{X}\) 는 \(\lambda\) 의 UMVUE 이다. \(\text{Var}(\bar{X}) = \lambda/n\) = Cramer-Rao 하한.

3.4 예시 2: 정규분포 \(\mu\) — 하한 달성

\(X_1, \ldots, X_n \overset{\text{iid}}{\sim} N(\mu, \sigma^2)\) (\(\sigma^2\) 기지), \(\tau(\mu) = \mu\)

스코어:

\[ \frac{\partial}{\partial\mu}\log L = \frac{n}{\sigma^2}(\bar{x} - \mu) \]

\(a(\mu) = n/\sigma^2\), \(W = \bar{x}\) → 등호 성립. \(\bar{X}\) 는 \(\mu\) 의 UMVUE. \(\text{Var}(\bar{X}) = \sigma^2/n\).

3.5 예시 3: 정규분포 \(\sigma^2\) — 하한 미달성

\(X_1, \ldots, X_n \overset{\text{iid}}{\sim} N(\mu, \sigma^2)\) (\(\mu\) 미지), \(\tau(\sigma^2) = \sigma^2\)

\[ \frac{\partial}{\partial\sigma^2}\log L = -\frac{n}{2\sigma^2} + \frac{\sum(x_i - \mu)^2}{2\sigma^4} = \frac{n}{2\sigma^4}\!\left(\frac{\sum(x_i - \mu)^2}{n} - \sigma^2\right) \]

\(\mu\) 가 미지이면 \(\sum(x_i - \mu)^2/n\) 은 관측 가능한 통계량이 아니다. \(\mu\) 를 \(\bar{x}\) 로 대체하면 \(\sum(x_i - \bar{x})^2/n\) 이 되지만, 이것의 기댓값은 \(\frac{n-1}{n}\sigma^2 \neq \sigma^2\) 이므로 등호 조건이 성립하지 않는다.

Cramer-Rao 하한: \(\text{Var}(W) \geq 2\sigma^4/n\)

\(S^2\) 의 분산: \(\text{Var}(S^2) = 2\sigma^4/(n-1) > 2\sigma^4/n\)

하한이 달성되지 않는다. 그렇다면 \(S^2\) 보다 나은 비편향 추정량이 있는가? 이 질문에 답하려면 충분성 경로가 필요하다.

3.6 예시 4: 균등분포 — Cramer-Rao 적용 불가

\(X_1, \ldots, X_n \overset{\text{iid}}{\sim} \text{Uniform}(0, \theta)\)

\(f(x|\theta) = 1/\theta\) (\(0 < x < \theta\))이므로 \(\frac{\partial}{\partial\theta}\log f = -1/\theta\) (상수). 피셔 정보 \(I(\theta) = 1/\theta^2\) 를 사용하면 “하한” \(\theta^2/n\) 이 되지만, \(\frac{n+1}{n}X_{(n)}\) 의 분산은 \(\theta^2/(n(n+2)) < \theta^2/n\) 이다.

모순: 비편향 추정량의 분산이 “하한”보다 작다. 이것은 Cramer-Rao 정리의 정칙 조건이 만족되지 않기 때문이다 — pdf의 지지(support) \(\{x : 0 < x < \theta\}\) 가 \(\theta\) 에 의존한다.

이 경우 Cramer-Rao 경로는 무용하며, 충분성 경로로 UMVUE를 찾아야 한다.

---

4 경로 2: 충분성과 비편향성

4.1 Rao-Blackwell 정리 (복습)

\(W\) 가 \(\tau(\theta)\) 의 비편향 추정량이고 \(T\) 가 충분통계량이면

\[ \phi(T) = E[W|T] \]

는 비편향이고 \(\text{Var}(\phi) \leq \text{Var}(W)\) 이다.

따라서 UMVUE를 찾을 때 충분통계량의 함수만 고려하면 된다.

4.2 UMVUE의 유일성

정리 7.3.19

\(\tau(\theta)\) 의 UMVUE가 존재하면, 유일하다.

증명: \(W\) 와 \(W'\) 가 모두 UMVUE라 하자. \(W^* = (W+W')/2\) 는 비편향이고

\[ \text{Var}(W^*) = \frac{1}{4}\text{Var}(W) + \frac{1}{4}\text{Var}(W') + \frac{1}{2}\text{Cov}(W, W') \leq \frac{1}{4}\text{Var}(W) + \frac{1}{4}\text{Var}(W) + \frac{1}{2}\text{Var}(W) = \text{Var}(W) \]

(Cauchy-Schwarz: \(\text{Cov}(W,W') \leq \sqrt{\text{Var}(W)\text{Var}(W')} = \text{Var}(W)\))

\(W\) 가 UMVUE이므로 \(\text{Var}(W^*) \geq \text{Var}(W)\). 따라서 등호가 성립하고, Cauchy-Schwarz 등호 조건에서 \(W' = aW + b\). \(E[W'] = E[W]\) 이므로 \(a=1\), \(b=0\), 즉 \(W = W'\). \(\square\)

4.3 0의 비편향 추정량과 UMVUE의 특성화

정리 7.3.20: UMVUE의 특성화

\(E_\theta W = \tau(\theta)\) 일 때, \(W\) 가 \(\tau(\theta)\) 의 UMVUE일 필요충분조건은

\[ \text{Cov}_\theta(W, U) = 0 \quad \text{for all } \theta \]

을 \(E_\theta U = 0\) (모든 \(\theta\))인 모든 \(U\) 에 대해 만족하는 것이다.

직관: \(U\) 는 “0의 비편향 추정량”이다. 0을 추정하는 가장 합리적인 방법은 0을 사용하는 것이므로, \(U\) 는 순수한 잡음(noise)이다. UMVUE는 이 잡음과 무상관이어야 한다 — 잡음을 더해서 추정량이 개선된다면, 원래 추정량은 최적이 아니다.

왜 필요한가: \(\phi_a = W + aU\) 는 모든 상수 \(a\) 에서 비편향이다. \(\text{Cov}(W, U) \neq 0\) 이면, 적절한 \(a\) 를 선택하여 \(\text{Var}(\phi_a) < \text{Var}(W)\) 로 만들 수 있다. 따라서 \(W\) 가 UMVUE이려면 모든 0의 비편향 추정량과 무상관이어야 한다.

---

5 완비성과 UMVUE: Lehmann-Scheffe 정리

5.1 완비성의 역할

완비통계량의 분포 가족이 완비이면, 0의 비편향 추정량은 0 자체뿐이다. 따라서 Theorem 7.3.20의 조건이 자동으로 만족된다.

정리 7.3.23: Lehmann-Scheffe

\(T\) 가 \(\theta\) 에 대한 완비충분통계량이고, \(\phi(T)\) 가 \(T\) 만의 함수인 비편향 추정량이면, \(\phi(T)\) 는 \(E[\phi(T)]\) 의 유일한 UMVUE 이다.

논리 구조:

완비충분통계량 T 존재
    ↓
T의 분포 가족이 완비 → 0의 비편향 추정량 = 0뿐
    ↓
Rao-Blackwell → 충분통계량의 함수만 고려
    ↓
Theorem 7.3.20 → T의 함수인 비편향 추정량은 UMVUE
    ↓
Theorem 7.3.19 → 유일

5.2 UMVUE를 찾는 체계적 절차

절차 A: 직접 구성

1. 완비충분통계량 \(T\) 를 찾는다
2. \(\tau(\theta)\) 의 비편향 추정량 \(\phi(T)\) 를 직접 구성한다 (\(E[\phi(T)] = \tau(\theta)\) 확인)
3. Lehmann-Scheffe에 의해 \(\phi(T)\) 가 UMVUE이다

절차 B: Rao-Blackwell화

1. 완비충분통계량 \(T\) 를 찾는다
2. \(\tau(\theta)\) 의 아무 비편향 추정량 \(W\) 를 찾는다 (단순한 것으로)
3. \(\phi(T) = E[W|T]\) 를 계산한다
4. Lehmann-Scheffe에 의해 \(\phi(T)\) 가 UMVUE이다

---

6 상세 예시

6.1 예시 1: 포아송 — \(\lambda\) 의 UMVUE

\(X_1, \ldots, X_n \overset{\text{iid}}{\sim} \text{Poisson}(\lambda)\)

• 충분통계량: \(T = \sum X_i\) (지수족)
• 완비성: 지수족의 자연 충분통계량 → 완비
• \(\bar{X} = T/n\) 은 \(T\) 의 함수이고 \(E[\bar{X}] = \lambda\)
• Lehmann-Scheffe → \(\bar{X}\) 는 \(\lambda\) 의 UMVUE

Cramer-Rao 하한도 달성: \(\text{Var}(\bar{X}) = \lambda/n\).

6.2 예시 2: 포아송 — \(e^{-\lambda}\) 의 UMVUE

\(P(X = 0) = e^{-\lambda}\) 를 추정하고 싶다면? \(\tau(\lambda) = e^{-\lambda}\)

절차 B (Rao-Blackwell화): 가장 단순한 비편향 추정량을 먼저 찾는다.

\(W = I(X_1 = 0)\) 으로 놓으면 \(E[W] = P(X_1 = 0) = e^{-\lambda}\) — 비편향이다.

이제 \(\phi(T) = E[I(X_1 = 0) | T = t]\) 를 계산한다.

\(T = \sum X_i \sim \text{Poisson}(n\lambda)\) 이고, \(T = t\) 가 주어졌을 때 \(X_1\) 과 \(\sum_{i=2}^n X_i = t - X_1\) 의 조건부 분포를 구해야 한다.

\[ P(X_1 = 0 | T = t) = \frac{P(X_1 = 0) \cdot P(\sum_{i=2}^n X_i = t)}{P(T = t)} = \frac{e^{-\lambda} \cdot \frac{((n-1)\lambda)^t e^{-(n-1)\lambda}}{t!}}{\frac{(n\lambda)^t e^{-n\lambda}}{t!}} = \left(\frac{n-1}{n}\right)^t \]

따라서

\[ \phi(T) = \left(1 - \frac{1}{n}\right)^T \]

이것은 \(T\) 의 함수이고 비편향(\(E[\phi(T)] = e^{-\lambda}\))이므로, Lehmann-Scheffe에 의해 \(e^{-\lambda}\) 의 UMVUE 이다.

6.3 예시 3: 균등분포 \(\text{Uniform}(0, \theta)\) — \(\theta\) 의 UMVUE

• 충분통계량: \(Y = X_{(n)} = \max_i X_i\)
• 완비성: \(Y\) 의 pdf는 \(f_Y(y|\theta) = ny^{n-1}/\theta^n\) (\(0 < y < \theta\)). 이 가족이 완비임은 직접 확인 가능
• \(E[Y] = \frac{n}{n+1}\theta\) → \(\frac{n+1}{n}Y\) 가 비편향
• Lehmann-Scheffe → \(\frac{n+1}{n}Y\) 는 \(\theta\) 의 UMVUE

\(\text{Var}\!\left(\frac{n+1}{n}Y\right) = \frac{\theta^2}{n(n+2)}\)

Cramer-Rao 하한(\(\theta^2/n\))보다 훨씬 작다 — 정칙 조건 위반 시 Cramer-Rao는 유효하지 않으며, UMVUE의 분산이 “하한”보다 작을 수 있다.

6.4 예시 4: 정규분포 — \(\sigma^2\) 의 UMVUE (\(\mu\) 미지)

• 완비충분통계량: \((\bar{X}, S^2)\) (정규족은 지수족)
• \(E[S^2] = \sigma^2\) → \(S^2\) 는 \((\bar{X}, S^2)\) 의 함수이고 비편향
• Lehmann-Scheffe → \(S^2\) 는 \(\sigma^2\) 의 UMVUE

\(\text{Var}(S^2) = 2\sigma^4/(n-1) > 2\sigma^4/n\) (Cramer-Rao 하한). 하한에 도달하지 않지만, 비편향 추정량 중에서는 최선이다.

6.5 예시 5: 이항분포 — \(\theta(1-\theta)^{k-1}\) 의 UMVUE

\(X_1, \ldots, X_n \overset{\text{iid}}{\sim} \text{Binomial}(k, \theta)\), \(\tau(\theta) = k\theta(1-\theta)^{k-1}\) (정확히 1번 성공할 확률)

• 완비충분통계량: \(T = \sum X_i\) (\(T \sim \text{Binomial}(nk, \theta)\))
• 간단한 비편향 추정량: \(W = I(X_1 = 1)\). \(E[W] = \binom{k}{1}\theta(1-\theta)^{k-1} = k\theta(1-\theta)^{k-1} = \tau(\theta)\)

Rao-Blackwell화: \(\phi(T) = E[I(X_1 = 1) | T = t]\)

\(X_1 = 1\) 이고 \(\sum_{i=2}^n X_i = t-1\) 일 확률을 \(T = t\) 의 확률로 나누면

\[ \phi(t) = P(X_1 = 1 | T = t) = \frac{\binom{k}{1}\theta(1-\theta)^{k-1} \cdot \binom{(n-1)k}{t-1}\theta^{t-1}(1-\theta)^{(n-1)k-t+1}}{\binom{nk}{t}\theta^t(1-\theta)^{nk-t}} \]

\(\theta\) 가 소거되어

\[ \phi(t) = \frac{k\binom{(n-1)k}{t-1}}{\binom{nk}{t}} \]

\(\theta\) 에 무관한 \(T\) 의 함수이다. Lehmann-Scheffe에 의해 이것이 \(\tau(\theta)\) 의 UMVUE이다.

---

7 Cramer-Rao 경로 vs 충분성 경로: 비교

기준	Cramer-Rao 경로	충분성 경로
적용 조건	정칙 조건 필요 (지지 \(\theta\)-무관, 미분 가능)	완비충분통계량 존재 필요
균등분포 적용	X (지지가 \(\theta\) 에 의존)	O
결과의 성격	하한 제공 (달성 보장 없음)	UMVUE 직접 구성
적용 범위	지수족의 자연 모수에서 유용	완비 가족 전체에서 유용
실패 시	“하한 미달성” — 최선 여부 불명	완비성 부재 → 적용 불가

실무적 권장: 지수족에서 자연 모수를 추정하면 Cramer-Rao가 간편하고, 비자연 모수(예: \(e^{-\lambda}\))나 비정칙 분포에서는 Rao-Blackwell + Lehmann-Scheffe가 필수이다.

---

8 완비성이 없는 경우

완비충분통계량이 존재하지 않으면 Lehmann-Scheffe를 적용할 수 없다.

8.1 예시: \(\text{Uniform}(\theta, \theta+1)\)

\(X_1, \ldots, X_n \overset{\text{iid}}{\sim} \text{Uniform}(\theta, \theta+1)\)

• 최소충분통계량: \((X_{(1)}, X_{(n)})\)
• 완비성: \((X_{(1)}, X_{(n)})\) 의 분포 가족은 완비가 아니다 — \(R = X_{(n)} - X_{(1)}\) 은 보조통계량이면서 최소충분통계량의 함수이다

\(X - 1/2\) 는 \(\theta\) 의 비편향 추정량이지만, \(\text{Cov}(X - 1/2, \sin(2\pi X)) = -\cos(2\pi\theta)/(2\pi) \neq 0\) 이므로 UMVUE가 아니다. \(X - 1/2 + \sin(2\pi X)/(2\pi)\) 가 일부 \(\theta\) 에서 더 작은 분산을 가진다.

분산 비교 근거: \(\text{Var}(X - 1/2) = 1/12\) (균등분포 분산). \(\tilde{W} = X - 1/2 + c\sin(2\pi X)\) 는 \(E[\sin(2\pi X)] = 0\) 이므로 여전히 비편향이다. \(\text{Var}(\tilde{W}) = 1/12 + 2c\,\text{Cov}(X-1/2, \sin(2\pi X)) + c^2\text{Var}(\sin(2\pi X))\) 이므로, \(\text{Cov}(X-1/2,\sin(2\pi X)) = -\cos(2\pi\theta)/(2\pi) \neq 0\) 인 \(\theta\) 에서 \(c\) 의 부호를 적절히 선택하면 분산을 \(1/12\) 보다 줄일 수 있다. 이것이 “\(X-1/2\) 가 UMVUE가 아니다”의 증거이다.

이 경우 UMVUE가 존재하지 않을 수 있다.

완비성이 없을 때의 대안: UMVUE를 찾는 대신 다른 최적성 기준을 사용한다.

대안 기준	설명
최적 위치 등변 추정량	위치 불변성을 조건으로 최소 MSE 추정량 탐색
미니맥스 추정량	최악의 경우 위험을 최소화 (→ 손실함수 최적성)
제한된 비편향 추정량	비편향 제약을 일부 \(\theta\) 값에만 요구
점근적 최적성	유한 표본 UMVUE 대신 점근적 효율(MLE의 점근 정규성) 활용

\(\text{Uniform}(\theta, \theta+1)\) 에서는 위치 등변 추정량 중 최소 MSE를 가지는 것이 실용적인 대안이다.

---

9 코드 예시

9.1 Step 1: 순수 Python 구현 (Rao-Blackwell화 시연)

포아송 분포에서 \(e^{-\lambda}\) 의 UMVUE를 Rao-Blackwell화로 구성하고 시뮬레이션으로 검증한다.

import math
import random

random.seed(42)

lambda_true = 2.0
n = 10
n_sim = 100000

# 비편향 추정량 W = I(X_1 = 0): 분산이 큰 단순 추정량
# UMVUE phi(T) = ((n-1)/n)^T: Rao-Blackwell화
tau_true = math.exp(-lambda_true)

mse_w = 0
mse_phi = 0
bias_w = 0
bias_phi = 0

for _ in range(n_sim):
    data = [0] * n
    for i in range(n):
        # 포아송 난수 생성 (역변환)
        L = math.exp(-lambda_true)
        k, p = 0, 1.0
        while p > L:
            k += 1
            p *= random.random()
        data[i] = k - 1

    w = 1 if data[0] == 0 else 0  # I(X_1 = 0)
    t = sum(data)
    phi = ((n - 1) / n) ** t  # UMVUE

    mse_w += (w - tau_true) ** 2
    mse_phi += (phi - tau_true) ** 2
    bias_w += w - tau_true
    bias_phi += phi - tau_true

mse_w /= n_sim
mse_phi /= n_sim
bias_w /= n_sim
bias_phi /= n_sim

print(f"=== 포아송 e^(-lambda) 추정: Rao-Blackwell화 ===")
print(f"lambda = {lambda_true}, n = {n}")
print(f"tau(lambda) = e^(-lambda) = {tau_true:.6f}\n")
print(f"{'추정량':20s} | {'편향':>10s} | {'분산':>10s} | {'MSE':>10s}")
print("-" * 55)
print(f"{'W = I(X_1=0)':20s} | {bias_w:10.6f} | {mse_w - bias_w**2:10.6f} | {mse_w:10.6f}")
print(f"{'phi = ((n-1)/n)^T':20s} | {bias_phi:10.6f} | {mse_phi - bias_phi**2:10.6f} | {mse_phi:10.6f}")
print(f"\nMSE 감소율: {(1 - mse_phi/mse_w)*100:.1f}%")
print("phi(T)는 W의 Rao-Blackwell화 → 분산이 대폭 감소")

9.2 Step 2: scipy 구현 (Cramer-Rao 달성 여부 시뮬레이션)

다양한 분포에서 자연 추정량이 Cramer-Rao 하한을 달성하는지 시뮬레이션으로 확인한다.

import numpy as np
from scipy.stats import poisson, norm, expon, uniform

np.random.seed(42)
n = 50
n_sim = 50000

cases = [
    {
        "name": "Poisson(lambda=3), tau=lambda",
        "gen": lambda: poisson.rvs(3.0, size=n),
        "est": lambda x: np.mean(x),
        "tau": 3.0,
        "crlb": 3.0 / n,  # lambda/n
    },
    {
        "name": "N(mu=5, sigma2=4), tau=mu",
        "gen": lambda: norm.rvs(5.0, 2.0, size=n),
        "est": lambda x: np.mean(x),
        "tau": 5.0,
        "crlb": 4.0 / n,  # sigma^2/n
    },
    {
        "name": "Exp(theta=2), tau=theta",
        "gen": lambda: expon.rvs(scale=2.0, size=n),
        "est": lambda x: np.mean(x),
        "tau": 2.0,
        "crlb": 4.0 / n,  # theta^2/n
    },
    {
        "name": "Uniform(0,theta=5), tau=theta",
        "gen": lambda: uniform.rvs(0, 5.0, size=n),
        "est": lambda x: (n + 1) / n * np.max(x),
        "tau": 5.0,
        "crlb_theory": 25.0 / (n * (n + 2)),  # 실제 분산 (CRLB 아님)
        "crlb": 25.0 / n,  # 잘못된 "CRLB" (정칙 조건 위반)
    },
]

print(f"=== Cramer-Rao 하한 달성 여부 시뮬레이션 (n={n}) ===\n")
print(f"{'분포':40s} | {'Var(W)':>10s} | {'CRLB':>10s} | {'달성?':>6s}")
print("-" * 75)

for case in cases:
    estimates = []
    for _ in range(n_sim):
        data = case["gen"]()
        estimates.append(case["est"](data))
    estimates = np.array(estimates)
    var_est = np.var(estimates)
    crlb = case["crlb"]
    ratio = var_est / crlb

    # 달성 여부: Var ≈ CRLB이면 달성
    achieved = "O" if abs(ratio - 1.0) < 0.05 else ("< CRLB!" if ratio < 0.95 else "X")
    print(f"  {case['name']:38s} | {var_est:10.6f} | {crlb:10.6f} | {achieved:>6s}")

print(f"\n* Uniform: 분산 < 'CRLB' → 정칙 조건 위반, CRLB 적용 불가")
print(f"  실제 UMVUE 분산: {25.0/(n*(n+2)):.6f}")

---

10 관련 주제

선행 지식

• 충분성 원리 — Rao-Blackwell의 도구
• 데이터 축소의 원리 — 완비성, 바수 정리
• 추정량 평가 방법 — MSE, Cramer-Rao, Rao-Blackwell 개요

상위 주제

• 점추정 개요

관련 포스트

• 최대우도추정량 — MLE의 점근 효율과 UMVUE
• BLUE — 선형 비편향 추정량의 최적성

---

11 참고 문헌

• Casella, G. & Berger, R. L. (2002). Statistical Inference (2nd ed.). Duxbury. Chapter 7, Sections 7.3.2-7.3.3.
• Lehmann, E. L. & Casella, G. (1998). Theory of Point Estimation (2nd ed.). Springer. Chapters 2-3.
• Rao, C. R. (1945). Information and accuracy attainable in the estimation of statistical parameters. Bull. Calcutta Math. Soc., 37, 81-91.
• Blackwell, D. (1947). Conditional expectation and unbiased sequential estimation. Ann. Math. Statist., 18, 105-110.
• Chapman, D. G. & Robbins, H. (1951). Minimum variance estimation without regularity assumptions. Ann. Math. Statist., 22, 581-586.