1 개요
표본 \(X_1, \ldots, X_n\) 이 pdf 또는 pmf \(f(x|\theta)\) 를 따르는 모집단에서 추출되었을 때, 미지의 모수 \(\theta\) (또는 그 함수 \(\tau(\theta)\))의 값을 하나의 숫자로 추정하는 것이 점추정(point estimation) 이다 (Casella & Berger, 2002, Ch.7).
\(\theta\) 를 알면 모집단 전체의 분포를 알 수 있으므로, 좋은 점추정량을 찾는 것은 통계적 추론의 핵심이다.
점추정량은 표본의 임의의 함수 \(W(X_1, \ldots, X_n)\) 이다. 즉, 모든 통계량은 점추정량이 될 수 있다.
이 정의는 의도적으로 넓다 — 추정량과 추정 대상 모수 사이의 대응 관계를 요구하지 않는다. 후보를 미리 제한하지 않기 위함이다. 추정량(estimator) 은 확률변수 \(X_1, \ldots, X_n\) 의 함수이고, 추정값(estimate) 은 관측된 값 \(x_1, \ldots, x_n\) 을 대입한 실현값이다.
Ch.7은 크게 두 파트로 나뉜다:
| 파트 | 질문 | 내용 |
|---|---|---|
| 추정량 탐색 (7.2) | 어떻게 좋은 후보를 찾는가? | 적률법, MLE, 베이즈 추정, EM 알고리즘 |
| 추정량 평가 (7.3) | 찾은 후보가 정말 좋은가? | MSE, 비편향성, UMVUE, Cramer-Rao, Rao-Blackwell |
이 두 활동은 실무에서 얽혀 있다 — 평가 기준이 새로운 추정량을 제안하기도 하고, 탐색 방법이 자동으로 좋은 성질을 가진 추정량을 산출하기도 한다.
2 Part I: 추정량 탐색 방법 (Methods of Finding Estimators)
2.1 적률법 (Method of Moments)
가장 오래된 점추정 방법으로, Karl Pearson(1890년대)까지 거슬러 올라간다. 단순하고 거의 항상 어떤 형태의 추정값을 산출하지만, 최적이 아닌 경우가 많다.
원리: 표본 적률(sample moment)을 모집단 적률(population moment)과 같다고 놓고, 연립방정식을 풀어 모수를 추정한다.
\(k\) 개의 미지 모수 \((\theta_1, \ldots, \theta_k)\) 가 있을 때:
\[ m_j = \frac{1}{n}\sum_{i=1}^n X_i^j, \quad \mu'_j = E[X^j], \quad j = 1, \ldots, k \]
연립방정식 \(m_j = \mu'_j(\theta_1, \ldots, \theta_k)\) 를 \((\theta_1, \ldots, \theta_k)\) 에 대해 풀면 적률법 추정량 \((\tilde{\theta}_1, \ldots, \tilde{\theta}_k)\) 를 얻는다.
2.1.1 예시: 정규분포
\(X_1, \ldots, X_n \overset{\text{iid}}{\sim} N(\mu, \sigma^2)\) 에서
\[ m_1 = \bar{X} = \mu, \quad m_2 = \frac{1}{n}\sum X_i^2 = \mu^2 + \sigma^2 \]
를 풀면 \(\tilde{\mu} = \bar{X}\), \(\tilde{\sigma}^2 = \frac{1}{n}\sum(X_i - \bar{X})^2\) 이다.
2.1.2 장단점
| 장점 | 단점 |
|---|---|
| 계산이 단순하다 | 최적이 아닌 경우가 많다 |
| 거의 항상 해가 존재한다 | 모수 범위를 벗어나는 추정값이 나올 수 있다 |
| 다른 방법의 출발점으로 유용하다 | 고차 적률의 분산이 크다 |
2.2 최대우도추정법 (Maximum Likelihood Estimation, MLE)
가장 널리 사용되는 추정 방법이다. 우도원리와 자연스럽게 연결된다.
각 표본점 \(\mathbf{x}\) 에 대해, \(L(\theta|\mathbf{x})\) 를 \(\theta\) 의 함수로서 최대화하는 값 \(\hat{\theta}(\mathbf{x})\) 를 최대우도추정량(MLE) 이라 한다.
\[ \hat{\theta}(\mathbf{x}) = \arg\max_\theta L(\theta|\mathbf{x}) = \arg\max_\theta \prod_{i=1}^n f(x_i|\theta) \]
직관적으로, MLE는 “관측된 데이터가 가장 높은 확률(밀도)로 발생하는 모수값”이다. 우도함수의 곱 형태 때문에 실무에서는 로그우도(log-likelihood) 를 최대화한다:
\[ \ell(\theta|\mathbf{x}) = \sum_{i=1}^n \log f(x_i|\theta) \]
미분 가능한 경우, MLE 후보는 스코어 방정식(score equation) 의 해이다:
\[ \frac{\partial}{\partial \theta_i} \ell(\theta|\mathbf{x}) = 0, \quad i = 1, \ldots, k \]
2.2.1 MLE의 불변성 원리
\(\hat{\theta}\) 가 \(\theta\) 의 MLE이면, 임의의 함수 \(\tau(\theta)\) 에 대해 \(\tau(\hat{\theta})\) 가 \(\tau(\theta)\) 의 MLE이다.
이 성질 덕분에 \(\hat{\mu}\) 와 \(\hat{\sigma}^2\) 를 구한 뒤, \(\hat{\sigma} = \sqrt{\hat{\sigma}^2}\) 가 자동으로 \(\sigma\) 의 MLE가 된다.
2.2.2 MLE의 주요 성질 (점근적)
| 성질 | 설명 |
|---|---|
| 일치성(Consistency) | \(n \to \infty\) 에서 \(\hat{\theta} \xrightarrow{P} \theta\) |
| 점근 정규성 | \(\sqrt{n}(\hat{\theta} - \theta) \xrightarrow{d} N(0, 1/I(\theta))\) |
| 점근 효율 | Cramer-Rao 하한을 점근적으로 달성 |
기존 포스트 Maximum Likelihood Estimation & Statistical Bias에서 MLE의 정의, 성질, 편향 문제를 더 자세히 다루고 있다.
2.3 베이즈 추정 (Bayesian Estimation)
빈도주의적 방법(적률법, MLE)과 근본적으로 다른 접근이다. \(\theta\) 를 고정된 미지의 상수가 아니라 확률변수로 취급한다.
핵심 절차:
\[ \pi(\theta|\mathbf{x}) = \frac{f(\mathbf{x}|\theta) \, \pi(\theta)}{m(\mathbf{x})} \propto L(\theta|\mathbf{x}) \, \pi(\theta) \]
- \(\pi(\theta)\): 사전분포(prior) — 데이터 관측 전 \(\theta\) 에 대한 믿음
- \(f(\mathbf{x}|\theta) = L(\theta|\mathbf{x})\): 우도 — 데이터가 제공하는 정보
- \(\pi(\theta|\mathbf{x})\): 사후분포(posterior) — 데이터 관측 후 업데이트된 믿음
- \(m(\mathbf{x}) = \int f(\mathbf{x}|\theta)\pi(\theta) \, d\theta\): 주변 우도(정규화 상수)
베이즈 점추정량: 사후분포로부터 하나의 숫자를 추출한다.
| 추정량 | 최적화 기준 |
|---|---|
| 사후 평균 \(E[\theta|\mathbf{x}]\) | 제곱 손실(squared loss) 최소화 |
| 사후 중앙값 | 절대 손실(absolute loss) 최소화 |
| 사후 최빈값 (MAP) | 0-1 손실 최소화 |
2.3.1 사전분포의 선택
사전분포의 선택은 베이즈 추론에서 가장 논쟁적인 부분이다.
| 유형 | 특성 | 예시 |
|---|---|---|
| 켤레 사전분포 | 사후분포가 사전분포와 같은 가족 | 이항-베타, 정규-정규 |
| 무정보 사전분포 | 최소한의 사전 정보 반영 | Jeffreys 사전분포 |
| 약정보 사전분포 | 느슨한 사전 지식 반영 | 넓은 정규분포 |
2.4 EM 알고리즘 (Expectation-Maximization Algorithm)
불완전 자료(incomplete data) 또는 잠재 변수(latent variable) 가 있을 때 MLE를 계산하는 반복 알고리즘이다.
관측된 데이터 \(\mathbf{x}\) 와 관측되지 않은 잠재 데이터 \(\mathbf{z}\) 를 합친 완전 데이터 \((\mathbf{x}, \mathbf{z})\) 의 로그우도가 다루기 쉬운 경우에 유용하다.
반복 절차:
\[ \text{E-step}: \quad Q(\theta|\theta^{(t)}) = E_{\mathbf{Z}|\mathbf{x}, \theta^{(t)}}[\log f(\mathbf{x}, \mathbf{Z}|\theta)] \]
\[ \text{M-step}: \quad \theta^{(t+1)} = \arg\max_\theta Q(\theta|\theta^{(t)}) \]
- E-step: 현재 추정값 \(\theta^{(t)}\) 하에서 잠재 변수의 조건부 기대를 계산하여, 완전 데이터 로그우도의 기댓값 \(Q\) 를 구한다
- M-step: \(Q\) 를 \(\theta\) 에 대해 최대화하여 새로운 추정값 \(\theta^{(t+1)}\) 을 얻는다
EM 알고리즘은 각 반복에서 관측 데이터 우도 \(L(\theta|\mathbf{x})\) 를 증가시키거나 유지한다는 보장이 있다. 따라서 수렴성이 보장되지만, 전역 최대가 아닌 국소 최대에 수렴할 수 있다.
2.4.1 대표적 응용
| 응용 | 잠재 변수 |
|---|---|
| 혼합 모형(Mixture Model) | 각 관측값의 클러스터 소속 |
| 결측치 처리 | 결측된 관측값 |
| Hidden Markov Model | 은닉 상태 |
| Factor Analysis | 잠재 요인 |
3 Part II: 추정량 평가 방법 (Methods of Evaluating Estimators)
좋은 추정량을 찾았다면, 그것이 얼마나 좋은지 평가해야 한다.
3.1 평균제곱오차 (Mean Squared Error, MSE)
가장 기본적인 평가 기준이다.
추정량 \(W = W(\mathbf{X})\) 의 모수 \(\theta\) 에 대한 MSE는
\[ \text{MSE}_\theta(W) = E_\theta[(W - \theta)^2] \]
이다.
MSE는 편향-분산 분해(bias-variance decomposition) 로 나뉜다:
\[ \text{MSE}_\theta(W) = \text{Var}_\theta(W) + [\text{Bias}_\theta(W)]^2 \]
여기서 \(\text{Bias}_\theta(W) = E_\theta[W] - \theta\) 이다.
이 분해는 추정량 설계의 핵심 트레이드오프를 드러낸다:
- 비편향(unbiased) 추정량은 \(\text{Bias} = 0\) 이므로 \(\text{MSE} = \text{Var}\) 이지만, 분산이 클 수 있다
- 편향(biased) 추정량은 편향을 도입하는 대신 분산을 줄여 총 MSE를 줄일 수 있다
기존 포스트 BLUE (Best Linear Unbiased Estimator)에서 MSE와 편향-분산 트레이드오프를 더 자세히 다루고 있다.
3.2 비편향 추정량 (Unbiased Estimators)
\(E_\theta[W] = \theta\) (모든 \(\theta \in \Theta\))이면 \(W\) 를 \(\theta\) 의 비편향 추정량(unbiased estimator) 이라 한다.
비편향성은 직관적으로 바람직하지만, 맹목적으로 추구하면 문제가 발생한다:
- 비편향 추정량이 존재하지 않을 수 있다 (예: \(\theta^2\) 의 비편향 추정량)
- 비편향이지만 불합리한 추정량이 있을 수 있다 (예: 모수 범위를 벗어나는 값)
- 편향된 추정량이 MSE 측면에서 더 나을 수 있다
3.3 최선 비편향 추정량 (Best Unbiased Estimator)
비편향 추정량 중에서 분산이 가장 작은 것을 찾는 문제이다.
\(W^*\) 가 \(\tau(\theta)\) 의 UMVUE(Uniformly Minimum Variance Unbiased Estimator) 이란, \(\tau(\theta)\) 의 모든 비편향 추정량 \(W\) 에 대해
\[ \text{Var}_\theta(W^*) \leq \text{Var}_\theta(W) \quad \text{for all } \theta \]
인 것이다.
UMVUE는 비편향이라는 제약 하에서 가능한 최선이다. 이것을 찾기 위한 핵심 도구가 Cramer-Rao 하한과 Rao-Blackwell/Lehmann-Scheffe 정리이다.
3.4 Cramer-Rao 하한 (Information Inequality)
비편향 추정량의 분산이 얼마나 작아질 수 있는지에 대한 하한(lower bound) 을 제공한다.
정칙 조건(regularity conditions) 하에서, \(\tau(\theta)\) 의 비편향 추정량 \(W(\mathbf{X})\) 에 대해
\[ \text{Var}_\theta(W) \geq \frac{[\tau'(\theta)]^2}{nI(\theta)} \]
여기서 \(I(\theta)\) 는 피셔 정보(Fisher information) 이다:
\[ I(\theta) = E_\theta\!\left[\left(\frac{\partial}{\partial\theta} \log f(X|\theta)\right)^2\right] = -E_\theta\!\left[\frac{\partial^2}{\partial\theta^2} \log f(X|\theta)\right] \]
해석: 피셔 정보 \(I(\theta)\) 는 하나의 관측값이 \(\theta\) 에 대해 제공하는 정보량을 측정한다. \(n\) 개의 iid 관측값은 총 \(nI(\theta)\) 만큼의 정보를 제공하며, 비편향 추정량의 분산은 이 정보의 역수보다 작아질 수 없다.
등호가 성립하는 추정량이 존재하면 이를 효율적(efficient) 추정량이라 한다. 지수족에서는 자연 모수의 충분통계량이 종종 효율적이다.
3.4.1 Cramer-Rao 하한의 한계
- 정칙 조건이 만족되지 않는 분포(예: \(\text{Uniform}(0, \theta)\))에서는 적용할 수 없다
- 하한에 도달하는 비편향 추정량이 존재하지 않을 수 있다
- UMVUE가 Cramer-Rao 하한을 달성하지 않을 수 있다 — 하한 자체가 너무 느슨할 수 있다
3.5 Rao-Blackwell 정리 (충분성과 비편향성의 결합)
충분통계량이 추정량 개선에 직접 활용되는 핵심 결과이다.
\(W\) 가 \(\tau(\theta)\) 의 비편향 추정량이고, \(T\) 가 \(\theta\) 에 대한 충분통계량이면
\[ \phi(T) = E[W \mid T] \]
는 다음을 만족한다:
- \(E_\theta[\phi(T)] = \tau(\theta)\) (비편향성 유지)
- \(\text{Var}_\theta(\phi(T)) \leq \text{Var}_\theta(W)\) (분산 감소 또는 유지)
즉, \(\text{MSE}_\theta(\phi(T)) \leq \text{MSE}_\theta(W)\) 이다.
직관: 충분통계량 \(T\) 는 \(\theta\) 에 대한 모든 정보를 담고 있다. \(W\) 를 \(T\) 에 조건화하면 \(\theta\) 에 무관한 “잡음”이 제거되어 분산이 줄어든다.
Rao-Blackwell화(Rao-Blackwellization): 비편향 추정량 \(W\) 를 충분통계량에 조건화하여 개선하는 과정이다.
3.6 Lehmann-Scheffe 정리 (UMVUE의 완결)
Rao-Blackwell 정리와 완비성(completeness)을 결합한 결정적 결과이다.
\(T\) 가 완비충분통계량(complete sufficient statistic) 이고, \(\phi(T)\) 가 \(\tau(\theta)\) 의 비편향 추정량이면, \(\phi(T)\) 는 \(\tau(\theta)\) 의 유일한 UMVUE 이다.
UMVUE를 찾는 절차:
1. 충분통계량 T를 찾는다 (인수분해 정리)
2. T가 완비인지 확인한다 (지수족에서는 자동)
3. τ(θ)의 비편향 추정량 W를 아무거나 찾는다
4. φ(T) = E[W | T] 를 계산한다
5. φ(T)가 UMVUE이다 (Lehmann-Scheffe)3.6.1 예시: 정규분포에서 \(\mu\) 의 UMVUE
\(X_1, \ldots, X_n \overset{\text{iid}}{\sim} N(\mu, \sigma^2)\), \(\sigma^2\) 기지일 때
- \(T = \bar{X}\) 는 완비충분통계량 (정규족은 지수족)
- \(\bar{X}\) 는 \(\mu\) 의 비편향 추정량 (\(E[\bar{X}] = \mu\))
- Lehmann-Scheffe에 의해 \(\bar{X}\) 가 \(\mu\) 의 UMVUE
\(\text{Var}(\bar{X}) = \sigma^2/n\) 은 Cramer-Rao 하한과 정확히 일치한다 — 효율적 추정량이다.
4 세 도구의 관계 요약
\[ \text{Cramer-Rao} \quad \longleftrightarrow \quad \text{Rao-Blackwell} \quad \longleftrightarrow \quad \text{Lehmann-Scheffe} \]
| 도구 | 역할 | 입력 | 출력 |
|---|---|---|---|
| Cramer-Rao | 분산의 하한 제공 | 정칙 조건, \(I(\theta)\) | \(\text{Var}(W) \geq [\tau'(\theta)]^2 / nI(\theta)\) |
| Rao-Blackwell | 추정량 개선 | 비편향 추정량 + 충분통계량 | 분산이 줄어든 추정량 |
| Lehmann-Scheffe | UMVUE 보장 | 완비충분통계량 + 비편향 조건 | 유일한 UMVUE |
Ch.6의 충분성 원리에서 다룬 충분통계량과 완비성이 여기서 직접적인 추론 도구로 활용된다. 데이터 축소 원리가 추론 이론의 토대임을 확인할 수 있다.
5 손실함수와 의사결정 이론 관점
MSE는 제곱 손실함수(squared loss) \(L(\theta, a) = (\theta - a)^2\) 하에서의 위험함수(risk function)이다. 더 일반적으로:
\[ R(\theta, \delta) = E_\theta[L(\theta, \delta(\mathbf{X}))] \]
| 손실함수 | \(L(\theta, a)\) | 최적 베이즈 추정량 |
|---|---|---|
| 제곱 손실 | \((\theta - a)^2\) | 사후 평균 |
| 절대 손실 | \(|\theta - a|\) | 사후 중앙값 |
| 0-1 손실 | \(I(\theta \neq a)\) | 사후 최빈값 (MAP) |
의사결정 이론은 빈도주의와 베이지안 접근을 통합하는 프레임워크를 제공한다.
6 코드 예시
6.1 Step 1: 순수 Python 구현 (적률법 vs MLE 비교)
감마분포에서 적률법과 MLE를 비교한다.
import math
# 감마분포 Gamma(alpha, beta) 에서 표본 생성 (LCG 기반 간이 구현)
# 실제로는 scipy를 쓰지만, 원리 이해를 위해 적률법을 직접 구현
# 가상 데이터: Gamma(alpha=3, beta=2)에서의 표본
data = [4.2, 6.1, 3.8, 7.3, 5.5, 2.9, 8.1, 4.7, 6.8, 3.2,
5.1, 7.9, 4.4, 6.3, 3.6, 5.8, 7.1, 4.0, 6.5, 3.4]
n = len(data)
# --- 적률법 (Method of Moments) ---
# Gamma(alpha, beta): E[X] = alpha*beta, Var(X) = alpha*beta^2
# m1 = alpha*beta, m2 - m1^2 = alpha*beta^2
m1 = sum(data) / n
m2 = sum(x**2 for x in data) / n
sample_var = m2 - m1**2
beta_mom = sample_var / m1 # beta = Var/E[X]
alpha_mom = m1 / beta_mom # alpha = E[X]/beta = E[X]^2/Var
print("=== 적률법 (Method of Moments) ===")
print(f" 표본평균 m1 = {m1:.4f}")
print(f" 표본분산 = {sample_var:.4f}")
print(f" alpha_MoM = {alpha_mom:.4f}")
print(f" beta_MoM = {beta_mom:.4f}")
# --- MLE (뉴턴-랩슨) ---
# Gamma 로그우도: l = (alpha-1)*sum(log(x)) - sum(x)/beta
# - n*alpha*log(beta) - n*log(Gamma(alpha))
# alpha에 대한 편미분은 digamma 함수를 포함 -> 수치적으로 풀어야 함
# 간단한 고정점 반복: alpha의 MLE
# MLE for beta given alpha: beta_hat = x_bar / alpha
# alpha의 프로파일 우도를 최대화
sum_log_x = sum(math.log(x) for x in data)
log_x_bar = math.log(m1)
mean_log_x = sum_log_x / n
# 뉴턴 근사: digamma(alpha) - log(alpha) ≈ log(x_bar) - mean(log(x))
# 초기값: 적률법
alpha_mle = alpha_mom
for iteration in range(100):
# digamma 근사: psi(x) ≈ log(x) - 1/(2x) - 1/(12x^2)
psi_alpha = math.log(alpha_mle) - 1/(2*alpha_mle) - 1/(12*alpha_mle**2)
# 스코어: psi(alpha) - log(beta) = mean(log(x))에서
# beta = x_bar/alpha 이므로 log(beta) = log(x_bar) - log(alpha)
score = psi_alpha - log_x_bar + math.log(alpha_mle) - mean_log_x
# trigamma 근사: psi'(x) ≈ 1/x + 1/(2x^2) + 1/(6x^3)
psi1_alpha = 1/alpha_mle + 1/(2*alpha_mle**2) + 1/(6*alpha_mle**3)
deriv = psi1_alpha + 1/alpha_mle
alpha_new = alpha_mle - score / deriv
if abs(alpha_new - alpha_mle) < 1e-10:
break
alpha_mle = alpha_new
beta_mle = m1 / alpha_mle
print(f"\n=== MLE (뉴턴-랩슨, {iteration+1}회 반복) ===")
print(f" alpha_MLE = {alpha_mle:.4f}")
print(f" beta_MLE = {beta_mle:.4f}")
print(f"\n참값: alpha=3.0, beta=2.0")6.2 Step 2: scipy 구현 (Rao-Blackwell 시뮬레이션)
Rao-Blackwell 정리를 시뮬레이션으로 확인한다. 비편향 추정량을 충분통계량에 조건화하면 분산이 줄어드는 것을 보인다.
import numpy as np
from scipy.stats import bernoulli
np.random.seed(42)
# Bernoulli(theta)에서 theta 추정
# 비편향 추정량 W = X_1 (첫 번째 관측값)
# 충분통계량 T = sum(X_i)
# Rao-Blackwell화: phi(T) = E[X_1 | T=t] = t/n (조건부 기댓값)
# phi(T) = T/n = X_bar (표본평균)
theta_true = 0.3
n = 20
n_sim = 50000
mse_w = [] # W = X_1 의 MSE
mse_rb = [] # phi(T) = X_bar 의 MSE
for _ in range(n_sim):
x = bernoulli.rvs(theta_true, size=n)
w = x[0] # 비편향: E[X_1] = theta
phi_t = np.mean(x) # Rao-Blackwell화: E[X_1|T] = T/n
mse_w.append((w - theta_true)**2)
mse_rb.append((phi_t - theta_true)**2)
print("Rao-Blackwell 정리 시뮬레이션")
print(f" theta = {theta_true}, n = {n}, {n_sim} 반복\n")
print(f" W = X_1 (비편향, 충분통계량 미사용)")
print(f" E[W] = {np.mean([x[0] for x in [bernoulli.rvs(theta_true, size=n) for _ in range(n_sim)]]):.4f} (이론: {theta_true})")
print(f" MSE(W) = {np.mean(mse_w):.6f}")
print(f" 이론 MSE = theta*(1-theta) = {theta_true*(1-theta_true):.6f}")
print(f"\n phi(T) = X_bar (Rao-Blackwell화)")
print(f" MSE(phi) = {np.mean(mse_rb):.6f}")
print(f" 이론 MSE = theta*(1-theta)/n = {theta_true*(1-theta_true)/n:.6f}")
print(f"\n MSE 감소율: {(1 - np.mean(mse_rb)/np.mean(mse_w))*100:.1f}%")
print(f" 이론 감소율: {(1 - 1/n)*100:.1f}% (1 - 1/n)")
# Cramer-Rao 하한 확인
fisher_info = 1 / (theta_true * (1 - theta_true))
crlb = 1 / (n * fisher_info)
print(f"\n Cramer-Rao 하한: {crlb:.6f}")
print(f" X_bar의 분산이 CRLB와 일치 → 효율적 추정량")7 관련 주제
선행 지식
- 데이터 축소의 원리 (Overview) — 충분통계량, 완비성
- 충분성 원리 — Rao-Blackwell의 핵심 도구
- 우도원리 — MLE의 이론적 기반
- 지수족 — 충분통계량/완비성의 자동 보장
기존 세부 포스트
후속 주제 (세분화 예정)
- 적률법 (Method of Moments) — 세분화
- 베이즈 추정 (Bayesian Estimation) — 세분화
- EM 알고리즘 (The EM Algorithm) — 세분화
- MSE와 비편향성 — 세분화
- 충분성과 비편향성 (Rao-Blackwell, Lehmann-Scheffe) — 세분화
- 손실함수 최적성 — 세분화
다음 장
8 참고 문헌
- Casella, G. & Berger, R. L. (2002). Statistical Inference (2nd ed.). Duxbury. Chapter 7.
- Lehmann, E. L. & Casella, G. (1998). Theory of Point Estimation (2nd ed.). Springer.
- Rao, C. R. (1945). Information and accuracy attainable in the estimation of statistical parameters. Bulletin of the Calcutta Mathematical Society, 37, 81-91.
- Blackwell, D. (1947). Conditional expectation and unbiased sequential estimation. Annals of Mathematical Statistics, 18, 105-110.
- Dempster, A. P., Laird, N. M. & Rubin, D. B. (1977). Maximum likelihood from incomplete data via the EM algorithm. Journal of the Royal Statistical Society B, 39, 1-38.