구간추정 개요 (Interval Estimation: Overview)

1 개요

표본 \(X_1, \ldots, X_n\) 이 \(f(x|\theta)\) 를 따를 때, 점추정(point estimation)은 \(\theta\) 를 단 하나의 숫자로 추정한다. 그러나 연속 분포에서 \(P(\hat{\theta} = \theta) = 0\) 이므로, 점추정이 정확히 맞을 확률은 0이다.

구간추정(interval estimation)은 이 한계를 보완한다. 추정의 대상을 단일 값이 아니라 집합 \(C \subseteq \Theta\) 으로 잡아, “\(\theta \in C\)” 라는 진술을 내린다. 이렇게 하면 양의 피복 확률을 보장할 수 있다 (Casella & Berger, 2002, Ch.9).

정의 9.1.1: 구간추정량 (Interval Estimator)

실수 모수 \(\theta\) 의 구간추정량은 표본에서 정의된 두 함수 \(L(X_1, \ldots, X_n)\) 과 \(U(X_1, \ldots, X_n)\) 의 쌍으로, 모든 \(\mathbf{x} \in \mathcal{X}\) 에 대해 \(L(\mathbf{x}) \leq U(\mathbf{x})\) 를 만족한다. 관측값 \(X = x\) 가 주어지면 “\(L(x) \leq \theta \leq U(x)\)” 라는 추론을 내리며, 확률 구간 \([L(X), U(X)]\) 를 구간추정량 이라 한다.

왜 점추정에서 구간추정으로 전환하는가?

연속 분포에서 점추정량 \(\hat{\theta}\) 로 \(\theta\) 를 정확히 맞힐 확률은 0이다. 반면 구간 \([\bar{X} - 1, \bar{X} + 1]\) 로 \(\mu\) 를 추정하면, 정규 분포 샘플(분산 1/4)에서 약 95.44% 의 확률로 참값 \(\mu\) 를 포함한다. 즉, 추정의 정밀도(precision)를 일부 희생하는 대신 확신(confidence)을 얻는 교환이 발생한다.

핵심 개념 정의

정의 9.1.4–9.1.5: 피복확률과 신뢰계수

• 피복확률(coverage probability): \(P_\theta(\theta \in [L(X), U(X)])\) — 구간이 참값을 포함하는 확률
• 신뢰계수(confidence coefficient): \(\inf_\theta P_\theta(\theta \in [L(X), U(X)])\) — 모든 가능한 \(\theta\) 에 걸친 피복확률의 하한

신뢰계수 \(1 - \alpha\) 인 구간을 \(1 - \alpha\) 신뢰구간(confidence interval) 이라 한다.

중요한 해석상 주의: “\(P_\theta(\theta \in [L(X), U(X)])\)” 에서 랜덤 대상은 구간 \([L(X), U(X)]\) 이지, 모수 \(\theta\) 가 아니다. 구간이 반복 표본추출 시 참값을 포함하는 장기 비율이 \(1 - \alpha\) 임을 의미하며, “이 특정 구간이 \(\theta\) 를 포함할 확률이 \(1 - \alpha\)” 라는 해석은 빈도주의 관점에서 부정확하다.

Ch.9는 두 파트로 나뉜다:

파트	질문	내용
탐색 (9.2)	어떻게 좋은 구간추정량을 찾는가?	검정 역전, 피벗, CDF 피벗팅, 베이즈 구간
평가 (9.3)	찾은 구간이 정말 좋은가?	크기, 피복확률, 최단 기대 길이, 비편향성

---

2 Part I: 구간추정량 탐색 방법 (Methods of Finding Interval Estimators)

네 가지 방법이 소개되지만, 베이즈 구간을 제외하면 본질적으로 모두 “검정통계량의 역전(inverting a test statistic)” 이라는 공통 전략에 기반한다.

2.1 검정의 역전 (Inverting a Test Statistic)

가설검정과 구간추정 사이에는 일대일 대응 관계가 있다. 이것이 구간추정량 탐색의 가장 강력한 도구다.

정리 9.2.2: 검정과 신뢰집합의 대응

각 \(\theta_0 \in \Theta\) 에 대해 \(H_0: \theta = \theta_0\) 의 수준(level) \(\alpha\) 검정의 수용역(acceptance region)을 \(A(\theta_0)\) 라 하면, 다음으로 정의된 집합

\[C(x) = \{\theta_0 : x \in A(\theta_0)\}\]

은 \(1 - \alpha\) 신뢰집합이다. 역으로, \(C(X)\) 가 \(1 - \alpha\) 신뢰집합이면, \(A(\theta_0) = \{x : \theta_0 \in C(x)\}\) 는 \(H_0: \theta = \theta_0\) 의 수준 \(\alpha\) 검정의 수용역이다.

직관: 가설검정은 “모수를 고정하고, 어떤 표본값이 그 모수와 일치하는가?” 를 묻는다. 반면 구간추정은 “표본값을 고정하고, 어떤 모수값이 이 표본과 일치하는가?” 를 묻는다. 두 물음은 같은 구조를 다른 방향에서 바라본 것이다.

예시: 정규 분포 양측 신뢰구간

\(X_1, \ldots, X_n \overset{\text{iid}}{\sim} N(\mu, \sigma^2)\), \(\sigma^2\) 알려진 경우, \(H_0: \mu = \mu_0\) 에 대한 크기 \(\alpha\) 검정의 수용역은

\[A(\mu_0) = \left\{x : \left|\bar{x} - \mu_0\right| \leq z_{\alpha/2} \frac{\sigma}{\sqrt{n}}\right\}\]

이를 역전하면

\[C(x) = \left\{\mu : \bar{x} - z_{\alpha/2}\frac{\sigma}{\sqrt{n}} \leq \mu \leq \bar{x} + z_{\alpha/2}\frac{\sigma}{\sqrt{n}}\right\}\]

이 구간은 \(1 - \alpha\) 신뢰구간이다. 검정에서 수용역을 먼저 구성하는 것이 (모수 값에 대한) 신뢰구간을 직접 유도하는 것보다 훨씬 쉬운 경우가 많다.

정리 9.2.2의 실무적 의미: 우리가 가진 모든 검정 구성 기법(우도비 검정, 네이만-피어슨, UMP 검정 등)을 즉시 구간추정에 전용할 수 있다. 단측 검정을 역전하면 단측 신뢰구간이, 양측 검정을 역전하면 양측 신뢰구간이 나온다.

---

2.2 피벗 양 (Pivotal Quantities)

피복확률이 \(\theta\) 에 의존하지 않는 구간을 구성하는 체계적 방법이다.

정의 9.2.6: 피벗 (Pivot)

확률변수 \(Q(X, \theta) = Q(X_1, \ldots, X_n, \theta)\) 의 분포가 모든 모수값에서 동일하면, 즉 \(X \sim F(x|\theta)\) 일 때 \(Q(X, \theta)\) 의 분포가 \(\theta\) 에 무관하면, \(Q\) 를 피벗(pivotal quantity) 이라 한다.

피벗 구성 원리: - 위치 문제(location problem): 차(difference)가 피벗이 된다 — 예: \(\bar{X} - \mu\) - 척도 문제(scale problem): 비(ratio)가 피벗이 된다 — 예: \(\bar{X}/\sigma\), \(S^2/\sigma^2\)

피벗 \(Q(X, \theta)\) 를 찾으면, \(\alpha_1 + \alpha_2 = \alpha\) 에 대해

\[P_\theta(a \leq Q(X, \theta) \leq b) \geq 1 - \alpha\]

를 만족하는 \(a, b\) (모수에 무관)를 구한 뒤, 수용역

\[A(\theta_0) = \{x : a \leq Q(x, \theta_0) \leq b\}\]

를 역전하여 신뢰집합

\[C(x) = \{\theta_0 : a \leq Q(x, \theta_0) \leq b\}\]

을 얻는다. \(Q(x, \theta)\) 가 \(\theta\) 에 대해 단조함수이면, \(C(x)\) 는 구간이 보장된다.

핵심 예시들

설정	피벗	피벗의 분포	신뢰구간
\(X_i \overset{\text{iid}}{\sim} N(\mu, \sigma^2)\), \(\sigma^2\) 알려짐	\(\frac{\bar{X} - \mu}{\sigma/\sqrt{n}}\)	\(N(0, 1)\)	\(\bar{x} \pm z_{\alpha/2}\frac{\sigma}{\sqrt{n}}\)
\(X_i \overset{\text{iid}}{\sim} N(\mu, \sigma^2)\), \(\sigma^2\) 미지	\(\frac{\bar{X} - \mu}{S/\sqrt{n}}\)	\(t_{n-1}\)	\(\bar{x} \pm t_{n-1,\alpha/2}\frac{s}{\sqrt{n}}\)
\(X_i \overset{\text{iid}}{\sim} N(\mu, \sigma^2)\), \(\mu\) 미지	\(\frac{(n-1)S^2}{\sigma^2}\)	\(\chi^2_{n-1}\)	\(\left[\frac{(n-1)s^2}{\chi^2_{n-1,\alpha/2}},\, \frac{(n-1)s^2}{\chi^2_{n-1,1-\alpha/2}}\right]\)
\(X_i \overset{\text{iid}}{\sim} \text{Exp}(\lambda)\)	\(\frac{2\sum X_i}{\lambda}\)	\(\chi^2_{2n}\)	\(\left[\frac{2T}{\chi^2_{2n,\alpha/2}},\, \frac{2T}{\chi^2_{2n,1-\alpha/2}}\right]\)

so what: \(t\) 피벗은 \(\sigma^2\) 모름에도 \(\mu\) 의 정확한 \(1-\alpha\) 구간을 준다. 카이제곱 피벗은 \(\sigma^2\) 구간을 준다. 분포의 형태(location-scale, scale)를 보면 피벗 후보가 자연히 드러난다.

---

2.3 CDF 피벗팅 (Pivoting the CDF)

피벗이 없거나 찾기 어려운 경우에도 사용할 수 있는 일반적인 방법이다. 확률적분변환(Probability Integral Transformation)에 의해, 연속 확률변수 \(T\) 의 CDF \(F_T(T|\theta)\) 는 모든 \(\theta\) 에서 \(\text{Uniform}(0, 1)\) 을 따른다 — 즉, \(F_T(T|\theta)\) 는 피벗이다.

정리 9.2.12: 연속 CDF 피벗팅

통계량 \(T\) 의 연속 CDF가 \(F_T(t|\theta)\) 이고, \(F_T(t|\theta)\) 가 각 \(t\) 에 대해 \(\theta\) 의 단조함수이면, \(\alpha_1 + \alpha_2 = \alpha\) 에 대해 다음 집합은 \(1 - \alpha\) 신뢰구간이다:

\[C(t) = \left\{\theta : \theta_L(t) \leq \theta \leq \theta_U(t)\right\}\]

여기서 \(\theta_L(t)\) 와 \(\theta_U(t)\) 는 \(F_T(t|\theta_U) = \alpha_1\), \(F_T(t|\theta_L) = 1 - \alpha_2\) (단조 감소 경우)를 풀어 구한다.

직관: CDF가 \(\theta\) 에 대해 단조 감소하면, “\(T\) 가 관측되었을 때 \(F_T(T|\theta)\) 가 \([\alpha_1, 1-\alpha_2]\) 안에 있다” 는 조건을 \(\theta\) 에 대해 역전하면 신뢰구간을 얻는다. 즉, CDF 자체가 피벗 역할을 한다.

이 방법은 이산 분포(이항, 포아송 등)에서도 적용 가능하지만, 불연속성으로 인해 정확한 피복확률 대신 최소 \(1-\alpha\) 보장만 얻게 된다.

---

2.4 베이즈 구간 (Bayesian Intervals)

빈도주의 신뢰구간은 반복 표본추출에서의 장기 피복률에 근거하지만, 베이즈 구간은 관측 데이터가 주어진 후 모수에 대한 사후 믿음을 직접 표현한다.

사후분포 기반 집합: 사전분포 \(\pi(\theta)\) 와 우도 \(L(\theta|\mathbf{x})\) 로부터 사후분포 \(\pi(\theta|\mathbf{x})\) 를 구한 뒤,

\[P(\theta \in C | \mathbf{x}) = \int_C \pi(\theta|\mathbf{x})\, d\theta \geq 1 - \alpha\]

를 만족하는 집합 \(C\) 를 \(1-\alpha\) 신용집합(credible set) 이라 한다.

HPD 영역 (Highest Posterior Density Region): 신용집합 중 특히 사후 밀도가 높은 값들로 이루어진 것으로, 동일한 피복 확률을 가진 신용집합 중 기대 길이가 최단이다.

\[C^* = \{\theta : \pi(\theta|\mathbf{x}) \geq k\}, \quad k \text{ s.t. } P(\theta \in C^* | \mathbf{x}) = 1 - \alpha\]

빈도주의 vs. 베이즈 구간 비교

항목	빈도주의 신뢰구간	베이즈 신용집합
확률 대상	구간 (랜덤)	모수 (확률적)
해석	반복 시 \(1-\alpha\) 비율로 \(\theta\) 포함	사후 믿음 \(1-\alpha\) 가 \(\theta \in C\)
사전 정보	사용 안 함	사전분포로 통합
최적 구간	UMP 검정 역전 → UMAU 구간	HPD 영역
계산	분포 이론 기반	MCMC, 수치 적분

---

3 Part II: 구간추정량 평가 방법 (Methods of Evaluating Interval Estimators)

탐색 방법이 구간의 형태를 결정한다면, 평가 기준은 그 구간의 품질을 판단한다.

3.1 크기와 피복확률 (Size and Coverage Probability)

구간의 첫 번째 평가 기준은 신뢰계수(confidence coefficient)다. 신뢰계수는 피복확률의 하한이므로, 높을수록 좋다. 그러나 피복확률만 높이면 구간이 넓어지므로, 피복확률과 구간 길이 사이에는 근본적인 상충 관계가 있다.

상충 관계: \(n\) 이 고정될 때, 더 높은 신뢰수준을 원할수록 구간이 넓어진다. 반면 표본 크기 \(n\) 을 늘리면 같은 신뢰수준에서 더 좁은 구간을 얻을 수 있다.

3.2 기대 길이 (Expected Length)

같은 신뢰계수를 갖는 구간들 중에서, 기대 길이(expected length) \(E_\theta[U(X) - L(X)]\) 가 작은 구간이 더 좋다.

\[E_\theta[\text{length}] = E_\theta[U(X) - L(X)]\]

이것이 최소화되면 최단 기대 길이 구간(shortest expected length interval) 이라 한다. 그러나 기대 길이가 \(\theta\) 에 따라 달라질 수 있으므로, “모든 \(\theta\) 에서 최단”인 구간은 일반적으로 존재하지 않는다.

정규 분포 \(\sigma^2\) 구간: \(\chi^2\) 분포는 비대칭이므로, 양쪽 꼬리를 \(\alpha/2\) 씩 자르는 등분할이 최단 구간을 주지 않는다. 최단 구간을 위해서는

\[\frac{f_{n-1}(\chi^2_{n-1,\alpha/2})}{\chi^2_{n-1,\alpha/2}} = \frac{f_{n-1}(\chi^2_{n-1,1-\alpha/2})}{\chi^2_{n-1,1-\alpha/2}}\]

를 만족하는 절단점을 수치적으로 찾아야 한다. 이 조건은 HPD 영역에 해당한다.

3.3 비편향 구간 (Unbiased Interval)

검정에서 비편향 검정(unbiased test)이 있듯이, 구간에도 비편향성 개념이 있다. 신뢰구간 \([L(X), U(X)]\) 가 비편향이라 함은, 참값 \(\theta\) 가 구간에 포함될 확률이 오류값 \(\theta'\) 에 대해서보다 크거나 같다는 것이다:

\[P_\theta(\theta \in C(X)) \geq P_\theta(\theta' \in C(X)), \quad \forall \theta, \theta' \in \Theta\]

즉, 구간이 틀린 모수값을 포함할 확률이 참값을 포함할 확률보다 낮은 바람직한 성질이다.

UMP 검정과의 연결: UMP(균일 최강력) 검정의 역전은 UMAU(Uniformly Most Accurate Unbiased) 구간을 만든다. 이 구간은 비편향 구간 중 가장 짧은 기대 길이를 가진다.

---

4 주요 구간추정 공식 정리

실무에서 자주 사용되는 구간 공식을 정리한다.

모수	가정	신뢰구간
정규 \(\mu\) (\(\sigma^2\) 알려짐)	\(X_i \overset{\text{iid}}{\sim} N(\mu, \sigma^2)\)	\(\bar{x} \pm z_{\alpha/2} \frac{\sigma}{\sqrt{n}}\)
정규 \(\mu\) (\(\sigma^2\) 미지)	\(X_i \overset{\text{iid}}{\sim} N(\mu, \sigma^2)\)	\(\bar{x} \pm t_{n-1,\alpha/2} \frac{s}{\sqrt{n}}\)
정규 \(\sigma^2\)	\(X_i \overset{\text{iid}}{\sim} N(\mu, \sigma^2)\)	\(\left[\frac{(n-1)s^2}{\chi^2_{n-1,\alpha/2}},\, \frac{(n-1)s^2}{\chi^2_{n-1,1-\alpha/2}}\right]\)
이항 \(p\) (대표본)	\(X \sim \text{Bin}(n, p)\)	\(\hat{p} \pm z_{\alpha/2}\sqrt{\frac{\hat{p}(1-\hat{p})}{n}}\)
지수 \(\lambda\)	\(X_i \overset{\text{iid}}{\sim} \text{Exp}(\lambda)\)	\(\left[\frac{2\sum x_i}{\chi^2_{2n,\alpha/2}},\, \frac{2\sum x_i}{\chi^2_{2n,1-\alpha/2}}\right]\)
대표본 일반 \(\theta\)	MLE + 점근 정규성	\(\hat{\theta} \pm z_{\alpha/2} \cdot \widehat{SE}(\hat{\theta})\)

---

5 코드 예시

5.1 Step 1: 순수 Python 구현 — 정규 분포 \(\mu\) 의 \(t\)-구간

import math

# 데이터: AI Agent 추천 세션에서 측정한 사용자 만족도 (n=10)
data = [7.2, 6.8, 7.5, 8.1, 7.0, 6.5, 7.8, 8.3, 6.9, 7.4]
n = len(data)

# 표본 통계량 직접 계산
x_bar = sum(data) / n
s_sq = sum((x - x_bar) ** 2 for x in data) / (n - 1)
s = math.sqrt(s_sq)

# t_critical: t_{n-1, alpha/2} — 여기서는 t_{9, 0.025} ≈ 2.262 사용
t_crit = 2.262  # scipy 없이 상수로 대입

# 95% 신뢰구간
margin = t_crit * s / math.sqrt(n)
L = x_bar - margin
U = x_bar + margin

print(f"표본 평균: {x_bar:.3f}")
print(f"표본 표준편차: {s:.3f}")
print(f"95% 신뢰구간: [{L:.3f}, {U:.3f}]")
# 결과 해석: 이 구간이 반복 실험의 95%에서 진짜 모평균을 포함한다

5.2 Step 2: scipy/statsmodels로 실무 코드

import numpy as np
from scipy import stats

data = np.array([7.2, 6.8, 7.5, 8.1, 7.0, 6.5, 7.8, 8.3, 6.9, 7.4])

# t 구간: scipy.stats.t.interval 사용
alpha = 0.05
n = len(data)
x_bar = np.mean(data)
se = stats.sem(data)  # 표준오차 = s / sqrt(n)

L, U = stats.t.interval(confidence=1 - alpha, df=n - 1, loc=x_bar, scale=se)
print(f"95% t-신뢰구간: [{L:.3f}, {U:.3f}]")

# 분산 구간: chi2 피벗 이용
s2 = np.var(data, ddof=1)
chi2_lower = stats.chi2.ppf(alpha / 2, df=n - 1)
chi2_upper = stats.chi2.ppf(1 - alpha / 2, df=n - 1)
var_L = (n - 1) * s2 / chi2_upper
var_U = (n - 1) * s2 / chi2_lower
print(f"95% 분산 신뢰구간: [{var_L:.3f}, {var_U:.3f}]")

# 이항 비율 Wilson 구간 (대표본 근사 개선)
n_trial = 200
x_success = 134  # AI Agent 권장 행동 채택 횟수
p_hat = x_success / n_trial
z = stats.norm.ppf(1 - alpha / 2)
wilson_L = (p_hat + z**2 / (2 * n_trial) -
            z * np.sqrt(p_hat * (1 - p_hat) / n_trial + z**2 / (4 * n_trial**2))) / \
           (1 + z**2 / n_trial)
wilson_U = (p_hat + z**2 / (2 * n_trial) +
            z * np.sqrt(p_hat * (1 - p_hat) / n_trial + z**2 / (4 * n_trial**2))) / \
           (1 + z**2 / n_trial)
print(f"이항 95% Wilson 구간: [{wilson_L:.3f}, {wilson_U:.3f}]")

결과 해석: - \(t\)-구간: 표본 크기가 작고 분산을 모를 때 정확한 \(1-\alpha\) 피복확률을 보장한다 - 분산 구간: \(\chi^2\) 분포의 비대칭성 때문에 등분할 절단점이 최단 구간을 주지 않는다 - Wilson 구간: Wald 구간(\(\hat{p} \pm z \cdot \text{SE}\))보다 소표본에서 더 정확한 피복확률을 보인다

---

6 점추정과 구간추정의 관계 요약

점추정 개념	구간추정 대응 개념	연결
MSE 최소화	최단 기대 길이	좋은 추정량 = 좋은 구간의 중심
UMVUE	UMAU 구간	UMP 검정 역전
Cramer-Rao 하한	점근 구간 최소 폭	Fisher 정보 기반
베이즈 추정(MAP/사후 평균)	HPD 구간	사후분포 기반

---

7 관련 주제

선행 지식

• 점추정 개요 (Point Estimation: Overview)
• 가설검정 (Hypothesis Testing)
• 정규 모집단에서의 표본분포 — \(t\), \(\chi^2\), \(F\) 분포

후속 주제

• 구간추정 탐색 방법 (Methods of Finding Interval Estimators)
• 피벗 양 (Pivotal Quantities)
• CDF 피벗팅 (Pivoting the CDF)
• 베이즈 구간 (Bayesian Intervals)
• 구간추정 평가 (Methods of Evaluating Interval Estimators)

관련 개념

• 베이즈 추정량 (Bayes Estimators) — HPD 구간과 점추정의 관계
• 점근 이론 (Asymptotic Evaluations) — 대표본 근사 구간