Kwangmin Kim - 연속균등 분포 (Continuous Uniform Distribution)

1 연속균등 분포란 무엇인가

연속균등 분포(Continuous Uniform Distribution)는 구간 \([a, b]\) 위에 확률 질량을 균일하게 펼치는 가장 단순한 연속 분포이다. “아무런 사전 정보가 없을 때, 구간 내 모든 값이 동등하게 가능하다”는 최대 무정보(maximum ignorance) 상태를 수학적으로 표현한다.

단순해 보이지만, 연속균등 분포는 통계학 전체에서 핵심적인 역할을 한다:

확률적분변환(PIT): 임의의 연속 분포를 \(\text{Uniform}(0,1)\) 로 변환하거나, 역으로 \(\text{Uniform}(0,1)\) 에서 임의의 분포를 생성한다
난수 생성: 컴퓨터의 의사난수 생성기(PRNG)는 \(\text{Uniform}(0,1)\) 을 기반으로 모든 분포의 난수를 만든다
순서통계량: 균등 분포의 순서통계량은 베타 분포를 따르며, 이는 비모수 통계의 토대가 된다
베이지안 사전분포: 무정보 사전분포(uninformative prior)의 가장 기본적인 형태이다

2 정의와 기본 성질

정의: 연속균등 분포

확률변수 \(X\) 가 연속균등 분포 \(\text{Uniform}(a, b)\) 를 따르면, 확률밀도함수(PDF)는 다음과 같다:

\[ f(x \mid a, b) = \begin{cases} \dfrac{1}{b - a} & \text{if } x \in [a, b] \\[6pt] 0 & \text{otherwise} \end{cases} \]

여기서 \(-\infty < a < b < \infty\) 이다 (Casella & Berger, 2002, Ch.3).

직관적으로, PDF가 상수 \(1/(b-a)\) 라는 것은 구간 내 어떤 지점도 다른 지점보다 “더 가능성이 높지 않다”는 뜻이다. 이것이 “균등(uniform)”이라는 이름의 유래이다.

2.1 정규화 확인

PDF가 올바른 확률밀도인지 확인하려면 전체 적분이 1이 되어야 한다:

\[ \int_{a}^{b} \frac{1}{b-a}\, dx = \frac{1}{b-a} \cdot (b - a) = 1 \quad \checkmark \]

2.2 누적분포함수 (CDF)

CDF \(F(x)\) 는 구간별로 정의된다:

\[ F(x) = P(X \leq x) = \begin{cases} 0 & \text{if } x < a \\[6pt] \dfrac{x - a}{b - a} & \text{if } a \leq x \leq b \\[6pt] 1 & \text{if } x > b \end{cases} \]

CDF가 \([a, b]\) 에서 직선이라는 점이 핵심이다. \(x = a\) 에서 0, \(x = b\) 에서 1로 선형 증가한다. 이 선형성이 균등 분포의 본질을 반영한다 — 어떤 동일 길이의 부분 구간이든 같은 확률을 갖는다.

동일 길이 = 동일 확률

\([a, b]\) 내의 임의의 부분 구간 \([c, d]\) 에 대해:

\[ P(c \leq X \leq d) = \frac{d - c}{b - a} \]

확률은 구간의 위치가 아니라 길이에만 의존한다. 이 성질이 “균등”의 정확한 의미이다.

3 평균, 분산, MGF

3.1 기대값

\[ E[X] = \int_{a}^{b} x \cdot \frac{1}{b-a}\, dx = \frac{1}{b-a} \cdot \frac{x^2}{2} \Bigg|_{a}^{b} = \frac{b^2 - a^2}{2(b-a)} = \frac{b + a}{2} \]

기대값이 구간의 중점 \((a+b)/2\) 라는 것은 대칭성에서 즉시 예상할 수 있다. PDF가 구간 전체에서 상수이므로, 확률변수의 “무게중심”은 정확히 구간의 한가운데에 놓인다.

3.2 이차 적률과 분산

\[ E[X^2] = \int_{a}^{b} x^2 \cdot \frac{1}{b-a}\, dx = \frac{1}{b-a} \cdot \frac{x^3}{3} \Bigg|_{a}^{b} = \frac{b^3 - a^3}{3(b-a)} = \frac{a^2 + ab + b^2}{3} \]

분산은 \(\text{Var}(X) = E[X^2] - (E[X])^2\) 로 구한다:

\[ \begin{aligned} \text{Var}(X) &= \frac{a^2 + ab + b^2}{3} - \left(\frac{a + b}{2}\right)^2 \\[6pt] &= \frac{a^2 + ab + b^2}{3} - \frac{a^2 + 2ab + b^2}{4} \\[6pt] &= \frac{4(a^2 + ab + b^2) - 3(a^2 + 2ab + b^2)}{12} \\[6pt] &= \frac{a^2 - 2ab + b^2}{12} = \frac{(b - a)^2}{12} \end{aligned} \]

분산이 \((b-a)^2 / 12\) 라는 것은 흩어짐이 오직 구간 폭 \(b - a\) 에 의해 결정된다는 뜻이다. 구간 폭이 2배가 되면 분산은 4배, 표준편차는 2배가 된다.

이산균등 분포와의 비교

이산균등 분포 \(\text{Uniform}(1, N)\) 의 분산은 \((N+1)(N-1)/12 = (N^2-1)/12\) 이다. 연속균등 분포 \(\text{Uniform}(a, b)\) 의 분산은 \((b-a)^2/12\) 이다.

두 분포 모두 분모에 12가 등장한다. 이는 균등 분포의 2차 적률 계산에서 \(x^2\) 의 적분(또는 합)이 3차 다항식을 만들고, 평균의 제곱을 빼는 과정에서 공통적으로 12가 나타나기 때문이다.

3.3 적률생성함수 (MGF)

\[ M_X(t) = E[e^{tX}] = \int_{a}^{b} e^{tx} \cdot \frac{1}{b-a}\, dx = \frac{1}{b-a} \cdot \frac{e^{tx}}{t} \Bigg|_{a}^{b} = \frac{e^{tb} - e^{ta}}{t(b-a)}, \quad t \neq 0 \]

\(t = 0\) 일 때는 \(M_X(0) = 1\) 이다.

직관: 균등 분포 MGF의 구조

\[M_X(t) = \frac{e^{tb} - e^{ta}}{t(b-a)}\]

분자 \(e^{tb} - e^{ta}\) 는 “구간의 양 끝점에서의 지수 함수 차이”이고, 분모 \(t(b-a)\) 는 “기울기 \(t\) 와 구간 폭”의 곱이다. 이 구조는 균등 PDF \(1/(b-a)\) 를 \(e^{tx}\) 에 대해 적분한 결과이다 — 상수 밀도를 가중치로 삼아 지수 함수를 구간 전체에서 평균 낸 것이다.

\(t \to 0\) 극한에서 로피탈 법칙을 적용하면 \(M_X(0) = 1\) 이 되는데, 이는 분자를 \(t\) 로 테일러 전개하면 \(b - a + O(t)\) 가 되어 분모 \(t(b-a)\) 와 약분되기 때문이다.

MGF에서 평균과 분산 확인: \(M_X(t)\) 를 \(t\) 에 대해 미분하고 \(t = 0\) 에서 로피탈 법칙을 적용하면 \(E[X] = (a+b)/2\) 를 복원할 수 있다. 이는 MGF가 분포의 모든 적률 정보를 담고 있다는 일반 원리의 구체적 확인이다.

4 표준 균등 분포: \(\text{Uniform}(0, 1)\)

\(a = 0, b = 1\) 인 특수한 경우를 표준 균등 분포(Standard Uniform Distribution)라 한다. 확률과 통계에서 가장 자주 등장하는 분포 중 하나이다.

\[ f(x) = \begin{cases} 1 & \text{if } 0 \leq x \leq 1 \\ 0 & \text{otherwise} \end{cases} \]

\[ E[X] = \frac{1}{2}, \quad \text{Var}(X) = \frac{1}{12}, \quad F(x) = x \;\; (0 \leq x \leq 1) \]

표준 균등 분포의 CDF가 항등함수 \(F(x) = x\) 라는 사실은 확률적분변환의 핵심이 된다.

4.1 위치-척도 변환

임의의 \(\text{Uniform}(a, b)\) 는 \(\text{Uniform}(0, 1)\) 의 선형 변환으로 얻을 수 있다:

\[ U \sim \text{Uniform}(0, 1) \implies X = a + (b - a)U \sim \text{Uniform}(a, b) \]

역으로, \(X \sim \text{Uniform}(a, b)\) 이면 \(U = (X - a)/(b - a) \sim \text{Uniform}(0, 1)\) 이다. 이 변환은 균등 분포가 위치-척도족(location-scale family)에 속한다는 것을 보여준다.

5 확률적분변환 (Probability Integral Transform, PIT)

확률적분변환은 연속균등 분포를 통계학의 “허브(hub)”로 만드는 핵심 정리이다.

정리: 확률적분변환

\(X\) 가 CDF \(F_X\) 를 갖는 연속 확률변수이면:

\[ U = F_X(X) \sim \text{Uniform}(0, 1) \]

역으로, \(U \sim \text{Uniform}(0, 1)\) 이고 \(F_X\) 가 역함수 \(F_X^{-1}\) 을 가지면:

\[ X = F_X^{-1}(U) \sim F_X \]

5.1 왜 이것이 중요한가

PIT는 두 가지 방향으로 사용된다:

순방향 (검정 도구): 모형 적합도 검정에서, 데이터에 가정된 CDF를 적용하여 변환된 값이 \(\text{Uniform}(0, 1)\) 을 따르는지 확인한다. 따르지 않으면 가정된 분포가 부적절하다는 증거가 된다.

역방향 (난수 생성): 컴퓨터가 \(\text{Uniform}(0,1)\) 난수만 생성할 수 있어도, 역 CDF 변환을 통해 어떤 연속 분포든 시뮬레이션할 수 있다. 이것이 역 CDF 방법(Inverse CDF Method)이다.

5.2 증명

\(U = F_X(X)\) 의 CDF를 구한다. \(F_X\) 가 연속이고 순증가하므로:

\[ \begin{aligned} P(U \leq u) &= P(F_X(X) \leq u) \\ &= P(X \leq F_X^{-1}(u)) \\ &= F_X(F_X^{-1}(u)) \\ &= u, \quad 0 \leq u \leq 1 \end{aligned} \]

이는 \(\text{Uniform}(0, 1)\) 의 CDF이다. \(\square\)

직관: 왜 CDF를 적용하면 균등 분포가 되는가

핵심 아이디어는 “CDF는 확률을 확률로 매핑한다”는 것이다.

\(F_X(X)\) 는 \(X\) 보다 작을 확률이 어느 정도인지를 말해준다. \(X\) 가 작은 값이면 \(F_X(X)\) 도 작고, \(X\) 가 큰 값이면 \(F_X(X)\) 도 크다. 이 값이 \([0, 1]\) 사이에 균일하게 분포하는 이유는, \(X\) 가 어느 분위(percentile)에 있든 그 분위 아래에 정확히 그만큼의 확률 질량이 있기 때문이다.

직관적 비유: 시험 점수가 어떤 분포를 따르든, “내 점수가 상위 몇 퍼센트인가”라는 백분위 값은 항상 \([0,1]\) 에서 균등하게 분포한다. 백분위 값 0.7이 나올 확률과 0.3이 나올 확률이 같다 — 이것이 PIT의 본질이다.

반사실: 만약 \(F_X\) 가 불연속이거나 상수 구간이 있으면(이산 분포의 경우), \(F_X(X)\) 는 정확히 \(\text{Uniform}(0,1)\) 이 되지 않는다. PIT가 연속 분포에만 성립하는 이유가 여기에 있다.

5.3 예시: 지수 분포 난수 생성

지수 분포 \(\text{Exp}(\lambda)\) 의 CDF는 \(F(x) = 1 - e^{-\lambda x}\) 이다. 역함수는:

\[ F^{-1}(u) = -\frac{1}{\lambda} \ln(1 - u) \]

따라서 \(U \sim \text{Uniform}(0, 1)\) 에서 \(X = -\ln(1 - U)/\lambda\) 로 지수 분포 난수를 생성한다. \(1 - U\) 도 \(\text{Uniform}(0, 1)\) 을 따르므로, 실무에서는 \(X = -\ln(U)/\lambda\) 로 간소화하기도 한다.

6 순서통계량과 베타 분포의 연결

균등 분포의 순서통계량(order statistics)은 베타 분포와 아름다운 연결을 가진다.

정리: 균등 분포의 순서통계량

\(U_1, U_2, \ldots, U_n \overset{\text{iid}}{\sim} \text{Uniform}(0, 1)\) 일 때, \(k\) 번째 순서통계량 \(U_{(k)}\) 는:

\[ U_{(k)} \sim \text{Beta}(k, n - k + 1) \]

직관: 왜 균등 분포의 순서통계량이 베타 분포인가

\(U_{(k)} \sim \text{Beta}(k, n-k+1)\) 이 성립하는 이유를 직관적으로 이해해보자.

\(k\) 번째로 작은 값이 \(u\) 부근에 있으려면, 정확히 두 가지 조건이 동시에 충족되어야 한다: - \(n\) 개 중 \(k-1\) 개가 \(u\) 보다 작아야 한다 (베타 분포의 \(\alpha = k\) 항) - \(n\) 개 중 \(n-k\) 개가 \(u\) 보다 커야 한다 (베타 분포의 \(\beta = n-k+1\) 항)

베타 분포 PDF \(\propto u^{\alpha-1}(1-u)^{\beta-1}\) 에서 \(u^{k-1}\) 은 “\(k-1\) 개가 \(u\) 아래에 있을 확률”, \((1-u)^{n-k}\) 는 “\(n-k\) 개가 \(u\) 위에 있을 확률”에 대응한다. 이 두 확률의 곱이 바로 \(k\) 번째 순서통계량의 밀도 구조이다.

특수 케이스: 최솟값 \(U_{(1)} \sim \text{Beta}(1, n)\) 의 PDF는 \(n(1-u)^{n-1}\) 이다 — \(n\) 개 모두가 \(u\) 보다 클 확률 \((1-u)^n\) 을 미분한 형태로, “아무도 \(u\) 아래에 없어야 최솟값이 \(u\) 다”라는 조건을 반영한다.

6.1 왜 이 연결이 중요한가

비모수 신뢰구간: 순서통계량의 분포를 알면, 분포 가정 없이 분위수에 대한 신뢰구간을 구할 수 있다
분포 검정: Q-Q 플롯과 K-S 검정의 이론적 기반이 된다
간격 분포: 인접 순서통계량 사이의 간격(spacing) \(U_{(k)} - U_{(k-1)}\) 의 분포도 이 결과로부터 도출된다

6.2 최솟값과 최댓값의 분포

특수한 경우로:

\(U_{(1)} = \min(U_1, \ldots, U_n) \sim \text{Beta}(1, n)\): PDF는 \(f(u) = n(1-u)^{n-1}\)
\(U_{(n)} = \max(U_1, \ldots, U_n) \sim \text{Beta}(n, 1)\): PDF는 \(f(u) = nu^{n-1}\)

\(n\) 이 커질수록 최솟값은 0 쪽으로, 최댓값은 1 쪽으로 집중된다. 이 현상은 극값 이론(Extreme Value Theory)의 출발점이 된다.

6.3 간략 증명 (CDF 방법)

\(U_{(k)}\) 의 CDF를 구한다. \(U_{(k)} \leq u\) 이려면 \(n\) 개의 관측값 중 적어도 \(k\) 개가 \(u\) 이하여야 한다:

\[ P(U_{(k)} \leq u) = \sum_{j=k}^{n} \binom{n}{j} u^j (1-u)^{n-j} \]

이것은 불완전 베타 함수 \(I_u(k, n-k+1)\) 과 같다. 이를 미분하면 \(\text{Beta}(k, n-k+1)\) 의 PDF를 얻는다.

7 균등 분포의 무기억성 부재

지수 분포가 무기억성(memoryless property)을 갖는 반면, 균등 분포는 이 성질을 갖지 않는다. 이 차이는 두 분포의 근본적인 차이를 보여준다.

\(X \sim \text{Uniform}(0, b)\) 이고 \(X > s\) 라는 조건이 주어졌을 때:

\[ P(X > s + t \mid X > s) = \frac{P(X > s + t)}{P(X > s)} = \frac{b - s - t}{b - s} \]

이 값은 \(t/(b-s)\) 가 아닌 한 \(P(X > t)\) 와 다르다. 즉, \(X\) 가 이미 \(s\) 를 넘었다는 정보가 미래 확률에 영향을 준다. 직관적으로, 균등 분포에는 “유한한 끝점”이 있기 때문에, 이미 \(s\) 를 넘었다면 남은 구간 \([s, b]\) 에서 다시 균등해진다 — 원래의 \([0, b]\) 에서의 균등과는 다른 분포이다.

8 응용 분야

분야	활용	구체적 예시
시뮬레이션	난수 생성의 기초	역 CDF 방법으로 정규, 지수, 감마 등 모든 분포의 난수 생성
베이지안 통계	무정보 사전분포	\(\theta \sim \text{Uniform}(0, 1)\) 로 성공 확률의 사전 정보 부재를 표현
암호학	균등 키 생성	암호 키가 키 공간에서 균등하게 분포해야 보안이 유지됨
통계 검정	모형 적합도	PIT 기반 잔차 분석: 올바른 모형이면 변환된 잔차가 균등 분포를 따름
Monte Carlo	적분 근사	구간 \([a, b]\) 에서 균등 표본을 뽑아 \(\int_a^b g(x)\,dx \approx (b-a) \cdot \overline{g}\)
라운드 로빈	부하 분산	요청을 서버에 균등하게 배분하는 스케줄링
양자화 오차	신호 처리	A/D 변환기의 양자화 오차가 근사적으로 \(\text{Uniform}(-\Delta/2, \Delta/2)\)

9 코드 예시

9.1 Step 1: 순수 Python 구현 (원리 이해)

import math

# 연속균등 분포 Uniform(a, b) - 기본 성질 직접 계산
a, b = 2.0, 8.0

# PDF: 구간 내 상수
pdf_value = 1.0 / (b - a)
print(f"PDF (구간 내): {pdf_value:.4f}")

# 기대값과 분산
mean = (a + b) / 2
variance = (b - a) ** 2 / 12
std = math.sqrt(variance)
print(f"E[X] = {mean:.4f}")
print(f"Var(X) = {variance:.4f}")
print(f"SD(X) = {std:.4f}")

# CDF 구현
def uniform_cdf(x, a, b):
    if x < a:
        return 0.0
    elif x > b:
        return 1.0
    else:
        return (x - a) / (b - a)

# P(3 <= X <= 6) 계산
prob = uniform_cdf(6, a, b) - uniform_cdf(3, a, b)
print(f"P(3 <= X <= 6) = {prob:.4f}")  # (6-3)/(8-2) = 0.5

# 역 CDF 방법으로 난수 생성 (LCG 의사난수 사용)
def lcg(seed, n, m=2**31 - 1, a_lcg=1103515245, c=12345):
    """선형합동생성기 (Linear Congruential Generator)"""
    results = []
    x = seed
    for _ in range(n):
        x = (a_lcg * x + c) % m
        results.append(x / m)  # [0, 1)로 정규화
    return results

# Uniform(0,1)에서 Uniform(a,b)로 변환
u_samples = lcg(seed=42, n=10000)
x_samples = [a + (b - a) * u for u in u_samples]

# 표본 평균과 분산 확인
sample_mean = sum(x_samples) / len(x_samples)
sample_var = sum((x - sample_mean) ** 2 for x in x_samples) / (len(x_samples) - 1)
print(f"\n표본 평균: {sample_mean:.4f} (이론값: {mean:.4f})")
print(f"표본 분산: {sample_var:.4f} (이론값: {variance:.4f})")

9.2 Step 2: scipy/numpy 구현 (실무 활용)

import numpy as np
from scipy import stats

a, b = 2.0, 8.0

# scipy에서 균등 분포는 loc=a, scale=b-a로 매개변수화
dist = stats.uniform(loc=a, scale=b - a)

# 기본 성질
print(f"E[X] = {dist.mean():.4f}")
print(f"Var(X) = {dist.var():.4f}")
print(f"P(3 <= X <= 6) = {dist.cdf(6) - dist.cdf(3):.4f}")

# 난수 생성 및 시각화
np.random.seed(42)
samples = dist.rvs(size=10000)

print(f"\n표본 평균: {samples.mean():.4f}")
print(f"표본 분산: {samples.var(ddof=1):.4f}")

# 확률적분변환(PIT) 실습
import numpy as np
from scipy import stats

# 지수 분포에서 표본 생성
np.random.seed(42)
lam = 2.0
exp_samples = stats.expon(scale=1/lam).rvs(size=5000)

# PIT 적용: F(X) -> Uniform(0,1)
transformed = stats.expon(scale=1/lam).cdf(exp_samples)

# 변환된 값이 Uniform(0,1)을 따르는지 K-S 검정
ks_stat, p_value = stats.kstest(transformed, 'uniform')
print(f"K-S 검정: statistic = {ks_stat:.4f}, p-value = {p_value:.4f}")
# p-value가 크면 -> Uniform(0,1) 가설 기각 실패 -> PIT 성립 확인

# 역 CDF 방법: Uniform(0,1)에서 다양한 분포 생성
import numpy as np

np.random.seed(42)
n = 10000
u = np.random.uniform(0, 1, n)

# 지수 분포: F^{-1}(u) = -ln(1-u)/lambda
lam = 2.0
exp_samples = -np.log(1 - u) / lam
print(f"지수 분포 — 이론 평균: {1/lam:.4f}, 표본 평균: {exp_samples.mean():.4f}")

# 코시 분포: F^{-1}(u) = tan(pi*(u - 0.5))
cauchy_samples = np.tan(np.pi * (u - 0.5))
print(f"코시 분포 — 표본 중앙값: {np.median(cauchy_samples):.4f} (이론 중앙값: 0)")

# 삼각 분포: 역 CDF는 조각적 — 단순히 검증용
from scipy import stats
tri_via_inv = stats.triang(c=0.5, loc=0, scale=1).ppf(u)
print(f"삼각 분포 — 표본 평균: {tri_via_inv.mean():.4f} (이론 평균: 0.5)")

9.3 R 코드

# R에서의 균등 분포
a <- 2; b <- 8

# 기본 함수: dunif, punif, qunif, runif
cat("PDF at x=5:", dunif(5, min=a, max=b), "\n")
cat("P(3 <= X <= 6):", punif(6, a, b) - punif(3, a, b), "\n")
cat("0.75 분위수:", qunif(0.75, a, b), "\n")

# 난수 생성
set.seed(42)
samples <- runif(10000, min=a, max=b)
cat("표본 평균:", mean(samples), "(이론값:", (a+b)/2, ")\n")
cat("표본 분산:", var(samples), "(이론값:", (b-a)^2/12, ")\n")

# PIT 검증: 정규 분포 표본 -> Uniform(0,1)
set.seed(42)
norm_samples <- rnorm(5000, mean=3, sd=2)
pit_values <- pnorm(norm_samples, mean=3, sd=2)
ks.test(pit_values, "punif")  # p-value가 크면 PIT 성립

10 이산균등 분포와 연속균등 분포의 비교

성질	이산균등 \(\text{Uniform}(1, N)\)	연속균등 \(\text{Uniform}(a, b)\)
표본공간	\(\{1, 2, \ldots, N\}\) (유한)	\([a, b]\) (비가산 무한)
PMF/PDF	\(1/N\)	\(1/(b-a)\)
기대값	\((N+1)/2\)	\((a+b)/2\)
분산	\((N^2-1)/12\)	\((b-a)^2/12\)
구간 확률	해당 정수의 개수 \(\times 1/N\)	구간 길이 \(\times 1/(b-a)\)
특정 값의 확률	\(1/N > 0\)	\(P(X = x) = 0\) 항상
대표 응용	주사위, 로또, 해시 함수	난수 생성, PIT, 사전분포

핵심 차이: 이산 버전에서는 특정 값의 확률이 양수이지만, 연속 버전에서는 임의의 한 점의 확률이 항상 0이다. 연속 분포에서 확률은 오직 구간에 대해서만 의미를 갖는다.

11 지수족과의 관계

균등 분포는 일반적으로 지수족(exponential family)에 속하지 않는다. 지수족은 PDF를 다음과 같이 표현할 것을 요구한다:

\[ f(x \mid \theta) = h(x) \cdot c(\theta) \cdot \exp\left(\sum_{i=1}^k \eta_i(\theta) T_i(x)\right) \]

균등 분포 \(\text{Uniform}(0, \theta)\) 의 PDF는:

\[ f(x \mid \theta) = \frac{1}{\theta} \cdot \mathbf{1}_{[0, \theta]}(x) \]

지시함수 \(\mathbf{1}_{[0, \theta]}(x)\) 가 \(x\) 와 \(\theta\) 를 분리 불가능한 형태로 결합하기 때문에 지수족의 형태로 쓸 수 없다. 이 사실은 \(\text{Uniform}(0, \theta)\) 에서의 추정 문제가 지수족 도구(완비충분통계량, 래오-블랙웰 정리 등)를 직접 적용하기 어렵게 만든다.

직관: 왜 지시함수가 지수족을 방해하는가

지수족의 핵심 요건은 “모수 \(\theta\) 와 데이터 \(x\) 를 분리할 수 있어야 한다”는 것이다. 예를 들어 정규 분포 PDF는 \(e^{-\mu^2/(2\sigma^2)} \cdot e^{\mu x/\sigma^2} \cdot e^{-x^2/(2\sigma^2)}\) 형태로 \(\theta\)-의존 부분과 \(x\)-의존 부분으로 분리된다.

그런데 \(\text{Uniform}(0, \theta)\) 의 지시함수 \(\mathbf{1}_{[0,\theta]}(x)\) 는 “\(x\) 가 \(\theta\) 이하인가”를 묻는다. 이 조건은 \(x\) 와 \(\theta\) 를 동시에 알아야 판단할 수 있으므로 분리가 불가능하다. 구간의 “끝점이 모수인” 분포는 모두 이 문제를 가진다.

실용적 의미: 이 분리 불가능성 때문에 MLE인 \(\hat{\theta} = X_{(n)}\) 는 편향 추정량이 되고, 통상적인 점근 이론(정보 등식, 피셔 정보 등)도 그대로 적용되지 않는다.

실무적 함의

\(\text{Uniform}(0, \theta)\) 에서 \(\theta\) 의 MLE는 \(\hat{\theta}_{MLE} = X_{(n)} = \max(X_1, \ldots, X_n)\) 이다. 그러나 이 MLE는 편향(biased) 추정량이다: \(E[\hat{\theta}_{MLE}] = n\theta/(n+1) < \theta\) . 비편향 수정은 \(\hat{\theta}_{UB} = (n+1)X_{(n)}/n\) 이다. 이 비정규적 행동은 균등 분포가 지수족에 속하지 않기 때문에 발생하는 현상의 한 예이다.

12 관련 주제

선행 지식

후속 주제

정규 분포 — 연속 분포의 핵심, CLT
지수 분포와 감마 분포 — 대기 시간, 무기억성
베타 분포 — 순서통계량, 베이지안 사전분포

관련 개념