초기하분포족 — 중심, 비중심, 다변량 확장과 조건부 추론

Central·Non-central·Multivariate Hypergeometric Distributions (McCullagh & Nelder §7.3)

조건부 우도의 핵심 도구인 초기하분포족을 체계적으로 다룬다. 중심 초기하분포의 유한 모집단 추출 해석과 이항 조건부화 해석, 비중심 초기하분포의 지수 가중 구조와 오즈비 모수화, 다변량 확장과 그 근사 공식, \(2 \times 2\) 표에서의 조건부 추론 응용까지 수식과 직관을 병행하여 전개한다.

Statistics
GLM
Math
저자

Kwangmin Kim

공개

2026년 04월 18일

1 개요

Ch.7 전체 개관에서 장해 모수(nuisance parameter)를 제거하는 네 가지 축약 우도 기법을 살펴보았다. 그 중 조건부 우도(conditional likelihood) 를 실제로 사용하려면, 충분통계량에 조건을 건 뒤의 조건부 분포를 알아야 한다. 이항 데이터에서 그 조건부 분포가 바로 초기하분포(hypergeometric distribution) 이다 (McCullagh & Nelder, 1989, Ch.7).

이 포스트에서 다루는 네 가지 분포는 다음과 같다.

분포 기호 핵심 특징
중심 초기하 \(H(\mathbf{m}, \mathbf{s})\) 오즈비 \(\psi = 1\), 동일 확률
비중심 초기하 \(H(\mathbf{m}, \mathbf{s}; \psi)\) 오즈비 \(\psi \neq 1\), 지수 가중
다변량 중심 초기하 \(H(\mathbf{m}, \mathbf{s})\) (\(k\) 범주) \(k\) 범주 유한 모집단 추출
다변량 비중심 초기하 \(H(\mathbf{m}, \mathbf{s}; \boldsymbol{\psi})\) \(k-1\) 개 오즈비 벡터

이 네 분포는 독립적으로 존재하는 것이 아니라, 하나의 통합된 계보를 이룬다. 중심 초기하는 비중심의 \(\psi = 1\) 특수 사례이고, 일변량은 다변량의 \(k = 2\) 특수 사례이다.

기존 초기하분포 포스트와의 관계: 초기하 분포 (Hypergeometric Distribution)에서는 Casella & Berger Ch.3 기반으로 PMF, 평균, 분산, 이항 근사, 피셔 정확검정을 다루었다. 이 포스트에서는 McCullagh & Nelder Ch.7.3의 관점 — 즉 조건부 우도의 도구로서의 초기하분포, 비중심 확장, 다변량 확장, 큐뮬런트 구조 — 에 집중한다.

2 중심 초기하분포 (Central Hypergeometric Distribution)

2.1 설정

모집단 크기가 \(m_\cdot\) 이다. 이 중 \(s_1\) 명이 속성 \(A\) 를 가지고, \(s_2 = m_\cdot - s_1\) 명이 가지지 않는다. 이 모집단에서 크기 \(m_1\) 의 단순 무작위 표본(simple random sample)을 추출한다. 비추출 부분은 \(m_2 = m_\cdot - m_1\) 명이다.

이를 \(2 \times 2\) 표로 정리하면:

속성 \(A\) 속성 \(\bar{A}\) 합계
표본 \(Y \equiv Y_{11}\) \(m_1 - Y \equiv Y_{12}\) \(m_1\)
비표본 \(Y_{21}\) \(Y_{22}\) \(m_2\)
합계 \(s_1\) \(s_2\) \(m_\cdot\)

2.2 PMF

정의: 중심 초기하분포

주변 합계 \(\mathbf{m} = (m_1, m_2)\) 와 \(\mathbf{s} = (s_1, s_2)\) 가 주어졌을 때, 표본 내 속성 \(A\) 의 수 \(Y\) 의 분포는:

\[ \Pr(Y = y \mid \mathbf{m}, \mathbf{s}) = \frac{\binom{m_1}{y}\binom{m_2}{s_1 - y}}{\binom{m_\cdot}{s_1}} = \frac{\binom{s_1}{y}\binom{s_2}{m_1 - y}}{\binom{m_\cdot}{m_1}} \]

\(Y \sim H(\mathbf{m}, \mathbf{s})\) 로 표기한다 (McCullagh & Nelder, 1989, Ch.7).

직관 — 왜 이 식이 “초기하” 인가. 흰 공 \(s_1\) 개와 검은 공 \(s_2\) 개가 섞인 항아리에서 \(m_1\) 개를 비복원 으로 꺼낼 때 흰 공의 개수가 따르는 분포다. 분자 \(\binom{m_1}{y}\binom{m_2}{s_1-y}\) 는 “표본 \(m_1\) 명 중 \(y\) 명이 \(A\) 인 조합 수 × 나머지 \(m_2\) 명 중 \(s_1 - y\) 명이 \(A\) 인 조합 수”, 분모 \(\binom{m_\cdot}{s_1}\) 은 “\(A\) 를 \(s_1\) 개 뽑는 전체 경우” — 즉 유리한 경우 / 전체 경우. 이항분포가 복원 추출(Bernoulli 반복)에 해당하는 것과 대비된다. 비복원이라는 한 가지 차이가 시행 간에 음의 상관 을 만들고 (뽑을수록 남은 흰 공 비율이 바뀜), 이 상관이 평균은 유지하되 분산을 축소시키는 유한 모집단 효과로 나타난다.

\(y\) 의 범위는 다음과 같다:

\[ a = \max(0,\, s_1 - m_2) \leq y \leq \min(m_1, s_1) = b \]

표본 공간의 크기는 \(\min(m_1, m_2, s_1, s_2) + 1\) 이다. 네 주변 합계 중 하나가 0이면 분포가 퇴화(degenerate)한다 — 모든 질량이 한 점에 집중된다.

PMF의 두 번째 등식이 의미하는 것: 첫 번째 형태 \(\binom{m_1}{y}\binom{m_2}{s_1-y}/\binom{m_\cdot}{s_1}\) 는 “표본 \(m_1\) 명 중에서 \(y\) 명이 \(A\), 비표본 \(m_2\) 명 중에서 \(s_1 - y\) 명이 \(A\)”로 읽는다. 두 번째 형태 \(\binom{s_1}{y}\binom{s_2}{m_1-y}/\binom{m_\cdot}{m_1}\) 는 행과 열의 역할을 바꾼 것이다 — “\(A\) 그룹 \(s_1\) 명 중에서 \(y\) 명이 표본, \(\bar{A}\) 그룹 \(s_2\) 명 중에서 \(m_1 - y\) 명이 표본.” 이 대칭성은 초기하분포의 핵심 성질이다.

2.3 두 가지 유도

McCullagh & Nelder (1989)는 두 가지 유도를 제시한다. 이 두 경로가 같은 분포에 도달한다는 사실이 초기하분포의 핵심적 중요성을 보여준다.

유도 1: 유한 모집단 추출

크기 \(m_\cdot\) 의 유한 모집단에서 크기 \(m_1\) 의 단순 무작위 표본을 비복원 추출한다. 모든 \(\binom{m_\cdot}{m_1}\) 가지 부분집합이 동등한 확률을 가진다. 속성 \(A\) 를 가진 개체의 수가 초기하분포를 따른다.

직관적으로, 이것은 “항아리에서 공을 꺼내는” 고전적 모형이다. 복원하지 않으므로 시행 간 의존성이 존재한다.

유도 2: 이항 조건부화

\(Y_1 \sim B(m_1, \pi)\) 와 \(Y_2 \sim B(m_2, \pi)\) 가 같은 확률 \(\pi\) 를 가진 독립 이항 확률변수라 하자. \(Y_1 + Y_2 = s_1\) 에 조건을 걸면, \(Y_1\) 의 조건부 분포가 정확히 식 위의 중심 초기하분포이다.

이 유도가 통계적으로 더 중요하다. 두 그룹이 동일한 성공 확률 \(\pi\) 를 가진다는 귀무가설 \(H_0: \pi_1 = \pi_2\) 하에서, 총 성공 수에 조건을 걸면 공통 확률 \(\pi\) (장해 모수)가 소거된다. 이것이 Fisher의 정확검정(Fisher’s exact test) 의 원리이다 — 귀무가설이 참일 때 검정 통계량의 정확한 분포를 초기하분포로부터 얻는다.

2.4 큐뮬런트(Cumulants)

하강 계승 적률(descending factorial moments)로부터 큐뮬런트를 유도할 수 있다 (McCullagh & Nelder, 1989, Ch.7):

\[ \mu_{[r]} = E\{Y^{(r)}\} = \frac{m_1^{(r)} s_1^{(r)}}{m_\cdot^{(r)}} \]

여기서 \(Y^{(r)} = Y(Y-1)\cdots(Y-r+1)\) 은 하강 계승이고, \(m_1^{(r)} = m_1(m_1-1)\cdots(m_1-r+1)\) 이다. 이 계승 적률은 놀랍도록 깔끔한 형태를 가진다 — 분자는 두 주변 합계의 계승곱, 분모는 총 합계의 계승이다.

표본 비율 \(\tau = m_1/m_\cdot\) 와 속성 비율 \(\tilde{\pi} = s_1/m_\cdot\) 를 정의하면, 처음 네 큐뮬런트는:

\[ \begin{aligned} E(Y) &= m_1 \cdot \frac{s_1}{m_\cdot} = m_1 \tilde{\pi} \\ \text{var}(Y) &= K_2 \cdot \lambda_2 = \frac{s_1 s_2}{m_\cdot^{(2)}} \cdot \frac{m_1 m_2}{m_\cdot} \end{aligned} \]

여기서 McCullagh의 표기법을 따르면, \(K_r\) 은 모집단의 \(k\)-통계량(population \(k\)-statistics)이고 \(\lambda_r\) 은 표본 비율 \(\tau\) 에 대응하는 이항 큐뮬런트이다.

직관: 평균 \(E[Y] = m_1 s_1 / m_\cdot\)

이 식은 “표본 크기 \(\times\) 모집단 내 속성 비율”이다. 100명 중 30명이 속성 \(A\) 를 가지고 20명을 뽑으면, 기대되는 \(A\) 의 수는 \(20 \times 30/100 = 6\) 이다. 비복원 추출이든 복원 추출이든 평균은 같다 — 차이는 분산에서 나타난다.

직관: 분산과 유한 모집단 교정

분산을 이항 분산과 비교하면:

\[ \text{var}_{\text{hyp}}(Y) = \underbrace{m_1 \tilde{\pi}(1-\tilde{\pi})}_{\text{이항 분산}} \times \underbrace{\frac{m_\cdot - m_1}{m_\cdot - 1}}_{\text{FPC}} \]

유한 모집단 교정인자(Finite Population Correction, FPC)는 항상 1 이하이다. 비복원 추출에서는 이미 뽑은 개체가 남은 모집단의 구성을 변화시키므로, 시행 간 음의 상관이 발생하여 분산이 줄어든다. 모집단이 매우 크면 (\(m_\cdot \to \infty\)) FPC \(\to 1\) 이 되어 이항 분산에 수렴한다.

2.5 대칭성

3차 큐뮬런트 \(\kappa_3 = K_3 \lambda_3\) 에서 \(K_3 = s_1 s_2(s_2 - s_1)/m_\cdot^{(3)}\) 이고 \(\lambda_3 = m_1 m_2(m_2 - m_1)/m_\cdot^2\) 이다. \(\kappa_3 = 0\) 이 되려면 \(K_3 = 0\) 또는 \(\lambda_3 = 0\) 이면 된다. 즉:

  • \(s_1 = s_2\) (속성 비율이 50:50) 이거나
  • \(m_1 = m_2\) (표본 비율이 50:50)

이면 분포가 좌우 대칭이 된다. 사실 이 조건 하에서 모든 홀수 차 큐뮬런트가 0이 되어 분포 전체가 대칭이다 (McCullagh & Nelder, 1989, Ch.7).

3 비중심 초기하분포 (Non-central Hypergeometric Distribution)

3.1 정의

비중심 초기하분포는 중심 초기하분포에 지수 가중(exponential weighting) 을 적용한 것이다.

정의: 비중심 초기하분포

오즈비 \(\psi\) 를 가진 비중심 초기하분포의 PMF는:

\[ \Pr(Y = y; \psi) = \frac{\binom{m_1}{y}\binom{m_2}{s_1 - y}\psi^y}{P_0(\psi)} \]

여기서 정규화 상수 \(P_0(\psi)\) 는 다항식이다:

\[ P_0(\psi) = \sum_{j=a}^{b} \binom{m_1}{j}\binom{m_2}{s_1 - j}\psi^j \]

\(Y \sim H(\mathbf{m}, \mathbf{s}; \psi)\) 로 표기한다 (McCullagh & Nelder, 1989, Ch.7).

핵심 관찰: \(\psi = 1\) 이면 \(P_0(1) = \binom{m_\cdot}{s_1}\) 이 되어 중심 초기하분포 \(H(\mathbf{m}, \mathbf{s})\) 와 정확히 일치한다. 즉 비중심 초기하분포는 중심 초기하분포의 일반화이다.

3.2 직관: 지수 가중이란 무엇인가

중심 초기하분포에서는 \(\binom{m_\cdot}{m_1}\) 가지 가능한 표본이 모두 동등한 확률을 가진다. 비중심 초기하분포에서는 속성 \(A\) 를 \(y\) 개 포함하는 표본에 \(\psi^y\) 만큼의 가중치를 부여한다.

  • \(\psi > 1\): 속성 \(A\) 를 많이 포함하는 표본이 더 높은 확률을 받는다
  • \(\psi < 1\): 속성 \(A\) 를 적게 포함하는 표본이 더 높은 확률을 받는다
  • \(\psi = 1\): 가중치 없음 (중심 초기하분포)

이것은 통계 역학에서 볼츠만 분포가 에너지 수준에 \(e^{-\beta E}\) 가중치를 부여하는 것과 동일한 구조이다. 이런 이유로 McCullagh는 이를 “지수 가중 추출(exponentially weighted sampling)”이라 부른다.

3.3 이항 조건부화 유도

비중심 초기하분포는 다음과 같이도 유도된다. \(Y_1 \sim B(m_1, \pi_1)\) 과 \(Y_2 \sim B(m_2, \pi_2)\) 가 다른 확률 \(\pi_1 \neq \pi_2\) 를 가진 독립 이항 확률변수이고, 오즈비가:

\[ \psi = \frac{\pi_1(1-\pi_2)}{\pi_2(1-\pi_1)} \]

이면, \(Y_1 + Y_2 = s_1\) 에 조건을 건 \(Y_1\) 의 조건부 분포가 비중심 초기하 \(H(\mathbf{m}, \mathbf{s}; \psi)\) 이다.

이것이 조건부 우도의 핵심이다: 두 그룹의 성공 확률이 다를 때, 총 성공 수(장해 모수 \(\lambda\) 에 대한 충분통계량)에 조건을 걸면, 조건부 분포는 오직 오즈비 \(\psi\) 에만 의존한다. 개별 확률 \(\pi_1, \pi_2\) (장해 모수)가 완전히 소거된다.

3.4 지수족 구조

조건부 로그 우도는 다음과 같다:

\[ \ell_C(\psi) = y \log \psi - \log P_0(\psi) \]

정준 모수(canonical parameter)를 \(\theta = \log \psi\) 로 놓으면:

\[ \ell_C(\theta) = y\theta - \log P_0(e^\theta) \]

이것은 큐뮬런트 함수 \(K(\theta) = \log P_0(e^\theta)\) 를 가진 표준적 지수족 형태이다. 지수족이므로 다음이 성립한다:

  • 평균: \(E(Y; \theta) = K'(\theta) = P_1(\psi)/P_0(\psi)\)
  • 분산: \(\text{var}(Y; \theta) = K''(\theta) = P_2(\psi)/P_0(\psi) - \{P_1(\psi)/P_0(\psi)\}^2\)

여기서 \(P_r(\psi) = \sum_{j=a}^{b} j^r \psi^j \binom{m_1}{j}\binom{m_2}{s_1-j}\) 이다 (McCullagh & Nelder, 1989, Ch.7).

직관: 왜 지수족 구조가 중요한가: 지수족의 큐뮬런트 함수로부터 평균과 분산이 자동으로 유도된다. 조건부 MLE도 지수족의 표준 방정식 \(E(Y; \hat{\theta}) = y_{\text{obs}}\) 를 풀면 된다. 즉, 관측된 \(y\) 와 기대값이 일치하는 \(\theta\) 를 찾는다.

3.5 평균과 분산의 근사

\(P_r(\psi)\) 의 직접 계산은 합산 범위 \(b - a\) 가 클 때 번거롭다. McCullagh & Nelder (1989)는 다음 두 관계식의 연립 풀이를 제안한다.

정확한 관계식: \(2 \times 2\) 표의 기대 빈도 \(\mu_{ij}\) 와 조건부 분산 \(\kappa_2\) 사이에:

\[ \mu_{11}(m_2 - s_1 + \mu_{11}) + \kappa_2 = \psi\{(s_1 - \mu_{11})(m_1 - \mu_{11}) + \kappa_2\} \]

여기서 \(\mu_{11} = E(Y_{11}; \theta) = \kappa_1\) 이다.

근사 관계식: 점근적으로 정확하고, \(m_\cdot = 2\) 및 \(\psi = 1\) 에서 정확한:

\[ \kappa_2 \approx \frac{m_\cdot}{m_\cdot - 1}\left(\frac{1}{\mu_{11}} + \frac{1}{\mu_{12}} + \frac{1}{\mu_{21}} + \frac{1}{\mu_{22}}\right)^{-1} \]

이 식은 조화평균(harmonic mean) 형태이다. 네 셀의 기대 빈도가 모두 커야 분산이 커진다 — 하나의 셀이라도 작으면 분산이 급격히 줄어든다. 이는 \(2 \times 2\) 표에서 “0에 가까운 셀이 있으면 정보가 적다”는 직관과 일치한다.

Breslow & Cologne (1986)에 의하면 이 두 식의 연립 풀이는 \(|\theta| < 2\) 이거나 주변 합계가 클 때 매우 정확하다 (McCullagh & Nelder, 1989, Ch.7).

4 다변량 초기하분포 (Multivariate Hypergeometric Distribution)

4.1 중심 다변량 초기하

속성이 \(k\) 개 범주를 가질 때로 확장한다. \(Y_1 \sim M(m_1, \boldsymbol{\pi})\) 와 \(Y_2 \sim M(m_2, \boldsymbol{\pi})\) 가 같은 확률 벡터 \(\boldsymbol{\pi}\) 를 가진 독립 다항 확률변수일 때, \(\mathbf{Y}_1 + \mathbf{Y}_2 = \mathbf{s}\) 에 조건을 걸면:

정의: 다변량 중심 초기하분포

\[ \Pr(\mathbf{Y} = \mathbf{y} \mid \mathbf{s}) = \frac{\binom{s_1}{y_1}\binom{s_2}{y_2}\cdots\binom{s_k}{y_k}}{\binom{m_\cdot}{m_1}} \]

여기서 \(\sum_{j=1}^k y_j = m_1\) 이다.

핵심 성질: 조건부 분포가 다항 확률 벡터 \(\boldsymbol{\pi}\) 에 의존하지 않는다. 이것은 장해 모수 소거의 다변량 버전이다.

직관적으로, 유한 모집단에서 단순 무작위 추출하면 표본 내 범주별 빈도는 모집단 구성 비율 \(\boldsymbol{\pi}\) 와 무관하게 결정된다 — 모집단의 실제 범주별 수 \(s_1, \ldots, s_k\) 와 표본 크기 \(m_1\) 에만 의존한다. 호수에서 물고기를 무작위로 잡을 때, 종별 마릿수(coho \(s_1\) 마리, chinook \(s_2\) 마리, …)가 알려져 있으면, 표본 \(m_1\) 마리의 종 구성은 확정적으로 계산된다 (McCullagh & Nelder, 1989, Ch.7).

행-열 교환 대칭: 일변량의 경우와 마찬가지로, 행(표본/비표본)과 열(범주)의 역할을 교환할 수 있다. \(Y_1 \sim B(s_1, \tau), \ldots, Y_k \sim B(s_k, \tau)\) 가 독립이고 \(Y_\cdot = m_1\) 에 조건을 걸어도 같은 분포를 얻는다. 첫 번째 유도에서 조건부화는 차원을 \(2(k-1)\) 에서 \(k-1\) 로 줄이면서 \(k-1\) 개 모수 \(\boldsymbol{\pi}\) 를 소거한다. 두 번째 유도에서는 차원을 \(k\) 에서 \(k-1\) 로 줄이면서 단일 모수 \(\tau\) 를 소거한다.

4.2 평균과 공분산

\[ \begin{aligned} E(Y_j) &= \tilde{\pi}_j m_1 \\ \text{var}(Y_j) &= \tilde{\pi}_j(1 - \tilde{\pi}_j) \frac{m_1 m_2}{m_\cdot - 1} \\ \text{cov}(Y_i, Y_j) &= -\tilde{\pi}_i \tilde{\pi}_j \frac{m_1 m_2}{m_\cdot - 1} \end{aligned} \]

여기서 \(\tilde{\pi}_j = s_j / m_\cdot\) 는 모집단 내 범주 \(j\) 의 비율이다 (McCullagh & Nelder, 1989, Ch.7).

직관: 음의 공분산: \(\text{cov}(Y_i, Y_j) < 0\) 이다. 표본 크기 \(m_1\) 이 고정되어 있으므로, 한 범주에서 많이 뽑으면 다른 범주에서 적게 뽑게 된다. 이것은 다항 분포의 음의 공분산과 동일한 구조이며, 유한 모집단 추출에서는 \(m_1 m_2/(m_\cdot - 1)\) 인자가 추가로 곱해진다.

4.3 비중심 다변량 초기하

\(\mathbf{Y}_1 \sim M(m_1, \boldsymbol{\pi}_1)\) 과 \(\mathbf{Y}_2 \sim M(m_2, \boldsymbol{\pi}_2)\) 가 다른 확률 벡터를 가진 독립 다항 확률변수일 때, \(\mathbf{Y}_1 + \mathbf{Y}_2 = \mathbf{s}\) 에 조건을 걸면:

\[ \Pr(\mathbf{Y} = \mathbf{y} \mid \mathbf{s}, \boldsymbol{\psi}) = \frac{\binom{m_1}{\mathbf{y}}\binom{m_2}{\mathbf{s} - \mathbf{y}}\psi_1^{y_1}\cdots\psi_k^{y_k}}{\sum_{\mathbf{j}}\binom{m_1}{\mathbf{j}}\binom{m_2}{\mathbf{s} - \mathbf{j}}\psi_1^{j_1}\cdots\psi_k^{j_k}} \]

오즈비 모수는 범주 \(k\) 를 기준으로 정의된다:

\[ \psi_j = \frac{\pi_{1j}\pi_{2k}}{\pi_{2j}\pi_{1k}}, \quad \psi_k \equiv 1 \]

분모의 합산은 \(0 \leq y_j \leq s_j\) 이고 \(\sum y_j = m_1\) 인 모든 비음정수 벡터 \(\mathbf{y}\) 에 대해 수행된다 (McCullagh & Nelder, 1989, Ch.7).

근사 공분산 행렬: \(\zeta_j = \mu_{1j}\mu_{2j}/(\mu_{1j} + \mu_{2j})\) 를 정의하면 (조화평균 형태):

\[ \tilde{\boldsymbol{\Sigma}} = \frac{m_\cdot}{m_\cdot - 1}\left\{\text{diag}(\boldsymbol{\zeta}) - \boldsymbol{\zeta}\boldsymbol{\zeta}^T / \zeta_\cdot\right\} \]

이 행렬은 계수(rank)가 \(k - 1\) 이다 (McCullagh & Nelder, 1989, Ch.7). 정확한 관계식 (7.15)와 이 근사 공분산 행렬의 연립 풀이로 조건부 평균과 공분산을 \(\boldsymbol{\psi}\) 의 함수로 얻는다.

5 \(2 \times 2\) 표에서의 응용: 두 이항 확률 비교

5.1 문제 설정

임상시험에서 처치군과 대조군의 반응을 비교한다. 로짓 모수화:

\[ \text{logit}\,\pi_1 = \lambda + \Delta, \quad \text{logit}\,\pi_2 = \lambda \]

여기서 \(\Delta = \log \psi\) 는 로그 오즈비(관심 모수), \(\lambda\) 는 대조군의 로그 오즈(장해 모수)이다.

다기관 임상시험(multi-centre trial)에서 \(\lambda\) 는 센터마다 다를 수 있지만, \(\Delta\) 는 모든 센터에서 일정하다고 가정한다. 이때 센터별 \(\lambda\) 가 장해 모수가 되며, 센터 수가 증가하면 Neyman-Scott 문제가 발생한다 (McCullagh & Nelder, 1989, Ch.7).

5.2 조건부 접근 vs 비조건부 접근

비조건부 접근: 전체 우도를 \((\Delta, \lambda)\) 에 대해 동시에 최대화한다. McCullagh의 예시(Table 7.1: 처치군 3명 중 2명 성공, 대조군 4명 중 1명 성공)에서:

\[ \hat{\Delta}_u = \log\frac{2 \times 3}{1 \times 1} = 1.792, \quad \text{s.e.}(\hat{\Delta}_u) \approx 1.683 \]

조건부 접근: 총 성공 수 \(Y_\cdot = 3\) 에 조건을 걸어 장해 모수 \(\lambda\) 를 소거한다. 초기하 로그 우도:

\[ \ell_C(\Delta) = y_1 \Delta - \log P_0(e^\Delta) \]

이 예시에서 \(P_0(\psi) = 4 + 18\psi + 12\psi^2 + \psi^3\) 이다. 조건부 MLE:

\[ \hat{\Delta}_c = 1.493, \quad \text{s.e.}(\hat{\Delta}_c) \approx 1.492 \]

비교: 조건부 추정값 \(|\hat{\Delta}_c| = 1.493\) 은 비조건부 추정값 \(|\hat{\Delta}_u| = 1.792\) 보다 항상 작거나 같다 (\(|\hat{\Delta}_c| \leq |\hat{\Delta}_u|\)). 등호는 \(\Delta = 0\) 에서만 성립한다. 이것은 조건부 추론이 장해 모수의 추정 불확실성을 반영하여 더 보수적인 추정을 제공함을 의미한다.

조건부 이탈도(conditional deviance)는 프로파일 이탈도(profile deviance)보다 항상 넓은 신뢰구간을 준다 — 장해 모수의 불확실성을 정직하게 반영하기 때문이다. 소표본에서 이 차이가 특히 두드러진다.

6 왜 필요한가 — 조건부 우도에서의 역할

초기하분포족이 중요한 이유는 단순히 “유한 모집단 추출”을 모형화하기 때문이 아니다. 진정한 중요성은 조건부 우도의 참조 분포(reference distribution) 역할에 있다.

상황 장해 모수 조건부 분포 응용
\(2 \times 2\) 표, \(\psi = 1\) 공통 확률 \(\pi\) 중심 초기하 Fisher의 정확검정
\(2 \times 2\) 표, \(\psi \neq 1\) 대조군 오즈 \(\lambda\) 비중심 초기하 오즈비의 조건부 MLE, 정확 신뢰구간
\(2 \times k\) 표 범주별 공통 확률 다변량 중심 초기하 동질성 검정
\(2 \times k\) 표, 그룹 차이 범주별 기저 확률 다변량 비중심 초기하 조건부 로지스틱 회귀
매칭 쌍 쌍별 절편 (비중심) 초기하 McNemar 검정의 정확 버전
층화 \(2 \times 2\) 표 층별 기저율 독립 초기하의 곱 Mantel-Haenszel 추정
Cox 비례위험 모형 기저 위험함수 초기하 유사 구조 부분 우도(partial likelihood)

이 표에서 볼 수 있듯이, 거의 모든 조건부 추론 문제에서 초기하분포가 등장한다. 이것은 이항/다항 데이터의 충분통계량에 조건을 거는 순간 자연스럽게 발생하는 구조이다.

7 코드 예시

7.1 Step 1: 순수 Python 구현 (원리 이해)

비중심 초기하분포의 PMF와 조건부 로그 우도를 직접 구현한다.

코드 
import math
import numpy as np

def log_binom(n, k):
    """로그 이항계수"""
    if k < 0 or k > n:
        return -float('inf')
    return math.lgamma(n + 1) - math.lgamma(k + 1) - math.lgamma(n - k + 1)

def noncentral_hypergeometric_pmf(y, m1, m2, s1, psi):
    """
    비중심 초기하분포 PMF: P(Y=y; psi)
    m1, m2: 행 합계 (표본/비표본)
    s1: 열 합계 (속성 A)
    psi: 오즈비
    """
    s2 = m1 + m2 - s1
    a = max(0, s1 - m2)
    b = min(m1, s1)

    # 로그 스케일로 모든 항 계산
    log_terms = []
    for j in range(a, b + 1):
        log_t = log_binom(m1, j) + log_binom(m2, s1 - j) + j * math.log(psi)
        log_terms.append(log_t)

    # log-sum-exp로 P_0(psi) 계산
    max_log = max(log_terms)
    log_P0 = max_log + math.log(sum(math.exp(t - max_log) for t in log_terms))

    # 분자의 로그
    log_num = log_binom(m1, y) + log_binom(m2, s1 - y) + y * math.log(psi)

    return math.exp(log_num - log_P0)

def conditional_log_likelihood(y_obs, m1, m2, s1, psi):
    """조건부 로그 우도: y*log(psi) - log P_0(psi)"""
    s2 = m1 + m2 - s1
    a = max(0, s1 - m2)
    b = min(m1, s1)

    log_terms = []
    for j in range(a, b + 1):
        log_t = log_binom(m1, j) + log_binom(m2, s1 - j) + j * math.log(psi)
        log_terms.append(log_t)
    max_log = max(log_terms)
    log_P0 = max_log + math.log(sum(math.exp(t - max_log) for t in log_terms))

    return y_obs * math.log(psi) - log_P0

# === McCullagh Table 7.1 재현 ===
# 처치군: 3명 중 2명 성공, 대조군: 4명 중 1명 성공
m1, m2 = 3, 4  # 처치/대조 크기
y_obs = 2       # 처치군 성공 수
s1 = 3          # 총 성공 수

print("=== McCullagh Table 7.1 ===")
print(f"처치군: {y_obs}/{m1} 성공, 대조군: {s1-y_obs}/{m2} 성공")
print(f"총 성공: {s1}/{m1+m2}\n")

# P_0(psi) 다항식 계수 확인
a = max(0, s1 - m2)
b = min(m1, s1)
print("P_0(psi) 다항식 계수:")
for j in range(a, b + 1):
    coeff = math.comb(m1, j) * math.comb(m2, s1 - j)
    print(f"  psi^{j}: {coeff}")
# 예상: 4 + 18*psi + 12*psi^2 + psi^3

# 조건부 MLE 탐색 (그리드 서치)
psi_grid = np.linspace(0.1, 50.0, 5000)
cll = [conditional_log_likelihood(y_obs, m1, m2, s1, psi) for psi in psi_grid]
psi_mle = psi_grid[np.argmax(cll)]
delta_mle_c = math.log(psi_mle)

# 비조건부 MLE (표본 오즈비)
delta_mle_u = math.log((y_obs * (m2 - (s1 - y_obs))) /
                        ((s1 - y_obs) * (m1 - y_obs)))

print(f"\n비조건부 MLE: Delta_u = {delta_mle_u:.3f}  (psi = {math.exp(delta_mle_u):.3f})")
print(f"조건부 MLE:   Delta_c = {delta_mle_c:.3f}  (psi = {psi_mle:.3f})")
print(f"|Delta_c| <= |Delta_u|: {abs(delta_mle_c) <= abs(delta_mle_u) + 0.01}")

# PMF 출력 (psi=1 vs psi=psi_mle)
print(f"\nPMF 비교 (중심 vs 비중심):")
print(f"{'y':>3} {'H(m,s)':>10} {'H(m,s;psi_hat)':>15}")
for y in range(a, b + 1):
    p_central = noncentral_hypergeometric_pmf(y, m1, m2, s1, 1.0)
    p_noncentral = noncentral_hypergeometric_pmf(y, m1, m2, s1, psi_mle)
    print(f"{y:3d} {p_central:10.4f} {p_noncentral:15.4f}")

\(P_0(\psi) = 4 + 18\psi + 12\psi^2 + \psi^3\) 을 직접 확인한 뒤, 조건부 MLE(\(\hat{\Delta}_c \approx 1.493\))와 비조건부 MLE(\(\hat{\Delta}_u = 1.792\))의 차이를 재현한다.

7.2 Step 2: scipy/statsmodels 구현 (실무 활용)

코드 
import numpy as np
from scipy.stats import hypergeom, fisher_exact
from scipy.optimize import minimize_scalar

# === 중심 초기하분포: scipy.stats.hypergeom ===
# hypergeom(M, n, N) = 모집단 M, 성공 n, 추출 N
M_total = 7   # m_. = m1 + m2
n_success = 3  # s1
N_draw = 3     # m1

print("=== 중심 초기하분포 PMF (scipy) ===")
for y in range(max(0, n_success - (M_total - N_draw)),
               min(N_draw, n_success) + 1):
    p = hypergeom.pmf(y, M_total, n_success, N_draw)
    print(f"  P(Y={y}) = {p:.4f}")

print(f"\n  E[Y] = {hypergeom.mean(M_total, n_success, N_draw):.4f}")
print(f"  Var[Y] = {hypergeom.var(M_total, n_success, N_draw):.4f}")

# === Fisher 정확검정 ===
table = np.array([[2, 1],   # 처치군: 성공 2, 실패 1
                  [1, 3]])  # 대조군: 성공 1, 실패 3

or_fisher, p_fisher = fisher_exact(table, alternative='two-sided')
print(f"\n=== Fisher's Exact Test ===")
print(f"조건부 오즈비: {or_fisher:.3f}")
print(f"p-value (양측): {p_fisher:.4f}")

# === 조건부 MLE와 정확 신뢰구간 ===
# scipy의 fisher_exact는 조건부 MLE 오즈비를 반환한다
# 더 정밀한 조건부 추론은 statsmodels 또는 R의 exact2x2 패키지를 사용

# === 다기관 연구: 여러 2x2 표의 조건부 추론 ===
# Mantel-Haenszel 추정은 statsmodels에서 제공
import statsmodels.stats.contingency_tables as ct

# 3개 센터의 데이터 (각 센터별 2x2 표)
tables = [
    np.array([[2, 1], [1, 3]]),   # 센터 1
    np.array([[5, 3], [2, 6]]),   # 센터 2
    np.array([[3, 2], [1, 4]]),   # 센터 3
]

# 층화 분석
stacked = np.array(tables)
result = ct.StratifiedTable(stacked)
print(f"\n=== Mantel-Haenszel (3개 센터 통합) ===")
print(f"MH 오즈비:  {result.summary().tables[0].data[1][1]}")
print(f"MH 검정 통계량: {result.test_null_odds().statistic:.3f}")
print(f"MH p-value: {result.test_null_odds().pvalue:.4f}")

scipy.stats.hypergeom은 중심 초기하분포를, fisher_exact는 조건부 추론을, statsmodels.stats.contingency_tables.StratifiedTable은 여러 \(2 \times 2\) 표의 Mantel-Haenszel 통합을 제공한다.

8 응용 분야

분야 초기하 유형 구체적 예시
임상시험 비중심 초기하 소규모 \(2 \times 2\) 표에서 처치 효과(오즈비)의 정확 신뢰구간
다기관 임상시험 독립 비중심 초기하의 곱 센터별 기저율(장해 모수)을 소거한 Mantel-Haenszel 통합
역학 비중심 초기하 매칭 환자-대조군 연구에서 조건부 로지스틱 회귀
유전학 중심 초기하 Hardy-Weinberg 평형 검정에서의 정확 검정
생존 분석 초기하 유사 구조 Cox 모형의 부분 우도 — 위험 집합 내 조건부 분포
품질 관리 중심 초기하 수용 표본 추출(acceptance sampling)의 합격 확률 계산
생태학 다변량 초기하 포획-재포획 개체수 추정

9 관련 주제

선행 지식

후속 주제

관련 개념

10 참고문헌

  • McCullagh, P., & Nelder, J. A. (1989). Generalized Linear Models (2nd ed.). Chapman & Hall, Ch.7.
  • Breslow, N. E., & Cologne, J. B. (1986). Methods of estimation in log odds ratio regression models. Biometrics, 42, 949-954.
  • Barndorff-Nielsen, O. E., & Cox, D. R. (1979). Edgeworth and saddle-point approximations with statistical applications. Journal of the Royal Statistical Society B, 41, 279-312.

Subscribe

Enjoy this blog? Get notified of new posts by email: