Kwangmin Kim - 수치 부등식 (Numerical Inequalities)

1 개요

확률 부등식과 항등식 포스트에서 부등식의 전체 지형을 조감하였다. 이 포스트에서는 그중 수치 부등식(Numerical Inequalities) – 횔더, 코시-슈바르츠, 리아푸노프, 민코프스키 – 를 심층적으로 다룬다 (Casella & Berger, 2002, Ch.4 Section 4.7.1).

수치 부등식이 하는 일: 확률변수의 서로 다른 적률( \(E[X^p]\) , \(E[Y^q]\) 등) 사이의 크기 관계를 바운딩한다. “2차 적률이 있으면 1차 적률도 있다”, “두 변수의 곱의 기댓값은 각각의 \(p\) -노름 곱 이하이다” 같은 명제가 여기 속한다.

이 네 부등식은 독립적인 것이 아니라 계층적 관계를 가진다:

영의 부등식 (기본 보조정리 4.7.1)
    |
    v
횔더 부등식 (가장 일반적)
    |--- p=q=2 ---> 코시-슈바르츠 부등식
    |--- Y=1    ---> 리아푸노프 부등식
    |--- 삼각부등식 결합 ---> 민코프스키 부등식

하나의 근원(횔더)에서 세 가지 특수 경우가 파생되며, 각각이 서로 다른 실무 문제에 적합하다. 핵심 전략: 문제에 따라 적합한 부등식을 선택하되, 더 타이트한 바운드가 필요하면 계층 구조에서 더 특수화된 부등식으로 내려간다.

2 기본 보조정리: 영의 부등식 (Young’s Inequality)

보조정리 4.7.1 (Casella & Berger, 2002, Ch.4)

\(a, b \geq 0\) 이고 \(1/p + 1/q = 1\) ( \(p, q > 1\) )이면:

\[ \frac{1}{p} a^p + \frac{1}{q} b^q \geq ab \]

이 부등식은 산술-기하 평균 부등식의 일반화이다. \(p = q = 2\) 이면 \((a^2 + b^2)/2 \geq ab\) 가 된다. 증명은 \(\log\) 의 오목성(concavity)에 기반한다. 영의 부등식은 횔더 부등식의 증명에서 핵심 도구로 사용된다.

3 횔더 부등식 (Holder’s Inequality)

정리 4.7.2 (Casella & Berger, 2002, Ch.4)

\(X\) , \(Y\) 가 확률변수이고 \(1/p + 1/q = 1\) ( \(p, q > 1\) )이면:

\[ |E[XY]| \leq E|XY| \leq (E|X|^p)^{1/p} \, (E|Y|^q)^{1/q} \]

3.1 증명 핵심

영의 부등식에서 \(a = |X| / (E|X|^p)^{1/p}\) , \(b = |Y| / (E|Y|^q)^{1/q}\) 로 놓으면:

\[ \frac{|X|^p}{p \, E|X|^p} + \frac{|Y|^q}{q \, E|Y|^q} \geq \frac{|XY|}{(E|X|^p)^{1/p} (E|Y|^q)^{1/q}} \]

양변에 기대값을 취하면 좌변이 \(1/p + 1/q = 1\) 이 되어 횔더 부등식이 따라 나온다.

3.2 해석

횔더 부등식은 두 확률변수의 곱의 기대값을 각각의 \(L^p\) 노름으로 바운딩한다. \(L^p\) 노름은 \(\|X\|_p = (E|X|^p)^{1/p}\) 로 정의되므로, 횔더 부등식은:

\[ |E[XY]| \leq \|X\|_p \cdot \|Y\|_q \]

로 간결하게 쓸 수 있다. 이 부등식이 왜 중요한가: 직접 \(E[XY]\) 를 계산하기 어려울 때, 각각의 적률만으로 상한을 구할 수 있다.

4 코시-슈바르츠 부등식 (Cauchy-Schwarz Inequality)

횔더 부등식에서 \(p = q = 2\) 로 놓으면 (Casella & Berger, 2002, Theorem 4.7.3):

정리: 코시-슈바르츠 부등식

\[ |E[XY]| \leq (E[X^2])^{1/2} \, (E[Y^2])^{1/2} \]

또는 등가적으로: \((E[XY])^2 \leq E[X^2] \cdot E[Y^2]\)

4.1 핵심 응용: 상관계수의 범위

\(X - \mu_X\) 와 \(Y - \mu_Y\) 에 적용하면 (Casella & Berger, 2002, Example 4.7.4):

\[ (\text{Cov}(X, Y))^2 \leq \sigma_X^2 \sigma_Y^2 \implies |\rho_{XY}| \leq 1 \]

등호 조건: \(X - \mu_X = c(Y - \mu_Y)\) , 즉 완벽한 선형 관계일 때. 이것이 공분산과 상관계수 포스트에서 다룬 정리 4.5.7의 증명이다.

4.2 수열 버전

확률변수 대신 수열 \(a_1, \ldots, a_n\) 과 \(b_1, \ldots, b_n\) 에 적용하면:

\[ \left(\sum_{i=1}^n a_i b_i\right)^2 \leq \left(\sum_{i=1}^n a_i^2\right) \left(\sum_{i=1}^n b_i^2\right) \]

내적의 크기가 노름의 곱 이하라는 것이다. 유클리드 기하에서 \(|\mathbf{a} \cdot \mathbf{b}| \leq \|\mathbf{a}\| \|\mathbf{b}\|\) 와 같은 결과이다.

5 리아푸노프 부등식 (Liapounov’s Inequality)

횔더 부등식에서 \(Y \equiv 1\) 로 놓고 \(|X|\) 를 \(|X|^r\) 로 대체하면 (Casella & Berger, 2002, Ch.4):

리아푸노프 부등식

\(1 < r < s < \infty\) 이면:

\[ (E|X|^r)^{1/r} \leq (E|X|^s)^{1/s} \]

이 부등식의 의미: \(L^p\) 노름은 \(p\) 가 커질수록 증가한다. 더 높은 차수의 적률이 존재하면 더 낮은 차수의 적률도 존재하며, 그 노름이 더 작다.

실무적 함의:

\(s\) 차 적률이 유한하면 \(r\) 차 적률도 유한하다 (\(r < s\))
분산이 존재하면(\(s = 2\)) 평균도 존재한다(\(r = 1\))
리아푸노프 CLT에서 3차 적률 조건으로 중심극한정리를 증명한다

6 민코프스키 부등식 (Minkowski’s Inequality)

정리 4.7.5 (Casella & Berger, 2002, Ch.4)

\(X\) , \(Y\) 가 확률변수이고 \(1 \leq p < \infty\) 이면:

\[ (E|X + Y|^p)^{1/p} \leq (E|X|^p)^{1/p} + (E|Y|^p)^{1/p} \]

민코프스키 부등식은 \(L^p\) 공간에서의 삼각 부등식(triangle inequality)이다. \(\|X + Y\|_p \leq \|X\|_p + \|Y\|_p\) 로 쓸 수 있다.

6.1 증명 핵심

\(E|X + Y|^p \leq E(|X| \cdot |X + Y|^{p-1}) + E(|Y| \cdot |X + Y|^{p-1})\) 에서 각 항에 횔더 부등식을 적용하고, \(q(p-1) = p\) 임을 이용하여 양변을 \((E|X+Y|^p)^{1/q}\) 로 나누면 결과가 따라 나온다.

6.2 \(p = 2\) 특수 경우

\(p = 2\) 이면 \((E(X+Y)^2)^{1/2} \leq (EX^2)^{1/2} + (EY^2)^{1/2}\) 가 되어, 표준편차에 대한 삼각 부등식이 된다.

7 부등식 간의 관계 요약

부등식	전제	결론	유도 방법
영의 부등식	\(a, b \geq 0\) , \(1/p + 1/q = 1\)	\(a^p/p + b^q/q \geq ab\)	\(\log\) 의 오목성
횔더	\(1/p + 1/q = 1\)	\(\|E[XY]\| \leq \\|X\\|_p \\|Y\\|_q\)	영의 부등식 + 기대값
코시-슈바르츠	–	\((E[XY])^2 \leq E[X^2] E[Y^2]\)	횔더에서 \(p = q = 2\)
리아푸노프	\(1 < r < s\)	\(\\|X\\|_r \leq \\|X\\|_s\)	횔더에서 \(Y = 1\)
민코프스키	\(p \geq 1\)	\(\\|X+Y\\|_p \leq \\|X\\|_p + \\|Y\\|_p\)	횔더 + 삼각부등식

8 응용 분야

분야	부등식	활용
통계 이론	코시-슈바르츠	\(\|\rho\| \leq 1\) 증명, 크래머-라오 하한
함수해석	민코프스키	\(L^p\) 공간이 노름 공간임을 증명
확률론	리아푸노프	리아푸노프 CLT 조건
머신러닝	코시-슈바르츠	커널 방법의 재생성 핵 힐베르트 공간
최적화	횔더	쌍대 노름(dual norm) 관계
수열/급수	수열 버전	이산 데이터의 바운딩

9 코드 예시

9.1 Step 1: 순수 Python 구현 (원리 이해)

횔더 부등식과 그 특수 경우들을 수치적으로 검증한다.

import math
import random

random.seed(42)
n = 100000

# X, Y: 지수분포에서 독립 표본
X = [random.expovariate(1) for _ in range(n)]
Y = [random.expovariate(0.5) for _ in range(n)]

# 횔더 부등식: |E[XY]| <= (E|X|^p)^{1/p} * (E|Y|^q)^{1/q}
print("=== 횔더 부등식 검증 ===")
for p in [1.5, 2, 3, 4]:
    q = p / (p - 1)
    lhs = abs(sum(x * y for x, y in zip(X, Y)) / n)
    rhs = (sum(abs(x)**p for x in X) / n)**(1/p) * (sum(abs(y)**q for y in Y) / n)**(1/q)
    print(f"  p={p:.1f}, q={q:.2f}: |E[XY]|={lhs:.4f} <= {rhs:.4f}  (gap={rhs-lhs:.4f})")

# 코시-슈바르츠 (p=q=2)
print("\n=== 코시-슈바르츠 (p=q=2) ===")
exy = sum(x * y for x, y in zip(X, Y)) / n
ex2 = sum(x**2 for x in X) / n
ey2 = sum(y**2 for y in Y) / n
print(f"  (E[XY])^2 = {exy**2:.4f}")
print(f"  E[X^2]*E[Y^2] = {ex2 * ey2:.4f}")
print(f"  부등식 성립: {exy**2 <= ex2 * ey2 + 1e-10}")

# 리아푸노프: ||X||_r <= ||X||_s for r < s
print("\n=== 리아푸노프 부등식 ===")
for r, s in [(1, 2), (2, 3), (1, 4)]:
    norm_r = (sum(abs(x)**r for x in X) / n)**(1/r)
    norm_s = (sum(abs(x)**s for x in X) / n)**(1/s)
    print(f"  ||X||_{r} = {norm_r:.4f} <= ||X||_{s} = {norm_s:.4f}  (성립: {norm_r <= norm_s + 1e-10})")

9.2 Step 2: scipy/numpy 구현 (실무 활용)

코시-슈바르츠가 상관계수를 바운딩하는 것을 시각화한다.

import numpy as np
import matplotlib.pyplot as plt

np.random.seed(42)

fig, axes = plt.subplots(1, 2, figsize=(12, 4))

# 1) 민코프스키 부등식: ||X+Y||_p <= ||X||_p + ||Y||_p
n = 50000
X = np.random.exponential(1, n)
Y = np.random.exponential(2, n)

p_vals = np.linspace(1.1, 5, 50)
lhs_vals, rhs_vals = [], []

for p in p_vals:
    lhs = np.mean(np.abs(X + Y)**p)**(1/p)
    rhs = np.mean(np.abs(X)**p)**(1/p) + np.mean(np.abs(Y)**p)**(1/p)
    lhs_vals.append(lhs)
    rhs_vals.append(rhs)

ax = axes[0]
ax.plot(p_vals, lhs_vals, 'b-', linewidth=2, label=r'$\|X+Y\|_p$ (LHS)')
ax.plot(p_vals, rhs_vals, 'r--', linewidth=2, label=r'$\|X\|_p + \|Y\|_p$ (RHS)')
ax.fill_between(p_vals, lhs_vals, rhs_vals, alpha=0.2, color='green', label='Gap')
ax.set_xlabel('p')
ax.set_ylabel('Value')
ax.set_title('Minkowski Inequality')
ax.legend(fontsize=9)

# 2) 리아푸노프: ||X||_r은 r에 대해 단조증가
r_vals = np.linspace(1.1, 6, 50)
norms = [np.mean(np.abs(X)**r)**(1/r) for r in r_vals]

ax = axes[1]
ax.plot(r_vals, norms, 'b-', linewidth=2)
ax.set_xlabel('r (moment order)')
ax.set_ylabel(r'$\|X\|_r$')
ax.set_title(r'Liapounov: $\|X\|_r$ increases with $r$')

plt.tight_layout()
plt.show()

10 관련 주제

선행 지식

확률 부등식과 항등식 – 전체 부등식 조감
기댓값과 분산 – 기대값의 정의

후속 주제

함수 부등식 – 젠센 부등식, 공분산 부등식
공분산과 상관계수 – 코시-슈바르츠의 직접 응용

관련 개념

적률생성함수 – 적률의 존재 조건