Kwangmin Kim - FDA 11.5 — Chapter 11 연습문제 풀이 (16 문제)

1 풀이 가이드

이 절의 16 문제는 Ch.11 의 정의·정리를 직접 손으로 검증 하는 연습이다. 큰 흐름:

문제 그룹별 핵심

Problem 11.1~11.5: 거리 공간 확률 원소의 수렴·Slutsky·연속 사상. 점근 통계의 4 개 무기 의 직접 응용.
Problem 11.6~11.7: Hilbert 공간 적분 가능성과 다변량과의 일치성.
Problem 11.8~11.11: 공분산 연산자의 핵 ψ(t,s) 와 HS 클래스의 미묘한 차이 — nonneg-def 의 두 의미.
Problem 11.12~11.14: 특성 범함수의 성질과 무한차원의 함정 (점별 수렴 ≠ 분포수렴).
Problem 11.15~11.16: KL 전개의 점수 항등성과 Wiener·Brownian bridge 의 공분산 함수.

각 문제 풀이 끝에 \(\blacksquare\) 로 종료를 표시한다.

2 Problem 11.1 — Slutsky 의 R 결과 도출

2.1 문제

\(\mathcal{S} = \mathbb{R}\) 인 경우 다음을 Theorem 11.1.4 (연속 사상) 와 11.1.5 (Slutsky) 로부터 보여라.

\(X_n \xrightarrow{d} X\), \(Y_n \xrightarrow{P} a\) ⟹ \(X_n + Y_n \xrightarrow{d} X + a\), \(Y_n X_n \xrightarrow{d} a X\).
\(X_n \xrightarrow{d} X\), \(Y_n \xrightarrow{P} a \neq 0\) ⟹ \(X_n / Y_n \xrightarrow{d} X / a\).

2.2 풀이

(a): Theorem 11.1.5 → \((X_n, Y_n) \xrightarrow{d} (X, a) \in \mathbb{R}^2\).

\(h: \mathbb{R}^2 \to \mathbb{R}\), \(h(x, y) = x + y\) 가 연속. Theorem 11.1.4 → \(h(X_n, Y_n) = X_n + Y_n \xrightarrow{d} h(X, a) = X + a\).
\(g: \mathbb{R}^2 \to \mathbb{R}\), \(g(x, y) = xy\) 가 연속. → \(g(X_n, Y_n) = Y_n X_n \xrightarrow{d} g(X, a) = aX\).

(b): \(a \neq 0\) 이므로 \(h: \mathbb{R}^2 \setminus \{(x, 0) : x \in \mathbb{R}\} \to \mathbb{R}\), \(h(x, y) = x/y\) 가 점 \((X, a)\) 의 근방에서 연속.

\(P((X, a) \in D_h) = P(\{a = 0\}) = 0\) (\(a\) 가 상수이고 0 이 아님). Theorem 11.1.4 → \(X_n / Y_n \xrightarrow{d} X / a\). \(\blacksquare\)

2.3 직관

이 한 문제가 t 통계량의 점근 정규성 의 핵심:

\[ T_N = \frac{\sqrt{N}(\bar{X}_N - \mu)}{S_N}. \]

분자 (\(X_n\)) 가 분포수렴하고 분모 (\(Y_n\)) 가 확률수렴 (\(\sigma\) 로) → Slutsky → 비율의 분포 수렴. 모든 통계 검정의 점근 분포가 이 패턴.

3 Problem 11.2 — Bounded in Probability

3.1 문제

\(X_n\) 이 random variable, \(X_n \xrightarrow{d} X\) 이면 \(X_n = O_P(1)\):

\[ \lim_{M \to \infty} \limsup_{n \to \infty} P(|X_n| > M) = 0. \]

힌트: \(F\) 의 불연속점이 가산.

3.2 풀이

CDF \(F\) 의 불연속점 집합 \(D\) 가 가산. 임의의 \(\epsilon > 0\) 에 대해 \(F\) 의 연속점 \(-M_1, M_2\) 를 \(-M_1 < 0 < M_2\) 충분히 크게 선택하여 \(F(-M_1) < \epsilon/2\), \(1 - F(M_2) < \epsilon/2\).

\(X_n \xrightarrow{d} X\) 의 정의: 임의의 연속점 \(t\) 에 대해 \(F_n(t) \to F(t)\). 따라서:

\[ P(X_n \leq -M_1) = F_n(-M_1) \to F(-M_1) < \epsilon/2, \]

\[ P(X_n > M_2) = 1 - F_n(M_2) \to 1 - F(M_2) < \epsilon/2. \]

\(M = \max(M_1, M_2)\) 두면 \(P(|X_n| > M) \leq P(X_n \leq -M_1) + P(X_n > M_2) < \epsilon\) (충분히 큰 \(n\)).

따라서 \(\limsup_{n \to \infty} P(|X_n| > M) < \epsilon\) — 임의의 \(\epsilon\) 에 대해 적당한 \(M\) 존재. \(M \to \infty\) 의 극한에서 0. \(\blacksquare\)

3.3 직관

분포수렴이 자동으로 확률 유계성 (tightness) 을 imply — 한계 분포 \(X\) 가 존재하면 \(X_n\) 의 꼬리 확률이 균일하게 통제. 이는 함수 공간에서는 자동이 아니라 추가 가정 이 필요 (Problem 11.13 의 반례 참조).

4 Problem 11.3 — 연속 함수와 확률수렴

4.1 문제

\(g: \mathbb{R} \to \mathbb{R}\) 가 \(a\) 에서 연속, \(X_n \xrightarrow{P} a\) ⟹ \(g(X_n) \xrightarrow{P} g(a)\).
\(f\) 가 \(a\) 에서 미분 가능 ⟹ \(X_n \xrightarrow{P} a\) 이면 \(f(X_n) = f(a) + f'(a)(X_n - a) + (X_n - a) Z_n\), \(Z_n \xrightarrow{P} 0\).

4.2 풀이

(a): 임의의 \(\epsilon > 0\). 연속성 → \(\delta > 0\) 존재, \(|x - a| < \delta\) ⟹ \(|g(x) - g(a)| < \epsilon\).

따라서 \(\{|g(X_n) - g(a)| > \epsilon\} \subseteq \{|X_n - a| \geq \delta\}\). 확률수렴 정의:

\[ P(|g(X_n) - g(a)| > \epsilon) \leq P(|X_n - a| \geq \delta) \to 0. \]

(b): \(f\) 가 \(a\) 에서 미분 가능 ⟹ Taylor 의 1 차 전개:

\[ f(x) = f(a) + f'(a)(x - a) + (x - a) z(x), \]

여기서 \(z(x) \to 0\) as \(x \to a\). \(X_n\) 에 대입:

\[ f(X_n) = f(a) + f'(a)(X_n - a) + (X_n - a) Z_n, \]

여기서 \(Z_n = z(X_n)\). (a) 의 결과 (\(g = z\), \(a\) 에서 \(z(a) = 0\) 이고 연속) → \(Z_n \xrightarrow{P} 0\). \(\blacksquare\)

4.3 직관

가 delta method 의 토대 — \(\sqrt{N}(X_n - a) \xrightarrow{d} Z\) 이면 \(\sqrt{N}(f(X_n) - f(a)) \xrightarrow{d} f'(a) Z\). Slutsky 결합.

5 Problem 11.4 — 다변량 확률수렴

5.1 문제

\(Y_{k,n} \xrightarrow{P} Y_k\) (각 \(k = 1, \ldots, M\)).

임의의 \(w_k\) 에 대해 \(\sum_{k=1}^M w_k Y_{k,n} \xrightarrow{P} \sum_{k=1}^M w_k Y_k\).
\((Y_{1,n}, \ldots, Y_{M,n})^\top \xrightarrow{P} (Y_1, \ldots, Y_M)^\top\) in \(\mathbb{R}^M\).

5.2 풀이

(a): 삼각 부등식 + 확률 사건의 합집합:

\[ \Bigl|\sum_k w_k Y_{k,n} - \sum_k w_k Y_k\Bigr| \leq \sum_k |w_k| \cdot |Y_{k,n} - Y_k|. \]

따라서 \(\bigl\{\bigl|\sum_k w_k (Y_{k,n} - Y_k)\bigr| > \epsilon\bigr\} \subseteq \bigcup_k \bigl\{|Y_{k,n} - Y_k| > \epsilon/(M |w_k|)\bigr\}\) (\(w_k = 0\) 항 제외).

\[ P\Bigl(\Bigl|\sum_k w_k (Y_{k,n} - Y_k)\Bigr| > \epsilon\Bigr) \leq \sum_k P\bigl(|Y_{k,n} - Y_k| > \epsilon/(M|w_k|)\bigr) \to 0. \]

(b): Euclidean 거리 \(\|y\|_2 = (\sum_k y_k^2)^{1/2}\). 동일 논법:

\[ \bigl\|(Y_{1,n}, \ldots, Y_{M,n}) - (Y_1, \ldots, Y_M)\bigr\|_2^2 = \sum_k (Y_{k,n} - Y_k)^2. \]

\(\{\|\cdot\|_2 > \epsilon\} \subseteq \bigcup_k \{|Y_{k,n} - Y_k| > \epsilon/\sqrt{M}\}\). 확률 합집합 → 0. \(\blacksquare\)

5.3 직관

유한차원에서 좌표별 확률수렴 ⟺ 벡터의 확률수렴. 이 등가성이 함수 공간에서는 깨지므로 (무한차원의 미묘함) Theorem 11.1.3 의 절단 기법이 필요해진다.

6 Problem 11.5 — 무한 가중 합의 분포수렴

6.1 문제

\(Y_{k,n}, Y_k\) random variables, 모든 \(M \geq 1\) 에 대해

\[ (Y_{1,n}, \ldots, Y_{M,n})^\top \xrightarrow{d} (Y_1, \ldots, Y_M)^\top \quad \text{in } \mathbb{R}^M. \]

수열 \(\{w_k\}\) 가

\[ \sum_{k=1}^\infty |w_k| E|Y_k| < \infty, \quad \sum_{k=1}^\infty |w_k| \sup_{n \geq 1} E|Y_{k,n} - Y_k| < \infty. \]

Theorem 11.1.3 사용하여 \(\sum_{k=1}^\infty w_k Y_{k,n} \xrightarrow{d} \sum_{k=1}^\infty w_k Y_k\) 를 보여라.

6.2 풀이

절단 정의: \(X_n = \sum_{k=1}^\infty w_k Y_{k,n}\), \(X_n(M) = \sum_{k=1}^M w_k Y_{k,n}\), \(X = \sum_{k=1}^\infty w_k Y_k\), \(X(M) = \sum_{k=1}^M w_k Y_k\).

Theorem 11.1.3 의 세 조건 검증:

각 \(M\) 에 대해 \(X_n(M) \xrightarrow{d} X(M)\): 가정 \((Y_{1,n}, \ldots, Y_{M,n}) \xrightarrow{d} (Y_1, \ldots, Y_M)\) + 연속 사상 (선형 결합) → 자동.
\(X(M) \xrightarrow{d} X\) as \(M \to \infty\): \(\sum_k |w_k| E|Y_k| < \infty\) → \(\sum_k w_k Y_k\) 가 거의 확실하게 절대 수렴 (Beppo-Levi). \(L^1\) 수렴 → 확률 수렴 → 분포 수렴.
잔차 통제: \(|X_n - X_n(M)| = \bigl|\sum_{k > M} w_k Y_{k,n}\bigr| \leq \sum_{k > M} |w_k| |Y_{k,n}|\). 기댓값 + Markov:

\[ P(|X_n - X_n(M)| > \epsilon) \leq \frac{E\sum_{k > M} |w_k| |Y_{k,n}|}{\epsilon} \leq \frac{1}{\epsilon}\sum_{k > M} |w_k| (E|Y_k| + E|Y_{k,n} - Y_k|). \]

가정의 두 합이 유한 → \(M \to \infty\) 의 극한에서 0, \(n\) 에 대해 균일.

세 조건 모두 만족 → Theorem 11.1.3 → \(X_n \xrightarrow{d} X\). \(\blacksquare\)

6.3 직관

이 문제가 무한차원 분포수렴 증명의 표준 패턴:

유한차원 절단으로 분포수렴 확보 (1).
절단 차수가 증가하면 한계가 본래 객체로 수렴 (2).
잔차가 균일하게 작음 (3).

함수 공간 CLT 의 모든 증명이 이 패턴을 따른다.

7 Problem 11.6 — Strong ⇒ Weak Integrability

7.1 문제

\(X\) 가 적분 가능 (\(E\|X\| < \infty\)) 이면 weakly integrable.

7.2 풀이

\(E|\langle X, y \rangle| < \infty\): Cauchy-Schwarz:

\[ |\langle X, y \rangle| \leq \|X\| \|y\| \implies E|\langle X, y \rangle| \leq \|y\| E\|X\| < \infty. \]

유일한 \(e \in \mathcal{H}\) 의 존재: 함수 \(L(y) := E[\langle X, y \rangle]\) 가 \(\mathcal{H}\) 위 선형 범함수.

선형성: \(E[\langle X, ay_1 + by_2 \rangle] = a E[\langle X, y_1 \rangle] + b E[\langle X, y_2 \rangle]\).
유계성: \(|L(y)| \leq E|\langle X, y \rangle| \leq \|y\| E\|X\|\) → \(\|L\| \leq E\|X\| < \infty\).

Riesz 표현 정리 (Theorem 10.2.3) → 유일한 \(e \in \mathcal{H}\) 존재, \(L(y) = \langle e, y \rangle\). \(\blacksquare\)

7.3 직관

Strong integrability + Cauchy-Schwarz + Riesz = 약적분 가능성의 자동 증명. Hilbert 구조가 있으면 강 적분이 약 적분을 공짜로 보장.

8 Problem 11.7 — 다변량과 함수 공분산의 일치

8.1 문제

\(\mathcal{H} = \mathbb{R}^d\), \(X\) 가 square integrable. 공분산 연산자 \(C\) 가 공분산 행렬과 어떻게 동일한지 보여라.

8.2 풀이

\(E X = 0\) 가정. 표준 기저 \(\{e_1, \ldots, e_d\}\) 에서 \(X = \sum_{j=1}^d X^{(j)} e_j\) (\(X^{(j)} = \langle X, e_j \rangle\)). 공분산 행렬 \(\Sigma_{ij} = E[X^{(i)} X^{(j)}]\).

공분산 연산자 정의:

\[ C(y) = E[\langle X, y \rangle X] = E\Bigl[\Bigl(\sum_j X^{(j)} y^{(j)}\Bigr) \sum_i X^{(i)} e_i\Bigr] = \sum_i \Bigl(\sum_j E[X^{(i)} X^{(j)}] y^{(j)}\Bigr) e_i. \]

따라서 \((C(y))^{(i)} = \sum_j \Sigma_{ij} y^{(j)} = (\Sigma y)^{(i)}\). 즉 \(C(y) = \Sigma y\). \(\blacksquare\)

8.3 직관

\(\mathbb{R}^d\) 에서는 공분산 연산자 = 공분산 행렬. 함수 공간으로 일반화될 때 행렬 → 적분 핵 → 연산자라는 추상화 단계가 한 번씩 더 들어간다 — 본질은 동일.

9 Problem 11.8 — 공분산 함수의 HS 노름 한계

9.1 문제

\(c(t, s)\) 가 \(X\) 의 공분산 연산자의 핵, \(E\|X\|^4 < \infty\) 이면

\[ \iint c^2(t, s) \, dt \, ds \leq (E\|X - \mu\|^2)^2. \]

Theorem 11.2.2 를 사용하지 않고, 모든 그러한 \(X\) 의 공분산 연산자가 Hilbert-Schmidt 임을 결론.

9.2 풀이

\(E X = 0\) 가정. \(c(t, s) = E[X(t) X(s)]\):

\[ c^2(t, s) = (E[X(t) X(s)])^2 \leq E[X(t)^2] E[X(s)^2] \]

(Cauchy-Schwarz 부등식, 확률 공간 에서). 적분:

\[ \iint c^2(t, s) \, dt \, ds \leq \int E[X(t)^2] dt \cdot \int E[X(s)^2] ds = \bigl(E \|X\|^2\bigr)^2. \]

(Fubini 사용. \(E\|X\|^4 < \infty\) 가 절대 적분 가능성을 보장.)

HS 노름: HS 적분 연산자의 정의 (Section 10.3) — 핵 \(c\) 의 \(L^2\) 노름 = HS 노름:

\[ \|C\|_S^2 = \iint c^2(t, s) \, dt \, ds \leq (E\|X\|^2)^2 < \infty. \]

따라서 \(C\) 가 HS. \(\blacksquare\)

9.3 직관

공분산 연산자가 자동으로 HS — Theorem 11.2.2 의 nuclear 조건은 더 강한 조건이지만, HS 자체는 square integrability + 4 차 적률만 있으면 자동.

비유: HS = “유한 에너지”, nuclear = “유한 에너지 + 빠른 감소”. HS 가 약한 조건.

10 Problem 11.9 — Bounded·Symmetric·Nonneg 이지만 비공분산

10.1 문제

\(\mathcal{H}\) 가 무한차원 separable Hilbert 공간, \(\{e_j\}\) 정규직교 시스템.

\[ \Psi(x) = \sum_{j=1}^\infty j^{-1} \langle x, e_j \rangle e_j. \]

\(\Psi\) 가 bounded, symmetric, nonneg-def 이지만 공분산 연산자가 아님.

10.2 풀이

Bounded: Parseval → \(\|\Psi(x)\|^2 = \sum_j j^{-2} \langle x, e_j \rangle^2 \leq \sum_j \langle x, e_j \rangle^2 = \|x\|^2\). \(\|\Psi\| \leq 1\).

Symmetric:

\[ \langle \Psi(x), y \rangle = \sum_j j^{-1} \langle x, e_j \rangle \langle e_j, y \rangle = \langle x, \Psi(y) \rangle. \]

Nonneg-def:

\[ \langle \Psi(x), x \rangle = \sum_j j^{-1} \langle x, e_j \rangle^2 \geq 0. \]

비공분산: \(\Psi\) 의 고유값 \(\lambda_j = 1/j\). 합:

\[ \sum_{j=1}^\infty \lambda_j = \sum_{j=1}^\infty 1/j = \infty. \]

조화급수 발산. Theorem 11.2.2 의 nuclear 조건 (\(\sum \lambda_j < \infty\)) 위반 → 공분산 연산자가 아님. \(\blacksquare\)

10.3 직관

이 예가 HS 와 nuclear 의 차이 를 분명히 보여준다:

\(\sum \lambda_j^2 = \sum 1/j^2 = \pi^2/6 < \infty\) → HS.
\(\sum \lambda_j = \sum 1/j = \infty\) → nuclear 아님 → 공분산 아님.

비유: 음악의 주파수 에너지 분포가 “에너지 합 (HS)” 은 유한이지만 “진폭 합 (nuclear)” 은 무한 — 너무 천천히 감소하는 고유값.

11 Problem 11.10 — HS Nonneg 핵의 (11.11) 형태

11.1 문제

\(\Psi: L^2 \to L^2\) 가 symmetric HS 연산자, 핵 \(\psi(t, s)\). \(\Psi\) 가 nonneg-def 이면 \(\psi\) 가 (11.11) 의 의미에서 nonneg-def:

\[ \sum_{i,k=1}^d \psi(t_i, t_k) z_i \bar{z}_k \geq 0. \]

11.2 풀이

핵심 보조 정리: 임의의 \(f \in L^2\) 에 대해 \(\langle \Psi(f), f \rangle = \iint \psi(t, s) f(t) f(s) \, dt \, ds\) (\(\Psi\) 의 적분 연산자 정의).

\(z_i\) 가 실수인 경우 (간단화): \(f_\epsilon(t) = \sum_{i=1}^d z_i \phi_\epsilon(t - t_i)\), \(\phi_\epsilon\) 가 \(t_i\) 근방의 표준 mollifier (\(L^2\) 표준). \(\epsilon \to 0\) 의 극한에서:

\[ \iint \psi(t, s) f_\epsilon(t) f_\epsilon(s) \, dt \, ds \to \sum_{i,k} \psi(t_i, t_k) z_i z_k. \]

\(\Psi\) nonneg-def → 좌변 \(\geq 0\) → 극한 \(\geq 0\).

복소 \(z_i\) 인 경우: Hermitian 형식 확장. 실부와 허부 따로 적용 + 결합 → 동일 결론. \(\blacksquare\)

11.3 직관

연산자의 nonneg 정의성 (함수의 적분에서 \(\geq 0\)) 이 핵의 격자 구조 (이산 점에서 \(\geq 0\)) 와 동등 — 연속 ↔︎ 이산 의 다리. 이 등가성이 RKHS 이론과 가우스 과정의 토대.

12 Problem 11.11 — Nonneg-def 이지만 비공분산 핵

12.1 문제

(11.11) 의 의미에서 symmetric, nonneg-def 이지만 어떤 \(X \in L^2\) 의 공분산 함수가 아닌 핵 \(\psi(t, s)\) 를 구성.

12.2 풀이

구성: \(\psi(t, s) = \delta(t - s)\) — 디락 델타 함수.

Nonneg-def: \(\sum_{i,k} \delta(t_i - t_k) z_i z_k = \sum_i z_i^2 \geq 0\) (격자 점이 다 다르면 대각만 살아남음).

비공분산: 디락 델타는 \(L^2\) 함수가 아님 — 핵으로서의 (11.10) 형태 적분 연산자가 잘 정의되지 않음. 또한:

\[ \iint \delta^2(t - s) \, dt \, ds = \int dt = 1, \quad \text{(formal)} \]

실제로는 발산 (\(\delta^2\) 가 분포로 정의 안됨). HS 도 아니므로 어떤 square integrable \(X \in L^2\) 의 공분산 함수가 될 수 없다.

정형화: \(\psi_\epsilon(t, s) = \epsilon^{-1} \mathbb{1}_{|t - s| < \epsilon/2}\) — \(\epsilon \to 0\) 의 극한에서 디락. Nonneg-def 이지만 \(\iint \psi_\epsilon^2 \to \infty\). \(\blacksquare\)

12.3 직관

(11.11) 의 nonneg-def 가 약한 조건 — Bochner 의미의 nonneg 정의성. 공분산 함수가 되려면 추가로 HS (또는 nuclear, Theorem 11.2.2 의 c 조건) 이 필요. 디락 델타는 그 추가 조건을 만족하지 않는 자연스러운 반례.

13 Problem 11.12 — 특성 범함수의 3 성질

13.1 문제

Definition 11.3.1 을 사용하여:

\(|\varphi_X(y)| \leq 1\), \(\varphi_X(0) = 1\).
\(\varphi_X\) 가 nonneg-def: \(\sum_{i,k} \varphi_X(y_i - y_k) z_i \bar{z}_k \geq 0\).
\(\varphi_X\) 가 균등 연속 (uniformly continuous).

13.2 풀이

(a):

\[ |\varphi_X(y)| = |E e^{i\langle y, X \rangle}| \leq E|e^{i\langle y, X \rangle}| = E[1] = 1. \]

\(\varphi_X(0) = E[e^0] = 1\).

(b):

\[ \sum_{i,k} \varphi_X(y_i - y_k) z_i \bar{z}_k = E\Bigl[\sum_{i,k} e^{i\langle y_i - y_k, X \rangle} z_i \bar{z}_k\Bigr] = E\Bigl|\sum_i z_i e^{i\langle y_i, X \rangle}\Bigr|^2 \geq 0. \]

(중간 단계: \(e^{i\langle y_i - y_k, X \rangle} = e^{i\langle y_i, X \rangle} \overline{e^{i\langle y_k, X \rangle}}\).)

(c): 균등 연속:

\[ |\varphi_X(y) - \varphi_X(y')| = |E[e^{i\langle y, X \rangle} - e^{i\langle y', X \rangle}]| \leq E|e^{i\langle y - y', X \rangle} - 1|. \]

\(|e^{i\theta} - 1| \leq |\theta|\) (스칼라 부등식) → \(E|e^{i\langle y - y', X \rangle} - 1| \leq E|\langle y - y', X \rangle| \leq \|y - y'\| E\|X\|\).

따라서 \(|\varphi_X(y) - \varphi_X(y')| \leq \|y - y'\| E\|X\|\) — Lipschitz, 따라서 균등 연속.

(주: 강 적분 가정 (\(E\|X\| < \infty\)) 이 필요. 약 적분만 가정하면 별도 논법 — Laha & Roghatgi 1979 Section 7.6.) \(\blacksquare\)

13.3 직관

스칼라 특성 함수의 3 성질이 함수 차원에서도 그대로 보존. (b) 의 nonneg 정의성이 Bochner 정리의 함수 일반화 (Minlos-Sazonov) 의 역방향 — “어떤 함수가 특성 범함수인가” 의 판단 기준.

14 Problem 11.13 — 점별 수렴 ≠ 분포수렴 (반례)

14.1 문제

\(\ell^2\) 공간 (Example 10.1.1). 상수 random variable \(X_n\):

\[ X_1 = (1, 0, 0, \ldots), \; X_2 = (0, 1, 0, \ldots), \; X_3 = (0, 0, 1, \ldots), \ldots \]

임의의 \(y = (y_1, y_2, \ldots) \in \ell^2\) 에 대해 \(\varphi_{X_n}(y)\) 의 극한을 찾고, 이 극한이 어떤 random element \(X\) 의 특성 범함수임을 관찰. \(X_n\) 이 \(X\) 로 분포수렴 안함.

14.2 풀이

특성 범함수의 극한: \(X_n = e_n\) (n번째 표준 기저). \(\langle e_n, y \rangle = y_n\).

\[ \varphi_{X_n}(y) = E e^{i\langle e_n, X_n \rangle} = e^{i \langle e_n, e_n \rangle \cdot \omega-1} \cdot \]

(주의: \(X_n\) 이 상수 random variable 이므로 \(X_n(\omega) = e_n\) 항상.)

\[ \varphi_{X_n}(y) = e^{i \langle y, e_n \rangle} = e^{i y_n}. \]

\(y \in \ell^2\) ⟹ \(\sum y_k^2 < \infty\) ⟹ \(y_n \to 0\) ⟹ \(\varphi_{X_n}(y) \to e^0 = 1\).

극한 \(\varphi(y) \equiv 1\) 가 상수 0 의 특성 범함수: \(X = 0\) 이면 \(\varphi_X(y) = E e^0 = 1\).

분포수렴 여부: \(X_n\) 이 0 으로 분포수렴 ⟺ 모든 유계 연속 \(f\) 에 대해 \(f(X_n) \to f(0)\).

반례: \(f(x) = \min(\|x\|, 1)\) 가 유계 연속. \(f(X_n) = \min(\|e_n\|, 1) = 1\) 모든 \(n\). \(f(0) = 0\). \(E f(X_n) = 1 \not\to 0\).

따라서 \(X_n\) 이 0 으로 분포수렴 안 함. 그러나 특성 범함수는 점별로 1 로 수렴 — 무한차원에서 점별 수렴 ≠ 분포수렴. \(\blacksquare\)

14.3 직관

함수 공간의 미묘한 함정 — tightness (Problem 11.2 의 유한차원 자동 결과) 가 없음.

비유: 표준 기저의 무한 sequence 가 \(\ell^2\) 안에서 “퍼져나가는” 모습 — 한 점으로 모이지 않음. 그러나 각 좌표 사영 (\(y_n \to 0\)) 만 보면 모이는 것처럼 보임.

이 함정이 무한차원 분포수렴 증명에 추가 조건 (tightness, equicontinuity 등) 이 필요함을 보여줌.

15 Problem 11.14 — 가우스에 유계 연산자 적용

15.1 문제

\(X\) 가 Definition 11.3.2 의 가우스, \(L\) 이 bounded operator. \(L(X)\) 가 가우스이고 평균과 공분산 연산자를 찾아라.

15.2 풀이

평균: Theorem 11.2.1(b) → \(E[L(X)] = L(E X) = L(\mu)\).

공분산 연산자: \(L(X) - L(\mu) = L(X - \mu)\). 공분산 연산자 정의:

\[ C_{L(X)}(y) = E[\langle L(X) - L(\mu), y \rangle (L(X) - L(\mu))] = E[\langle L(X - \mu), y \rangle L(X - \mu)]. \]

수반 연산자: \(\langle L(X - \mu), y \rangle = \langle X - \mu, L^*(y) \rangle\). 따라서

\[ C_{L(X)}(y) = L\bigl(E[\langle X - \mu, L^*(y) \rangle (X - \mu)]\bigr) = L(C(L^*(y))) = (L C L^*)(y). \]

즉 \(C_{L(X)} = L C L^*\).

가우스성: 임의의 \(z \in \mathcal{H}'\) (\(L: \mathcal{H} \to \mathcal{H}'\)). \(\langle L(X), z \rangle = \langle X, L^*(z) \rangle\) 이 정규 (Theorem 11.3.1, \(X\) 가 가우스이므로). Theorem 11.3.1 의 역방향 → \(L(X)\) 가 가우스.

결론: \(L(X) \sim \mathcal{N}(L(\mu), L C L^*)\). \(\blacksquare\)

15.3 직관

가우스성이 선형 변환에 닫힘 — 다변량 정규의 (\(AX \sim N(A\mu, A\Sigma A^\top)\)) 직접 일반화.

함수 회귀의 추정량이 \(\hat{\beta} = L(X_1, \ldots, X_N)\) 형태 (\(L\) 선형) 이고 \(X_i\) 가 가우스 → \(\hat{\beta}\) 가 자동으로 가우스. 모든 함수 회귀의 신뢰 대역이 이 결과에 의존.

16 Problem 11.15 — KL 점수 항등성 검증

16.1 문제

(11.7) 의 항등성 검증:

\[ E \xi_j = 0, \quad E \xi_j^2 = \lambda_j, \quad E[\xi_j \xi_i] = 0 \quad (i \neq j). \]

여기서 \(\xi_j = \langle X - \mu, v_j \rangle\).

16.2 풀이

\(E X = \mu\) 가정.

\(E \xi_j = 0\): 약적분 (11.1):

\[ E \xi_j = E\langle X - \mu, v_j \rangle = \langle E[X - \mu], v_j \rangle = \langle 0, v_j \rangle = 0. \]

\(E \xi_j^2 = \lambda_j\): 공분산 연산자 정의 + 고유함수 (\(C(v_j) = \lambda_j v_j\)):

\[ E \xi_j^2 = E\langle X - \mu, v_j \rangle^2 = \langle C(v_j), v_j \rangle = \langle \lambda_j v_j, v_j \rangle = \lambda_j \|v_j\|^2 = \lambda_j. \]

(단위 노름 \(\|v_j\| = 1\) 가정.)

\(E[\xi_j \xi_i] = 0\) (\(i \neq j\)):

\[ E[\xi_j \xi_i] = E[\langle X - \mu, v_j \rangle \langle X - \mu, v_i \rangle]. \]

(11.4) 의 표현 \(\langle C(v_j), v_i \rangle = E[\langle X - \mu, v_j \rangle \langle X - \mu, v_i \rangle]\). 고유함수 + 정규직교성:

\[ \langle C(v_j), v_i \rangle = \langle \lambda_j v_j, v_i \rangle = \lambda_j \delta_{ji} = 0 \quad (i \neq j). \]

따라서 \(E[\xi_j \xi_i] = 0\). \(\blacksquare\)

16.3 직관

3 개 항등성이 모두 약적분 + 공분산 연산자의 정의 + 고유함수의 정규직교성 의 조합. 추가 가정 없음 — 정의들이 일관되게 작동하면 자동 도출.

이 3 개가 KL 의 통계적 의미의 핵심:

평균 0 → 점수가 잔차의 성분.
분산 \(\lambda_j\) → 고유값이 분산의 척도.
비상관 → 직교 분해.

17 Problem 11.16 — Wiener·Brownian Bridge 의 공분산 함수

17.1 문제

Proposition 11.4.1 증명: \(c_W(t, s) = \min(t, s)\), \(c_B(t, s) = \min(t, s) - ts\).

17.2 풀이

Wiener 의 경우: 일반성을 잃지 않고 \(s \leq t\) 가정. \(W(t) = W(s) + (W(t) - W(s))\).

\[ c_W(t, s) = E[W(t) W(s)] = E[\bigl(W(s) + (W(t) - W(s))\bigr) W(s)] \]

\[ = E[W(s)^2] + E[(W(t) - W(s)) W(s)]. \]

\(E[W(s)^2] = s\) (Wiener 의 정의: \(W(s) - W(0) \sim N(0, s)\)).
\(E[(W(t) - W(s)) W(s)] = E[(W(t) - W(s)) (W(s) - W(0))]\). 두 증분이 독립 (Definition 11.4.1 (c)) + 평균 0 → 0.

따라서 \(c_W(t, s) = s = \min(t, s)\).

대칭성으로 \(s > t\) 의 경우도 동일하게 \(\min(t, s)\).

Brownian bridge 의 경우: \(B(t) = W(t) - t W(1)\).

\[ c_B(t, s) = E[B(t) B(s)] = E[(W(t) - t W(1))(W(s) - s W(1))]. \]

전개:

\[ = E[W(t) W(s)] - s E[W(t) W(1)] - t E[W(1) W(s)] + ts E[W(1)^2]. \]

각 항을 Wiener 공분산으로:

\[ = \min(t, s) - s \min(t, 1) - t \min(1, s) + ts \cdot 1 \]

\[ = \min(t, s) - s t - t s + ts = \min(t, s) - ts. \]

(주: \(t, s \in [0, 1]\) 에서 \(\min(t, 1) = t\), \(\min(1, s) = s\).) \(\blacksquare\)

17.3 직관

Wiener 의 \(\min(t, s)\): 두 시점 \(t, s\) 가 공유하는 시간 (\([0, \min(t, s)]\)) 만큼의 분산이 누적. 독립 증분의 자연스러운 결과.

Bridge 의 \(\min(t, s) - ts\): Wiener 의 공분산에서 양 끝 고정 (\(B(1) = 0\)) 의 효과 (\(-ts\)) 를 빼낸 것. 양 끝에서 0 으로 수렴하는 제약이 공분산을 0 으로 끌어내림.

비유: Wiener = 자유로운 누적 과정, Bridge = 약속된 시간에 “정확히 0 에 도달” 하는 제약된 과정 — 끝점 제약이 중간 시점들의 변동성에도 영향.

18 종합 정리

Chapter 11 Problems 의 핵심 패턴

문제	도구	핵심 결과
11.1	Slutsky + 연속 사상	t 통계량 점근 정규성의 토대
11.2	CDF 연속점 가산성	분포수렴 → 확률 유계성 (유한차원만!)
11.3	Taylor 1 차 전개	delta method 의 토대
11.4	삼각 부등식	좌표 확률수렴 ⟺ 벡터 확률수렴 (유한차원)
11.5	Theorem 11.1.3	무한 가중 합의 분포수렴 — 함수 CLT 표준 패턴
11.6	Cauchy-Schwarz + Riesz	strong ⇒ weak integrability
11.7	표준 기저 분해	다변량 공분산 = 함수 공분산 연산자
11.8	Cauchy-Schwarz + Fubini	공분산 연산자 자동 HS
11.9	조화급수 발산	HS ≠ nuclear 의 명시 반례
11.10	Mollifier 근사	(11.11) 의 nonneg-def 의 등가성
11.11	디락 델타	(11.11) ⊋ 공분산 함수
11.12	절댓값·Hermitian·Lipschitz	특성 범함수 3 성질
11.13	\(\ell^2\) 표준 기저	무한차원 점별 수렴 ≠ 분포수렴
11.14	수반 연산자 + Theorem 11.3.1	가우스의 선형 변환 보존
11.15	약적분 + 고유함수 정규직교	KL 점수의 평균 0·분산 \(\lambda_j\)·비상관
11.16	독립 증분 + 양 끝 제약	\(\min(t,s)\), \(\min(t,s) - ts\)

18.1 흐름의 큰 그림

Problem 11.1~11.5: 점근 통계의 4 개 무기 + 무한차원 절단 기법
       ↓
Problem 11.6~11.7: 적분 가능성과 다변량과의 일치
       ↓
Problem 11.8~11.11: 공분산 연산자의 핵·HS·nuclear 의 미묘한 차이
       ↓
Problem 11.12~11.14: 특성 범함수와 무한차원 함정·가우스의 선형 변환
       ↓
Problem 11.15~11.16: KL 의 통계적 항등성과 Wiener·Bridge 의 공분산

각 그룹이 11.1~11.4 절의 정의와 정리를 직접 손으로 다뤄보는 연습 — 이 16 문제를 풀고 나면 Ch.11 의 추상 framework 가 구체적 도구로 변환된다.

19 참고문헌

Kokoszka, P., & Reimherr, M. (2017). Introduction to Functional Data Analysis. Chapman & Hall/CRC. Section 11.5 (pp.245-248).
Billingsley, P. (1968). Convergence of Probability Measures. Wiley. — Problem 11.5 의 절단 기법, Problem 11.13 의 tightness.
Bosq, D. (2000). Linear Processes in Function Spaces. Springer. — Problem 11.14 의 가우스 보존 일반화.
Laha, R. G., & Roghatgi, V. K. (1979). Probability Theory. Wiley. Section 7.6 — Problem 11.12 의 특성 범함수, Problem 11.13 의 점별 수렴 함정.
Rudin, W. (1987). Real and Complex Analysis. McGraw-Hill. — Fubini 정리 (Problem 11.8), Cauchy-Schwarz.