1 이 장의 위치와 목적
Chapter 3 가 random function \(X \in L^2\) 와 KL 전개 \(X(t) = \mu(t) + \sum \xi_j v_j(t)\) 를 처음 소개했다. 그러나 그 정의의 확률론적 의미 — “측정 가능”, “기댓값이 존재한다”, “공분산 연산자가 잘 정의된다”, “\(N^{-1/2} \sum (X_i - \mu)\) 가 가우스 극한을 갖는다” — 는 모두 미뤄둔 상태였다. Chapter 11 이 그 미뤘던 토대를 정착시킨다.
Ch.10 이 Hilbert 공간 + 연산자 이론 을 다뤘다면, Ch.11 은 그 위에 확률 구조 를 얹는다. 거리 공간의 확률 원소, Hilbert 공간 값 확률 함수의 기댓값·공분산, 가우스 함수, 극한 정리 (CLT/LLN), KL 전개의 최적성 — 이 5 개가 Ch.12 (표본 추론) 의 모든 일치성·점근정규성 결과의 출발점.
1.1 학습 동기
표본 평균 \(\bar{X}_N = N^{-1} \sum X_i\) 가 모평균 \(\mu\) 로 수렴한다고 말하려면:
- \(X_i\) 가 어느 공간 위 가측 함수인지 정의해야 한다 → 확률 원소.
- “수렴” 의 의미를 정의해야 한다 (점별? 확률? 분포?) → 수렴 모드.
- 기댓값 \(\mu = E X\) 가 함수 공간에 실제로 존재함을 보여야 한다 → 약적분 가능성.
- 분산 \(E \| \bar{X}_N - \mu \|^2\) 의 감소율을 따져야 한다 → 공분산 연산자.
- 분포 수렴의 한계가 가우스임을 보장해야 한다 → Hilbert 공간 CLT.
이 5 단계가 모든 함수 데이터 추론의 출발점 — Ch.11 이 정확히 이 5 단계를 정착.
1.2 학습 목표
이 chapter 를 마치면 독자는:
- 확률 원소 (random element) 의 정의와 약수렴·확률수렴의 차이.
- Slutsky 정리·연속 사상 정리 의 Hilbert 공간 일반화.
- 약적분 가능성 과 기댓값 \(E X\) 의 존재.
- 공분산 연산자의 특성화: symmetric + nonnegative-definite + nuclear.
- 가우스 함수 의 특성 범함수와 Hilbert 공간 CLT/LLN.
- KL 전개의 최적성 과 Wiener process·Brownian bridge 의 닫힌 형태 EFPC.
이는 Ch.12 (sample inference)·Ch.8 (functional time series)·Ch.7 (sparse FDA) 의 모든 점근 결과의 공통 인프라.
1.3 비유: 무대와 배우
Ch.10 이 무대 (Hilbert 공간, 연산자, 텐서) 라면, Ch.11 은 그 무대 위 배우 (확률 함수, 기댓값, 공분산, 가우스 분포). Ch.12 가 그 배우들이 만드는 연극 (표본 평균의 일치성, 신뢰 대역, 가설 검정).
배우 정의가 빠지면 연극이 의미가 없다 — Ch.11 이 정확히 배우의 자격 (어떤 함수가 확률 함수가 되는지) 과 행동 양식 (어떻게 수렴하는지) 을 정의한다.
1.4 이 포스트의 흐름
11.1 거리 공간의 확률 원소 — 측정 가능성, 약/확률/분포 수렴, Slutsky
↓
11.2 Hilbert 공간의 기댓값과 공분산 — 약적분, 공분산 연산자의 3 조건
↓
11.3 가우스 함수와 극한 정리 — 특성 범함수, Hilbert CLT/LLN
↓
11.4 함수 주성분 — KL 전개의 최적성 정리, Wiener·Brownian bridge 의 EFPC
↓
11.5 Chapter 11 problems — 16 개 문제5 개 절이 자연스러운 순서 — 측정 가능성 → 기댓값 → 분포 → 극한 → 응용 (FPC).
2 거리 공간의 확률 원소 (11.1)
2.1 측정 가능 사상
확률 공간 \((\Omega, \mathfrak{O}, P)\) 와 거리 공간 \(\mathcal{S}\) 가 주어졌을 때, 사상 \(X: \Omega \to \mathcal{S}\) 가:
\[ X^{-1}(A) \in \mathfrak{O}, \quad \forall A \in \mathfrak{S} \text{ (Borel } \sigma\text{-대수)} \]
를 만족하면 \(X\) 를 \(\mathcal{S}\) 에서의 확률 원소 라 한다.
- \(\mathcal{S} = \mathbb{R}\) 이면 random variable.
- \(\mathcal{S} = \mathbb{R}^d\) 이면 random vector.
- \(\mathcal{S}\) 가 함수 공간이면 random function.
2.2 직관: 측정 가능성의 의미
\(X^{-1}(A)\) 가 사건이라는 말 = “\(X(\omega) \in A\) 라는 사건의 확률을 잴 수 있다”. 즉 \(\mathcal{S}\) 안의 임의의 Borel 집합 \(A\) 에 대해 \(P(X \in A)\) 가 항상 정의되는 사상만 확률 원소가 된다.
함수의 경우: “\(X\) 가 \(L^2\) 의 어떤 ball 안에 들어가는 사건” 의 확률을 잴 수 있어야 한다 — 이것이 함수 공간 위 추론의 시작점.
2.3 비유: 측정 가능 = 카메라 셔터
확률 공간 \(\Omega\) 가 무대 뒤편이고, \(X\) 가 무대 위 모습을 찍는 카메라. 카메라가 모든 Borel 집합에 대해 사건을 만들 수 있어야 “그 모습이 어떤 영역 안에 있을 확률” 을 따질 수 있다. 측정 불가능한 사상은 “어떤 영역” 자체를 정의할 수 없는 고장난 카메라.
2.4 분포의 정의
\(X\) 가 \(\mathcal{S}\) 에서의 확률 원소이면, 다음 측도 \(\mu\) 가 \(\mathcal{S}\) 위에 정의된다:
\[ \mu(A) = P(X^{-1}(A)) = P(X \in A). \]
\(\mu\) 를 \(X\) 의 분포 (distribution) 라 부른다. 모든 후속 정의 (수렴, 가우스 등) 가 이 \(\mu\) 를 통한 표현에 의존한다.
2.5 약수렴 (Definition 11.1.1)
\(\{\mu_n\}, \mu\) 가 거리 공간 \(\mathcal{S}\) 위 확률 측도일 때:
\[ \mu_n \xrightarrow{w} \mu \iff \int_{\mathcal{S}} f \, d\mu_n \to \int_{\mathcal{S}} f \, d\mu, \quad \forall f \in C_b(\mathcal{S}) \]
여기서 \(C_b(\mathcal{S})\) 는 유계 연속 실함수 전체. 즉 모든 유계 연속 함수에 대한 적분이 수렴.
2.6 직관: 약수렴이 자연스러운 이유
스칼라 \(X_n \stackrel{d}{\to} X\) 는 보통 CDF 의 점별 수렴 (\(F_n(t) \to F(t)\), 연속점) 으로 정의한다. 그러나 함수 공간에서는 CDF 라는 개념이 없다 (다차원 분포의 경계가 너무 복잡).
대신 “모든 매끄러운 측정 함수에 대해 평균이 수렴한다” 는 등가 조건 (Theorem 11.1.1) 을 채택. 이것이 거리 공간 일반에 자연스럽게 일반화된다 — 함수 데이터 점근 이론의 표준 정의.
2.7 비유: 도자기 가게의 매상
가게가 \(X_n\) 분포를 따르는 도자기를 진열할 때 매상의 수렴을 보고 싶다. 어떤 가격 함수 \(f\) 든 (유계 연속) “기대 매상 \(E_{\mu_n} f\) 가 \(E_\mu f\) 로 가까워진다” 면 분포 자체가 가까워진 것 — 가격표마다 확인하지 말고 모든 매끄러운 가격표에 대해 동시에 확인.
2.8 분포수렴 vs 확률수렴
- Convergence in distribution (\(X_n \xrightarrow{d} X\)): \(\mu_n \xrightarrow{w} \mu\).
- Convergence in probability (\(X_n \xrightarrow{P} X\)): \(P(d(X_n, X) > \epsilon) \to 0, \forall \epsilon > 0\).
확률수렴 ⇒ 분포수렴 (역은 일반적으로 거짓).
2.9 직관: 두 수렴의 차이
- 분포수렴: 분포 (확률 측도) 끼리 가까워진다 — \(X_n\) 과 \(X\) 가 같은 표본 공간에 정의될 필요 없음.
- 확률수렴: 표본 자체가 가까워진다 — 같은 \(\omega\) 에 대해 \(X_n(\omega) \approx X(\omega)\).
비유: 분포수렴 = “두 도시의 평균 키 분포가 가까워짐”, 확률수렴 = “같은 사람의 키가 시간이 지남에 따라 어떤 값에 가까워짐”.
함수 데이터에서는 표본 평균의 일치성 = 확률수렴, 점근 분포 = 분포수렴 — 두 개념을 분리해서 명확히 다뤄야 한다.
2.10 핵심 정리 4 개
- Theorem 11.1.2: \(X_n \xrightarrow{d} X\) + \(d(X_n, Y_n) \xrightarrow{P} 0 \Rightarrow Y_n \xrightarrow{d} X\).
- Theorem 11.1.3: 절단 변수 \(X_n(u)\) 가 각 \(u\) 에서 \(X(u)\) 로 분포수렴하고, \(X(u) \xrightarrow{d} X\) (\(u \to \infty\)) 면 + 잔차 통제 → \(X_n \xrightarrow{d} X\).
- Theorem 11.1.4 (Continuous Mapping): \(h\) 가 연속 (불연속 점이 측도 0) 이면 \(X_n \xrightarrow{d} X \Rightarrow h(X_n) \xrightarrow{d} h(X)\).
- Theorem 11.1.5 (Slutsky): \(X_n \xrightarrow{d} X\) + \(Y_n \xrightarrow{P} a \Rightarrow (X_n, Y_n) \xrightarrow{d} (X, a)\).
2.11 직관: 이 4 개 정리가 왜 핵심 무기인가
Slutsky = “확률수렴하는 잡음은 분포수렴 결과에 영향을 안 준다”. 표본 평균이 분포수렴하고 표본 분산이 모분산으로 확률수렴하면, 둘을 결합한 통계량 (예: t 통계량) 의 분포수렴이 자동으로 보장된다.
연속 사상 = “분포수렴은 연속 변환을 견딘다”. 함수 추정량 \(\hat{X}_N\) 의 분포수렴이 정해지면 임의의 연속 함수 \(h\) (예: \(h(X) = \int X^2\)) 의 분포수렴도 자동.
Theorem 11.1.3 = “유한차원 절단 + 잔차 통제 = 무한차원 분포수렴”. 함수 공간의 모든 분포수렴 증명이 사실상 이 절단 기법을 따른다.
2.12 비유: 톱니바퀴와 동력 전달
이 4 개 정리가 톱니바퀴 — 한 점근 결과를 다른 점근 결과로 자동 변환. 표본 평균의 분포수렴 (입력) → Slutsky 와 연속 사상으로 → t 통계량·F 통계량·신뢰 대역 (출력). 톱니바퀴가 없으면 매번 처음부터 증명해야 하지만, 갖춰지면 한 결과를 다양한 통계량에 재활용.
3 Hilbert 공간의 기댓값과 공분산 (11.2)
이 절부터는 \(X\) 가 separable Hilbert 공간 \(\mathcal{H}\) 의 값을 갖는다고 가정.
3.1 적분 가능성의 두 의미
- Strongly integrable: \(E \|X\| < \infty\).
- Weakly integrable: 임의의 \(y \in \mathcal{H}\) 에 대해 \(E |\langle X, y \rangle| < \infty\) 이고, 다음을 만족하는 유일한 \(e \in \mathcal{H}\) 존재:
\[ E[\langle X, y \rangle] = \langle e, y \rangle, \quad \forall y \in \mathcal{H}. \]
이때 \(E X := e\) 를 \(X\) 의 기댓값 이라 한다.
3.2 직관: 약적분이 자연스러운 이유
스칼라 기댓값 = “관측값에 가중치 (확률) 를 곱한 합”. 함수 기댓값을 같은 방식으로 정의하려면 “함수 + 확률 가중치 + 합 = 함수” 라는 무한차원 합을 정의해야 한다 — 매끄럽지 않다.
대신 각 방향 \(y\) 로 사영한 다음 그 위에서 스칼라 기댓값을 취한다 (\(\langle X, y \rangle\)). 그 결과를 모은 것이 곧 어떤 함수 \(e\) 의 사영이라면, 그 \(e\) 를 기댓값으로 정의 — 이것이 약적분.
비유: 입체 도형의 무게중심을 직접 계산하는 대신 각 평면으로의 그림자 의 무게중심을 모두 구하면 자동으로 입체의 무게중심이 결정됨.
3.3 Riesz 와의 연결
Riesz 표현 정리 (Theorem 10.2.3): Hilbert 공간 위 임의의 연속 선형 범함수 \(L: \mathcal{H} \to \mathbb{R}\) 가 \(L(y) = \langle e, y \rangle\) 형태 — 유일한 \(e\) 존재.
Definition 11.2.1 의 약적분이 정확히 이 Riesz 의 기계 적용 — \(L(y) = E[\langle X, y \rangle]\) 가 연속 선형이면 자동으로 \(e = E X\) 존재.
3.4 Theorem 11.2.1 — 두 가지 핵심 성질
\(X\) 가 적분 가능이면:
- Contraction: \(\|E X\| \leq E \|X\|\).
- Linear operator commutativity: 임의의 유계 선형 연산자 \(L\) 에 대해 \(E[L(X)] = L(E X)\).
직관: contraction = “분산이 있으면 기댓값의 노름이 절대 노름의 평균을 넘지 않는다” — 평균이 극단을 부드럽게 한다는 자명한 사실. Commutativity = “선형 연산자는 기댓값과 순서 교환 가능” — 함수 회귀, FPCA, 적분 변환 등 모든 선형 연산이 기댓값 안팎으로 자유롭게 이동.
3.5 공분산 연산자의 정의
\(X\) 가 square integrable (\(E \|X\|^2 < \infty\)) 이면 공분산 연산자 \(C: \mathcal{H} \to \mathcal{H}\):
\[ C(y) = E\bigl[\langle X - E X, y \rangle (X - E X)\bigr], \quad y \in \mathcal{H}. \]
\(\mathcal{H} = L^2\) 이면 적분 핵 형태:
\[ C(y)(t) = \int c(t, s) y(s) \, ds, \quad c(t, s) = E[(X(t) - \mu(t))(X(s) - \mu(s))]. \]
3.6 직관: 다변량 공분산의 일반화
다변량 (\(\mathcal{H} = \mathbb{R}^d\)) 의 경우 \(C(y) = \Sigma y\) — 공분산 행렬 곱하기. 함수 공간에서도 똑같이 “\(y\) 방향으로 사영한 다음 \(X\) 와 곱한 기댓값” 이 공분산 연산자.
핵심: \(C\) 는 \(y\) 와 \(X\) 의 동시 변동 (\(y\) 방향에서 \(X\) 가 얼마나 흔들리는가) 을 측정. 이것이 공분산 함수 \(c(t, s)\) 와 똑같은 정보 — 표현만 다름.
3.7 Theorem 11.2.2 — 공분산 연산자의 특성화
\(C: \mathcal{H} \to \mathcal{H}\) 가 어떤 square integrable \(X\) 의 공분산 연산자 ⟺ 다음 3 조건:
- Symmetric: \(\langle C(y), z \rangle = \langle y, C(z) \rangle\).
- Nonnegative-definite: \(\langle C(y), y \rangle \geq 0\).
- Nuclear (trace class): \(\sum_{j=1}^\infty \lambda_j < \infty\).
3.8 직관: 왜 nuclear 가 필요한가
스펙트럼 정리 (Theorem 10.4.5) 가 \(C(x) = \sum_j \lambda_j \langle x, v_j \rangle v_j\) 분해를 준다. 이때:
\[ E \|X - \mu\|^2 = \sum_{j=1}^\infty E \langle X - \mu, v_j \rangle^2 = \sum_{j=1}^\infty \lambda_j. \]
\(X\) 가 square integrable (\(E \|X\|^2 < \infty\)) ⟺ 고유값의 합이 유한 = nuclear.
비유: 음악의 푸리에 분해 — 각 주파수의 에너지 (고유값) 가 무한히 모이면 전체 에너지가 발산. 함수가 \(L^2\) 안에 들어가려면 고유값이 충분히 빨리 감소 해야 한다.
3.9 비유: 측정 가능한 무한 자원
\(\sum \lambda_j < \infty\) 가 “측정 가능한 무한 의 핵심 조건”. 무한히 많은 방향 \(v_j\) 가 있어도 그 영향력 (분산 \(\lambda_j\)) 의 총합이 유한하면 — 안전하게 다룰 수 있는 무한차원.
이 조건이 깨지면: 무한차원 표준 가우스 (모든 \(\lambda_j = 1\)) 가 등장해 \(E \|X\|^2 = \infty\) — Hilbert 공간 안의 확률 원소가 아님.
4 가우스 함수와 극한 정리 (11.3)
4.1 특성 범함수
\(X\) 가 separable Hilbert 공간 \(\mathcal{H}\) 의 확률 함수일 때:
\[ \varphi_X(y) = E\exp\{i \langle y, X \rangle\}, \quad y \in \mathcal{H}. \]
스칼라의 특성 함수 \(\varphi(t) = E e^{itX}\) 의 자연스러운 일반화 — 무한차원 인덱스 \(y\) 에 대해 정의.
4.2 가우스 함수의 정의
\(X\) 가 다음 형태의 특성 범함수를 가지면 Gaussian:
\[ \varphi_X(y) = \exp\Bigl\{ i \langle \mu, y \rangle - \tfrac{1}{2} \langle C(y), y \rangle \Bigr\}, \]
여기서 \(\mu \in \mathcal{H}\), \(C\) 는 공분산 연산자.
등가 조건 (Theorem 11.3.1): \(X\) 가 가우스 ⟺ 임의의 \(y \in \mathcal{H}\) 에 대해 \(\langle y, X \rangle\) 가 정규 분포.
4.3 직관: 다변량 정규의 무한차원 일반화
다변량 정규 (\(X \sim N(\mu, \Sigma)\)) 의 정의: 임의의 선형 결합 \(a^T X\) 가 정규. Theorem 11.3.1 이 정확히 이 정의의 함수 공간 일반화 — 모든 1 차원 사영이 정규 ⟺ 함수 자체가 가우스.
이로써:
- 함수 분포의 검증이 1 차원 정규성 검증으로 환원.
- 가우스 함수의 분포가 평균 함수 \(\mu\) + 공분산 함수 \(c(t, s)\) 의 두 모수만으로 완전 결정.
- 점수 \(\xi_j = \langle X - \mu, v_j \rangle\) 가 자동으로 독립 정규 \(N(0, \lambda_j)\) — KL 전개의 가장 강력한 결과.
4.4 비유: 만화경의 모든 회전
가우스 함수 = 모든 1 차원 사영이 정규 분포인 함수. 비유: 만화경을 어느 각도로 돌려봐도 같은 종류의 무늬 (정규) — 한 각도 (1 차원 사영) 만 보면 다른 각도도 자동으로 결정.
비-가우스의 경우는 각도마다 무늬가 달라 각각 별도의 분포를 가짐 — 통일된 묘사 불가능.
4.5 Hilbert 공간 CLT (Theorem 11.3.2)
\(X_i\) 가 iid square integrable, \(E X_i = \mu\), 공분산 연산자 \(C\) 일 때:
\[ N^{-1/2} \sum_{i=1}^N (X_i - \mu) \xrightarrow{d} Z, \]
여기서 \(Z\) 는 평균 0, 공분산 연산자 \(C\) 의 가우스 함수.
4.6 직관: 모든 함수 추론의 출발점
이 한 줄이 Ch.12 의 모든 점근 결과 의 출발점:
- 표본 평균의 분포수렴: \(\sqrt{N}(\bar{X}_N - \mu) \xrightarrow{d} Z\).
- 신뢰 대역: \(Z\) 의 분포로부터 quantile 계산.
- 가설 검정: \(\|\bar{X}_N - \mu_0\|^2\) 의 분포가 \(\sum \lambda_j N_j^2\) (chi-square 가중합) 로 수렴.
- BOA 누적 수익률 (Ch.1) 의 평균 검정 → 이 CLT 적용.
4.7 비유: 무한차원 종 분포의 건축
스칼라 CLT = “표본 평균이 정규 종 분포로 수렴”. 함수 CLT = “표본 함수 평균이 무한차원 종 분포 (가우스 함수) 로 수렴”.
건축 비유: 단일 기둥 (스칼라) 의 종 분포 ⟶ 무수히 많은 기둥들 (함수) 의 종합 종 분포. 각 기둥마다 공분산 연산자 \(C\) 가 다른 기둥과의 결합 강도를 결정.
4.8 LLN (Theorem 11.3.3)
\(X_i\) 가 iid integrable, \(E X_i = \mu\) 이면:
\[ N^{-1} \sum_{i=1}^N X_i \xrightarrow{a.s.} \mu. \]
표본 평균의 거의 확실한 수렴 — Ch.12 의 표본 평균 일치성 증명의 시작점.
CLT 와 LLN 모두 iid 가정을 약하게 의존성 (weak dependence) 으로 대체 가능. Ch.8 (functional time series) 가 정확히 이 일반화를 다룸 — FAR(1) 모형, 장기 공분산 함수 등.
5 함수 주성분 (11.4)
5.1 KL 전개의 최적성 정리
\(X\) 가 square integrable, 공분산 연산자 \(C\) 의 고유값이 단조 감소 (\(\lambda_1 \geq \lambda_2 \geq \ldots\)). 임의의 \(p \geq 1\) 에 대해:
\[ S(u_1, \ldots, u_p) = E\Bigl\| X - \sum_{k=1}^p \langle X, u_k \rangle u_k \Bigr\|^2 \]
가 최소가 되는 정규직교 시스템 \((u_1, \ldots, u_p)\) 가 정확히 \(C\) 의 고유함수 \((v_1, \ldots, v_p)\).
5.2 직관: 왜 EFPC 가 “최적” 기저인가
함수 데이터를 \(p\) 개 함수의 선형 결합으로 근사할 때, 기대 잔차 제곱 을 최소화하는 기저가 EFPC. 다른 어떤 정규직교 시스템 (Fourier, Spline 등) 도 이 의미에서 EFPC 보다 못함.
증명의 직관: \(S(u_1, \ldots, u_p) = E\|X\|^2 - \sum_{k=1}^p \langle C(u_k), u_k \rangle\). 두 번째 항을 최대화 → Rayleigh-Ritz (Theorem 10.4.5) → 고유값 \(\lambda_1, \ldots, \lambda_p\) 의 합이 최대 → 고유함수에서 달성.
5.3 비유: 손전등의 가장 밝은 방향
3 차원에서 빛이 비추는 방향을 1 개 골라 가장 큰 강도를 얻고 싶을 때 — 가장 큰 분산을 가진 축 (PC1). EFPC 가 정확히 같은 사고의 함수 일반화 — 무한차원 빛 (랜덤 함수) 을 가장 잘 비추는 첫 \(p\) 개 방향.
5.4 KL 전개 (Eq. 11.6)
\(\mu = E X\), \(v_j\) 가 \(C\) 의 고유함수, \(\xi_j = \langle X - \mu, v_j \rangle\) 일 때:
\[ X = \mu + \sum_{j=1}^\infty \xi_j v_j, \quad X(t) = \mu(t) + \sum_{j=1}^\infty \xi_j v_j(t). \]
점수 \(\xi_j\) 의 성질:
- \(E \xi_j = 0\), \(E \xi_j^2 = \lambda_j\), \(E[\xi_j \xi_i] = 0\) (\(i \neq j\)).
- \(E \|X - \mu\|^2 = \sum_{j=1}^\infty \lambda_j\) (분산 분해).
5.5 직관: 분산의 직교 분해
공분산 함수의 고유분해가 분산을 무한히 많은 직교 방향으로 분해:
- \(\lambda_1\) — 가장 큰 분산을 갖는 첫 방향 (PC1).
- \(\lambda_2\) — 두 번째 큰 분산 (PC2).
- \(\sum \lambda_j = E\|X - \mu\|^2\) — 총 변동.
이 분해가 FDA 의 핵심 도구 — 차원 축소 (앞 \(p\) 개만 유지), 분산 비율, 신호/잡음 분리 등.
5.6 Gaussian KL — 점수의 독립성
\(X\) 가 가우스이면:
\[ X(t) = \mu(t) + \sum_{j=1}^\infty \sqrt{\lambda_j} N_j v_j(t), \]
여기서 \(N_j \sim N(0, 1)\) 독립.
직관: 가우스 함수의 점수는 비상관 (Eq. 11.7) + 가우스 (Theorem 11.3.1) → 독립. 이 한 줄이 가우스 함수의 시뮬레이션·검정·정규성 가정 모두를 단순화.
5.7 Wiener Process 와 Brownian Bridge
- Wiener process \(\{W(t), t \in [0, 1]\}\): \(W(0) = 0\), \(W(t) - W(s) \sim N(0, t - s)\), 독립 증분.
- Brownian bridge \(B(t) = W(t) - t W(1)\), \(t \in [0, 1]\).
공분산 함수 (Proposition 11.4.1):
- Wiener: \(c_W(t, s) = \min(t, s)\).
- Bridge: \(c_B(t, s) = \min(t, s) - ts\).
5.8 Theorem 11.4.2 — 닫힌 형태 EFPC
Wiener process:
\[ v_j(t) = \sqrt{2} \sin\bigl((j - \tfrac{1}{2}) \pi t\bigr), \quad \lambda_j = \frac{1}{(j - \tfrac{1}{2})^2 \pi^2}. \]
Brownian bridge:
\[ v_j(t) = \sqrt{2} \sin(\pi j t), \quad \lambda_j = \frac{1}{j^2 \pi^2}. \]
5.9 직관: 미분 방정식으로의 환원
증명 핵심: \(\int \min(s, t) v(s) \, ds = \lambda v(t)\) 를 두 번 미분 → \(-v(t) = \lambda v''(t)\).
이는 단순한 2 차 ODE — 일반해 \(v(t) = A \sin(t/\sqrt{\lambda}) + B \cos(t/\sqrt{\lambda})\). 경계 조건 (\(v(0) = 0\), \(v'(1) = 0\)) 으로 \(B = 0\) 과 \(\lambda\) 의 가산 무한 값 결정.
비유: 고유함수 = 진동의 모드 — 양 끝이 고정된 줄의 진동 모드와 정확히 같은 수학 (sin 의 정수배). EFPC 와 푸리에 기저의 깊은 연결.
5.10 Corollary 11.4.1 — KL 전개의 닫힌 형태
Wiener:
\[ W(t) = \sum_{j=1}^\infty \frac{\sqrt{2}}{(j - \tfrac{1}{2}) \pi} N_j \sin\bigl((j - \tfrac{1}{2}) \pi t\bigr). \]
Brownian bridge:
\[ B(t) = \sum_{j=1}^\infty \frac{\sqrt{2}}{j \pi} N_j \sin(j \pi t). \]
\(N_j \sim N(0, 1)\) 독립.
이 두 표현이 함수 시뮬레이션의 표준 방식 — 절단 (\(j = 1, \ldots, J\)) 으로 임의의 정확도로 Wiener process 와 Brownian bridge 를 생성.
5.11 FPC 시뮬레이션 식 (Eq. 11.10)
지정된 EFPC \(e_j\) 와 고유값 \(\lambda_j = a_j^2\) 를 갖는 함수 데이터의 시뮬레이션:
\[ X_n(t) = \sum_{j=1}^p a_j Z_{jn} e_j(t), \]
여기서 \(Z_{jn}\) 가 iid 평균 0, 분산 1 인 변수.
이 식이 R 의 fda, refund, fdapace 패키지의 FDA 시뮬레이션 표준 방법 — 임의의 공분산 구조 (지정 EFPC + 고유값) 를 갖는 함수 표본 생성.
6 Chapter 11 problems (11.5)
총 16 문제 — Slutsky 의 R 결과 도출 (11.1), 분포수렴의 boundedness in probability (11.2), 연속 함수와 확률수렴의 결합 (11.3~11.4), 무한 가중 합의 분포수렴 (11.5), strong/weak integrability 동치 (11.6), 다변량 ↔︎ 함수 공분산 일치 (11.7), 공분산 함수의 HS 노름 한계 (11.8), 비공분산이지만 정의는 만족하는 연산자 (11.9), HS 공분산 핵의 nonneg 정의성 (11.10~11.11), 특성 범함수의 성질 (11.12), 무한차원에서 특성 범함수 점별 수렴이 분포 수렴을 imply 하지 않는 반례 (11.13), 가우스에 유계 연산자 적용 → 가우스 (11.14), KL 점수 성질 검증 (11.15), Wiener·Bridge 공분산 함수 증명 (11.16).
이 문제들이 Ch.11 의 정의와 정리를 직접 손으로 다뤄보는 연습 — 별도 풀이 포스트 (11-5-chapter11-problems.qmd) 에서 자세히 다룸 (예정).
7 핵심 요약
- 확률 원소 = 측정 가능 사상. 약수렴·확률수렴·분포수렴이 거리 공간에서 정의되며, Slutsky·연속 사상·Theorem 11.1.3 이 점근 통계의 4 개 무기.
- 약적분과 기댓값. Riesz 표현 정리로 \(E X\) 의 존재가 자동 보장. Contraction + commutativity 가 모든 선형 통계의 기댓값 처리를 단순화.
- 공분산 연산자의 특성화: symmetric + nonnegative-definite + nuclear (\(\sum \lambda_j < \infty\)). Square integrable 함수의 자연스러운 결과.
- 가우스 + KL 최적성 + Wiener/Bridge 닫힌 형태. Hilbert 공간 CLT 가 모든 함수 추론의 출발점, KL 의 EFPC 최적성이 차원 축소의 정당화, Wiener/Bridge 의 sin 기반 EFPC 가 함수 시뮬레이션의 표준.
7.1 Ch.10 → Ch.11 → Ch.12 의 흐름
Ch.10 — Hilbert 공간 + 연산자 + 텐서
(수학적 토대, 결정적 framework)
↓
Ch.11 — 확률 함수 + 기댓값 + 공분산 + 가우스 + CLT/KL
(확률론적 framework, 점근 무기)
↓
Ch.12 — 표본 평균·공분산의 일치성 + EFPC 의 수렴 + 신뢰 대역
(표본 추론, BOA 누적 수익률 적용)Ch.12 의 모든 결과가 Ch.11 의 다섯 도구 (확률 원소, 약적분, 공분산 연산자 특성화, 가우스 함수, CLT/LLN) 의 직접 응용 — 이 인프라가 없으면 함수 데이터 추론이 정의되지 않는다.
7.2 응용으로의 연결
- Ch.4~6 (회귀·GLM): 추정량의 점근 정규성 → Ch.11 의 Hilbert CLT 에 의존.
- Ch.7 (sparse FDA): PACE 의 점근 분포 → Ch.11 의 CLT + Slutsky 적용.
- Ch.8 (functional time series): FAR(1) 의 추정량 분포 → Ch.11 의 CLT 를 weak dependence 로 일반화.
- Ch.9 (spatial FDA): 함수 크리깅의 BLUP → Ch.11 의 공분산 연산자 framework.
- Ch.12 (sample inference): 평균·공분산·EFPC 의 일치성과 수렴 속도 → Ch.11 의 모든 도구 직접 사용.
이 연결이 Ch.11 이 응용 chapter 들의 공통 토대 임을 보여준다 — 따로 다루지만 모든 곳에서 호출.
8 참고문헌
- Kokoszka, P., & Reimherr, M. (2017). Introduction to Functional Data Analysis. Chapman & Hall/CRC. Ch.11.
- Billingsley, P. (1968). Convergence of Probability Measures. Wiley. — 약수렴 이론의 표준.
- Bosq, D. (2000). Linear Processes in Function Spaces. Springer. — Hilbert 공간 CLT, FAR(1) 토대.
- Laha, R. G., & Roghatgi, V. K. (1979). Probability Theory. Wiley. — 특성 범함수, 가우스 함수 (Section 7.6).
- Rudin, W. (1987). Real and Complex Analysis. McGraw-Hill. — 측도론 사전 지식.