1 이 장의 위치와 목적
Chapter 3 에서 함수 데이터의 framework — random functions, KL 전개, 공분산 연산자 — 를 처음 소개했다. 그러나 그 framework 의 수학적 토대 는 압축적으로만 다루었다. Chapter 10 과 11 이 그 토대를 깊이 있게 정착시킨다.
Hilbert 공간 이론의 핵심 개념과 정리 를 FDA 의 관점에서 정리. Multivariate statistics 의 배경이 있는 독자가 필요한 도구를 빠르게 익히도록 설계 — 모든 functional analysis 를 다루지 않고 FDA 에서 자주 등장하는 부분 만 집중.
1.1 학습 동기
FDA 의 모든 도구가 Hilbert 공간 위에서 작동:
- Random functions \(X \in L^2\) — Hilbert 공간의 원소.
- 공분산 연산자 \(C: L^2 \to L^2\) — Hilbert 공간 사이 선형 연산자.
- EFPC \(v_j\) — 공분산 연산자의 고유함수 (Hilbert-Schmidt theorem 의 결과).
- KL 전개 \(X = \mu + \sum \xi_j v_j\) — Parseval 등식의 응용.
- Functional regression 의 핵 \(\beta(t,s)\) — 텐서 공간의 원소.
이 모든 도구의 이론적 정당화 가 Ch.10 의 framework 에 의존.
1.2 학습 목표
이 chapter 를 마치면 독자는:
- Hilbert 공간 의 정의와 표준 예시 (\(\ell^2, L^2, L^2(D)\), Sobolev, 직곱) 인식.
- 사영 정리 와 정규직교 기저, Parseval 등식 응용.
- Hilbert-Schmidt 연산자 와 적분 연산자의 관계.
- 스펙트럼 정리 (Mercer 의 일반화) 의 응용.
- 텐서 곱 의 의미와 \(L^2(T) \otimes L^2(T) = L^2(T \times T)\).
이는 FDA 연구·개발에 필수적 toolkit — 단순 응용을 넘어 새 모형 개발에 필요.
1.3 비유: 건축의 기초 vs 응용
Ch.1~9 가 건축의 응용 (회귀, 분류, 시계열, 공간 분석) 이라면, Ch.10~11 은 건축의 기초 (구조 역학, 재료 과학).
응용 단계에서는 기초를 명시적으로 인용하지 않지만, 기초가 없으면 응용이 무너진다. Ch.10~11 이 그 토대를 정확히 정착시킨다.
1.4 이 포스트의 흐름
10.1 Hilbert 공간 — 내적 공간 + 완비성
↓
10.2 사영과 정규직교 기저 — Parseval, Fourier basis
↓
10.3 선형 연산자 — 유계, Hilbert-Schmidt, 적분 연산자
↓
10.4 스펙트럼 이론 — 고유분해, Mercer, Rayleigh-Ritz
↓
10.5 텐서 곱 — bilinear maps, L²(T)⊗L²(T) = L²(T×T)5 절 모두 자연스러운 순서 — 각 절이 다음 절의 도구를 제공.
2 벡터 공간과 내적 공간
2.1 벡터 공간
집합 \(\mathcal{V}\) 와 두 연산 (덧셈, 스칼라 곱) 이 다음 axiom 만족:
- 덧셈 가환·결합·항등원·역원.
- 스칼라 곱 분배·결합.
스칼라는 \(\mathbb{R}\) 또는 \(\mathbb{C}\) — 본 chapter 는 주로 \(\mathbb{R}\).
2.2 직관: Vector Space 의 보편성
Vector space 가 선형 결합이 의미 있는 모든 객체 의 추상화 — 유한차원 벡터 (\(\mathbb{R}^d\)), 무한차원 수열 (\(\ell^2\)), 함수 (\(L^2\)), 행렬 등.
Ch.10 가 다루는 모든 공간이 vector space — 이 추상화가 함수와 벡터를 같은 수학적 framework 로 묶는다.
2.3 내적 공간
벡터 공간 \(\mathcal{V}\) 와 내적 \(\langle \cdot, \cdot \rangle: \mathcal{V} \times \mathcal{V} \to \mathbb{R}\):
- 대칭: \(\langle x, y \rangle = \langle y, x \rangle\).
- 선형성: \(\langle ax + by, z \rangle = a \langle x, z \rangle + b \langle y, z \rangle\).
- 양정치: \(\langle x, x \rangle \geq 0\), 등호는 \(x = 0\) 만.
내적으로부터 노름 정의:
\[ \|x\| = \sqrt{\langle x, x \rangle}. \]
2.4 핵심 부등식
\[ |\langle x, y \rangle| \leq \|x\| \|y\|. \]
등호는 \(x, y\) 가 평행할 때만.
이 부등식이 모든 함수 분석의 기본 도구 — Ch.4 의 회귀 식, Ch.5 의 핵 추정, Ch.7 의 BLUP 등 모두 핵심 단계에서 사용.
2.5 비유: 두 벡터의 각도
내적 = \(\|x\| \|y\| \cos\theta\) — 두 벡터의 각도 측정. Cauchy-Schwarz = “코사인의 절댓값이 1 이하” — 자명한 사실의 추상화.
함수 차원에서도 같은 직관 — 두 함수의 “각도” 가 cos 으로 측정.
3 Hilbert 공간
3.1 완비성
\(\{x_n\}\) 이 Cauchy 수열 이면: \(d(x_n, x_m) \to 0\) as \(n, m \to \infty\).
완비 (complete) 공간: 모든 Cauchy 수열이 한계를 갖는 공간.
3.2 Hilbert 공간의 정의
완비 내적 공간 = Hilbert space.
\(\mathbb{R}^d\) 가 Hilbert (자명), \(\ell^2\) 와 \(L^2\) 도 Hilbert (Theorem 10.1.1).
3.3 직관: 완비성의 의미
완비성 = 수렴해야 할 수열이 실제 수렴 — 한계가 공간 안에 있음.
비완비 예시: 유리수 수열 \(\{1, 1.4, 1.41, 1.414, \ldots\}\) 가 \(\sqrt{2}\) 로 수렴하지만 \(\sqrt{2}\) 는 유리수가 아님 — 한계가 공간 밖.
Hilbert 공간은 이런 “구멍 이 없는” 공간 — 모든 수렴 수열의 한계가 안에 있음.
3.4 비유: 보석함의 충실함
좋은 보석함 = 모든 보석이 들어있음. 비완비 공간 = “수집한 보석이 누락된 종류가 있는” 보석함 — 분석에 필요한 객체 (한계) 가 빠져있음.
Hilbert 공간 = “모든 함수 분석의 도구가 안에 있는 충실한 공간” — 무한 합·극한·미분 등이 자연스럽게 작동.
3.5 표준 예시
| 공간 | 정의 | 응용 |
|---|---|---|
| \(\mathbb{R}^d\) | \(d\)-차원 유클리드 | 다변량 통계 |
| \(\ell^2\) | 제곱합 가능 수열 \(\sum |x_i|^2 < \infty\) | 시계열 점수 |
| \(L^2[0, 1]\) | 제곱적분 가능 함수 | FDA 의 표준 |
| \(L^2(\mathcal{D})\) | \(\mathcal{D} \subseteq \mathbb{R}^d\) 위 제곱적분 | Spatial FDA, fMRI |
| Sobolev \(H^K(\mathcal{T})\) | \(K\) 회 미분 가능 | Smoothing penalty |
3.6 \(L^2\) 의 정의
Lebesgue 측정 가능 실함수 \(x: [0, 1] \to \mathbb{R}\) 중 다음 조건 만족:
\[ \int_0^1 x^2(t) \, dt < \infty. \]
내적:
\[ \langle x, y \rangle = \int_0^1 x(t) y(t) \, dt. \]
3.7 직관: \(L^2\) 가 FDA 의 표준인 이유
대부분의 함수 데이터 (기온 곡선, 형광 곡선, 사망률 곡선 등) 가 자연스럽게 \(L^2\):
- 연속 함수: 자명히 제곱적분 (유한 구간).
- 점프나 매끄럽지 않은 함수: 여전히 \(L^2\) 에 포함 가능.
\(L^2\) 가 가장 포괄적이고 단순한 함수 공간 — 매끄러움 가정 없이도 작동.
3.8 비유: 옷 가게의 사이즈
매장이 모든 사이즈 (XS, S, M, L, XL) 를 구비 = \(L^2\). 한 사이즈만 구비 = 더 좁은 공간 (예: 연속 함수 공간).
\(L^2\) 의 “포괄성” 이 FDA 의 다양한 함수 데이터를 처리할 수 있는 토대.
4 사영과 정규직교 기저 (10.2)
4.1 사영 정리 (Theorem 10.2.2)
\(\mathcal{G}\) 가 Hilbert 공간 \(\mathcal{H}\) 의 닫힌 부분공간이면, 모든 \(x \in \mathcal{H}\) 가 다음 형태로 분해:
\[ x = P(x) + Q(x), \quad P(x) \in \mathcal{G}, Q(x) \in \mathcal{G}^\perp. \]
- \(P(x)\) — \(\mathcal{G}\) 위의 사영 (가장 가까운 점).
- \(Q(x)\) — \(\mathcal{G}^\perp\) 위의 사영.
- \(\|x\|^2 = \|P(x)\|^2 + \|Q(x)\|^2\) (피타고라스).
4.2 직관: 그림자의 일반화
3 차원 공간의 평면에 점을 사영 = 평면 위의 가장 가까운 점 (수직 발). 같은 사고가 임의 Hilbert 공간으로 일반화.
함수 차원: 무한차원 함수 \(x\) 를 유한 차원 부분공간 (예: 첫 5 개 EFPC 의 span) 위로 사영 → 그 부분공간에서 가장 가까운 함수 (가장 좋은 근사).
이는 FDA 의 모든 차원 축소의 토대 — 무한차원을 유한차원 사영으로 근사.
4.3 정규직교 기저
가산 정규직교 시스템 \(\{e_1, e_2, \ldots\}\) 가:
\[ \langle e_i, e_j \rangle = \delta_{ij}, \]
이고 모든 \(x \in \mathcal{H}\) 가 다음 형태로 표현:
\[ x = \sum_{j=1}^\infty \langle x, e_j \rangle e_j. \]
이런 시스템을 정규직교 기저라 한다. 이를 갖는 Hilbert 공간은 separable.
4.4 Parseval 등식 (Theorem 10.2.4)
Separable Hilbert 공간 + 정규직교 기저 \(\{e_j\}\):
\[ \|x\|^2 = \sum_{j=1}^\infty |\langle x, e_j \rangle|^2. \]
함수의 노름 = 좌표의 제곱합.
4.5 직관: 좌표계의 무한차원 일반화
\(\mathbb{R}^d\) 의 직교 좌표: \(\|x\|^2 = \sum x_i^2\). Parseval 이 같은 사실의 무한차원 일반화 — 좌표 (내적값) 의 제곱합 = 함수 노름.
이는 FDA 의 차원 축소의 핵심:
- 첫 \(K\) 좌표 (\(\langle x, e_j \rangle\), \(j \leq K\)) 가 \(\|x\|^2\) 의 대부분 설명.
- 나머지 (큰 \(j\)) 가 작음 → 절단.
KL 전개의 \(X = \mu + \sum \xi_j v_j\) 가 정확히 이 패턴 — EFPC 가 데이터 적응적 정규직교 기저.
4.6 Fourier 기저 (식 10.5)
가장 흔한 정규직교 기저 — 삼각함수:
\[ e_1(t) = 1, \quad e_2(t) = \sqrt{2} \sin(2\pi t), \quad e_3(t) = \sqrt{2} \cos(2\pi t), \ldots \]
응용에서 보통 \(2K + 1\) 개 (\(K\) 개 sin + \(K\) 개 cos + 상수) 사용.
기상 데이터 (Ch.9 Canadian Weather) 같은 주기 데이터 에 자연스러움.
4.7 직관: 음악의 푸리에 분해
음악을 사인·코사인 (주파수 성분) 으로 분해 — 표준 신호 처리 도구. Fourier 기저가 같은 사고의 함수 공간 일반화.
EFPC 가 데이터 기반 기저 라면 Fourier 가 결정적 기저 — 데이터의 패턴과 무관하게 미리 정해진 기저.
4.8 Riesz 표현 정리 (Theorem 10.2.3)
\(L: \mathcal{H} \to \mathbb{R}\) 이 선형 연속이면:
\[ \exists! y \in \mathcal{H} \text{ s.t. } L(x) = \langle x, y \rangle \forall x. \]
모든 연속 선형 범함수가 내적의 형태.
4.9 직관: 점 평가의 표현
함수 공간의 모든 “linear functional” (예: \(L(x) = \int x(t) dt\) 또는 \(L(x) = x(0.5)\) - 단, 후자는 \(L^2\) 에서 안 정의됨) 이 어떤 함수 \(y\) 와의 내적으로 표현.
이 정리가 공분산 연산자의 정의, 점 평가 (Reproducing kernel), Hilbert-Schmidt 연산자의 핵 정의 등의 토대.
5 선형 연산자 (10.3)
5.1 정의
\(L: \mathcal{H} \to \mathcal{H}\) 가 다음을 만족하면 선형:
\[ L(ax + by) = a L(x) + b L(y). \]
유계 (bounded) 이면: \(\|L(x)\| \leq K \|x\|\) for some constant \(K\).
연산자 노름:
\[ \|L\|_\mathcal{L} = \sup_{\|x\| = 1} \|L(x)\|. \]
5.2 유계 ↔︎ 연속
유계 선형 연산자 ↔︎ 연속 선형 연산자.
유계 = 연속 — 단순한 유한 차원에서는 자명하지만, 무한차원에서도 같은 동치.
5.3 직관: 유계의 의미
유계 = “유한 입력에 유한 출력” — 작용이 폭발하지 않음. 연속 = “작은 입력 변화에 작은 출력 변화”.
두 사고가 무한차원에서 동등 — Hilbert 공간 이론의 우아한 결과.
5.4 Hilbert-Schmidt 연산자
유계 선형 연산자 \(\Psi\) 가 다음을 만족하면 Hilbert-Schmidt:
\[ \|\Psi\|_\mathcal{S}^2 = \sum_{j=1}^\infty \|\Psi(e_j)\|^2 < \infty, \]
(임의의 정규직교 기저 \(\{e_j\}\)).
Hilbert-Schmidt 노름 \(\|\Psi\|_\mathcal{S}\) — 정의가 기저 무관 (Problem 10.10).
5.5 적분 연산자 (Example 10.3.1)
가장 중요한 예시:
\[ \Psi(x)(t) = \int \psi(t, s) x(s) \, ds, \]
핵 \(\psi\) 가 \(\iint \psi^2(t, s) \, dt \, ds < \infty\) 만족.
5.6 핵심 결과 (식 10.10)
\[ \|\Psi\|_\mathcal{S} = \left(\iint \psi^2(t, s) \, dt \, ds\right)^{1/2}. \]
HS 노름 = 핵의 \(L^2(T \times T)\) 노름.
5.7 직관: 식 (10.10) 의 우아함
이 식이 Ch.5 (함수-on-함수 회귀) 와 Ch.8 (FAR(1) 존재) 의 핵심 도구:
- Ch.5.3: 핵 \(\psi(t, s)\) 의 거칠기 벌점 \(\iint \psi^2\) — HS 노름.
- Ch.8.8: FAR(1) 의 충분 조건 \(\iint \varphi^2 < 1\) — HS 노름 < 1.
핵의 적분으로 직접 HS 노름 계산 가능 → 응용에서 자주 사용.
5.8 비유: 두 종류의 강도
운동선수의 두 강도:
- 최대 강도 (operator norm \(\|\Psi\|_\mathcal{L}\)) — “가장 큰 한 방 의 힘”.
- 지속 강도 (HS norm \(\|\Psi\|_\mathcal{S}\)) — “모든 동작의 누적 력”.
지속 강도가 보통 더 큼 — Theorem 10.3.1: \(\|\Psi\|_\mathcal{L} \leq \|\Psi\|_\mathcal{S}\).
5.9 Identity 연산자 (Example 10.3.2)
\(\Psi(x) = x\) (identity) 의 유계 노름 = 1, 그러나 HS 노름:
\[ \|\Psi\|_\mathcal{S}^2 = \sum_j \|e_j\|^2 = \sum_j 1 = \infty. \]
Hilbert-Schmidt = 적분 연산자 + 적당히 매끄러움 의 클래스. 모든 유계 연산자가 HS 가 아님.
5.10 직관: HS 의 의미
HS 노름 < ∞ = “작용이 작은 PC 방향에서 충분히 빠르게 감쇠”.
Identity 는 모든 PC 에서 같은 강도 → 무한합 → HS 아님. 적분 연산자는 매끄러운 핵 → 작은 PC 에서 약함 → HS 가능.
이 직관이 함수 회귀의 정칙화 패턴 — HS 클래스 안에서 작업 으로 추정의 안정성 확보.
5.11 인접 (Adjoint) 연산자
\(L: \mathcal{H} \to \mathcal{H}\) 의 인접 \(L^*\):
\[ \langle L(x), y \rangle = \langle x, L^*(y) \rangle. \]
행렬의 transpose 의 일반화.
\(\|L^*\|_\mathcal{L} = \|L\|_\mathcal{L}\) (Problem 10.12).
5.12 직관: Transpose 의 추상화
행렬: \(\langle A x, y \rangle = (Ax)^T y = x^T A^T y = \langle x, A^T y \rangle\). 따라서 \(A^* = A^T\).
함수 차원도 같은 사고 — 단지 행렬 대신 일반 선형 연산자.
6 스펙트럼 이론 (10.4)
6.1 고유값과 고유벡터
\(\lambda\) 가 \(L\) 의 eigenvalue 이면:
\[ L(x) = \lambda x, \quad x \neq 0. \]
\(x\) 가 대응 eigenfunction.
6.2 대칭 비음정 연산자
| 정의 | 의미 |
|---|---|
| Symmetric | \(\langle L(x), y \rangle = \langle x, L(y) \rangle\) — 행렬의 대칭성 |
| Nonnegative definite | \(\langle L(x), x \rangle \geq 0\) — 분산처럼 비음수 |
| Positive definite | 위 + 등호는 \(x = 0\) 만 |
6.3 핵심 결과 (Theorem 10.4.2, 10.4.3)
- 비음정 연산자의 모든 고유값 ≥ 0.
- 대칭 연산자의 다른 고유값에 대응하는 고유벡터들이 직교.
행렬의 대응 결과 (positive semi-definite matrix 의 비음 고유값, symmetric matrix 의 직교 eigenvectors) 의 무한차원 일반화.
6.4 Hilbert-Schmidt Theorem (스펙트럼 정리, Theorem 10.4.4)
대칭 Hilbert-Schmidt 연산자 \(\Psi\) 의 정규직교 고유함수 시스템 \(\{e_j\}\) 와 비영 고유값 \(\{\lambda_j\}\) 가 존재하여:
\[ x = \sum_{j=1}^\infty a_j e_j + v, \quad \Psi(v) = 0. \]
Mercer 의 정리 (Corollary 10.4.1):
\[ \Psi(x) = \sum_{j=1}^\infty \lambda_j \langle x, v_j \rangle v_j. \]
연산자가 고유값 × 고유함수의 선형 결합으로 분해.
6.5 직관: 스펙트럼 정리의 의미
행렬: 대칭 행렬 = 직교 대각화 가능 (\(A = U \Lambda U^T\)). 함수: 대칭 HS 연산자 = 정규직교 고유함수의 가산 분해.
행렬의 대각화의 무한차원 일반화 — FDA 의 모든 차원 축소 (KL, FPCA) 가 이 정리에 의존.
6.6 비유: 행렬의 SVD
SVD = 모든 행렬을 \(U \Sigma V^T\) 로 분해 — 표준 도구. 스펙트럼 정리 = 대칭 HS 연산자를 \(\sum \lambda_j v_j v_j^*\) 로 분해 — 함수 차원의 SVD.
같은 사고, 다른 객체 — Hilbert 공간 이론의 표준 결과.
6.7 Rayleigh-Ritz 변분 (Theorem 10.4.5)
대칭 비음정 HS 연산자 \(\Psi\) 의 고유값 \(\lambda_1 > \lambda_2 > \cdots\):
\[ \sup\{\langle \Psi(x), x \rangle: \|x\| = 1, \langle x, v_j \rangle = 0, j \leq i - 1\} = \lambda_i, \]
최대점 \(x = v_i\) (부호까지 유일).
6.8 직관: 고유값의 변분 의미
“\(\Psi\) 의 가장 큰 작용 강도” = 첫 고유값. “그 다음으로 가장 큰 작용 강도 (이미 사용한 방향과 직교 조건 하)” = 둘째 고유값.
이 변분 특성이 EFPC 의 정의의 토대 — Karhunen-Loève 가 “공분산 연산자의 가장 큰 분산 방향” 을 순차적으로 추출.
6.9 핵심 결과의 정리
대칭 비음정 HS 연산자에 대해:
\[ \|\Psi\|_\mathcal{S}^2 = \sum_i \lambda_i^2, \quad \|\Psi\|_\mathcal{L} = \lambda_1. \]
| 노름 | 의미 |
|---|---|
| \(\|\Psi\|_\mathcal{L}\) | 가장 큰 고유값 (최대 강도) |
| \(\|\Psi\|_\mathcal{S}\) | 모든 고유값 제곱의 합 (총 강도) |
유계와 HS 의 차이의 본질: 유계는 고유값이 유계, HS 는 고유값이 충분히 빠르게 0 으로 감쇠.
6.10 비유: 음악의 음역과 음량
운동 선수의 신체 능력:
- 최대 능력 (=\(\lambda_1\)) — 가장 강한 동작.
- 종합 능력 (=\(\sum \lambda_i^2\)) — 모든 동작의 누적.
두 측도가 다른 정보 — 운동 선수마다 다른 강점.
연산자도 같은 사고 — 두 노름이 다른 측도, 다른 클래스 정의.
7 텐서 곱 (10.5)
7.1 동기
이변량 함수 (예: 공분산 핵 \(c(t, s)\), 회귀 핵 \(\beta(t, s)\)) 가 FDA 에서 자주 등장. 두 함수 공간의 곱 으로 이를 형식화 → 텐서 곱.
7.2 행렬과의 관계
두 벡터 \(x_1 \in \mathbb{R}^N\), \(x_2 \in \mathbb{R}^M\) 의 텐서 곱:
\[ x_1 \otimes x_2 = x_1 x_2^T \in \mathbb{R}^{N \times M}. \]
따라서 \(\mathbb{R}^N \otimes \mathbb{R}^M = \mathbb{R}^{N \times M}\) — 텐서 곱이 행렬.
행렬이 다음과 동등:
- 전통적 행렬.
- 선형 변환 \(\mathbb{R}^N \to \mathbb{R}^M\).
- 이중선형 사상 \(\mathbb{R}^N \times \mathbb{R}^M \to \mathbb{R}\) (이 view 가 Hilbert 공간으로 일반화).
7.3 Hilbert 공간 텐서 곱 (Definition 10.5.1)
두 Hilbert 공간 \(\mathcal{H}_1, \mathcal{H}_2\) 의 텐서 곱 \(x_1 \otimes x_2\):
\[ (x_1 \otimes x_2)(y_1, y_2) = \langle x_1, y_1 \rangle_{\mathcal{H}_1} \langle x_2, y_2 \rangle_{\mathcal{H}_2}. \]
이중선형 사상 \(\mathcal{H}_1 \times \mathcal{H}_2 \to \mathbb{R}\).
텐서 공간 \(\mathcal{H}_1 \otimes \mathcal{H}_2\) = 모든 이런 사상의 완비화.
7.4 핵심 결과 (Example 10.5.1)
\(\mathcal{H}_1 = \mathcal{H}_2 = L^2(\mathcal{T})\) 일 때:
\[ (x_1 \otimes x_2)(y_1, y_2) = \int \int x_1(t) x_2(s) y_1(t) y_2(s) \, dt \, ds. \]
\(x_1 \otimes x_2\) 가 핵 \(x_1(t) x_2(s)\) 의 적분 연산자 — 이변량 함수.
따라서 \(L^2(\mathcal{T}) \otimes L^2(\mathcal{T}) = L^2(\mathcal{T} \times \mathcal{T})\) — 이변량 함수 공간.
7.5 직관: 텐서 곱 = 이변량 함수
\(L^2(T)\) 의 두 함수의 텐서 곱이 이변량 함수 (또는 적분 연산자의 핵).
이는 FDA 의 핵심 객체:
- 공분산 함수 \(c(t, s)\) — random function 의 텐서 표현.
- 회귀 핵 \(\beta(t, s)\) (Ch.5.3) — 함수-on-함수 회귀의 모수.
- 자기회귀 핵 \(\varphi(t, s)\) (Ch.8.2) — FAR(1) 의 연산자.
모두 \(L^2(T) \otimes L^2(T) = L^2(T^2)\) 의 원소 — 단순한 일변량 함수 공간 두 개의 곱.
7.6 비유: 사진의 픽셀
사진 = 2 차원 픽셀 격자 — 가로 픽셀 위치 × 세로 픽셀 위치 → 강도.
이변량 함수 = 같은 구조의 연속 일반화 — \(t\) × \(s\) → 값.
행렬의 텐서 곱이 사진처럼 자연스러운 객체 — 함수의 텐서 곱도 같은 사고.
7.7 정규직교 기저의 텐서 곱 (Theorem 10.5.2)
\(\{e_{1j}\}, \{e_{2k}\}\) 가 \(\mathcal{H}_1, \mathcal{H}_2\) 의 정규직교 기저면:
\[ \{e_{1j} \otimes e_{2k}: j, k \geq 1\} \]
가 \(\mathcal{H}_1 \otimes \mathcal{H}_2\) 의 정규직교 기저.
7.8 직관: 이변량 기저의 자동 구성
일변량 기저가 있으면 이변량 기저가 자동 — 텐서 곱으로.
응용 예시 (Ch.5.3 의 함수-on-함수 회귀): \(t\) 의 30 개 B-spline + \(s\) 의 30 개 B-spline → \(30 \times 30 = 900\) 개 이변량 기저 (텐서 곱). 핵 \(\beta(t, s)\) 를 이 기저로 전개하여 추정.
7.9 대안적 view: 연산자로
\(x_1 \otimes x_2\) 가 동치적으로 연산자 \(L_{x_1, x_2}: \mathcal{H}_1 \to \mathcal{H}_2\):
\[ L_{x_1, x_2}(y_1) = \langle x_1, y_1 \rangle_{\mathcal{H}_1} x_2. \]
이 view 가 공분산 연산자의 정의 (\(X \otimes X\) 의 기댓값) 에 자연스럽게 연결.
7.10 비유: 복합어
영어의 복합어 (compound word) — 두 단어의 결합으로 새 의미 (예: “fire” + “fly” = “firefly”).
텐서 곱이 같은 사고 — 두 함수의 결합으로 이변량 함수 → 새 객체.
이 결합 방식이 자연스러운 문법 (이중선형, 분배 법칙 등) 을 만족 → 추가적인 수학적 연산이 가능.
8 Chapter 10 의 통합 시각
8.1 한 줄 요약
**Chapter 10 은 FDA 의 수학적 토대 — 내적 공간 + 완비성으로 정의된 Hilbert 공간 (10.1), 닫힌 부분공간 사영과 Parseval 등식·Fourier 기저 (10.2), 유계 선형 연산자와 Hilbert-Schmidt 클래스의 적분 핵 표현 ‖Ψ‖_S = √∫∫ψ²(t,s)dtds (10.3), 대칭 비음정 HS 연산자의 스펙트럼 정리와 Rayleigh-Ritz 변분 (10.4), L²(T)⊗L²(T) = L²(T×T) 의 텐서 곱 (10.5). Ch.3 의 random functions framework 를 정확히 정착시키며, Ch.4~9 의 모든 도구의 이론적 토대 제공.**
8.2 Ch.3 와의 비교
| 측면 | Ch.3 (FDA framework 도입) | Ch.10 (Hilbert 공간 깊이) |
|---|---|---|
| 깊이 | 응용 위주, 압축적 정의 | 정확한 수학적 정의 + 정리 |
| 목표 | FDA 도구의 직관적 이해 | FDA 도구의 정당화 |
| 증명 | 생략 또는 스케치 | Hilbert-Schmidt theorem 등 명시 |
| 예시 | \(L^2[0, 1]\) 만 | 5 가지 표준 공간 + 비예시 |
| 텐서 | 잠깐 언급 | 절 전체 (10.5) |
Ch.3 가 입문, Ch.10 이 정착.
8.3 후속 챕터와의 연결
| 다음 챕터 | Ch.10 의 도구를 어떻게 활용하는가 |
|---|---|
| Ch.11 (Random functions) | 확률 함수의 정확한 정의 + 가우스 과정 |
| Ch.12 (Inference) | 점근 분포의 정확한 statement + 증명 |
| (재인식) Ch.4~9 | 본문의 모든 정리 (Mercer, Cauchy-Schwarz 등) 의 명시적 출처 |
Ch.10~12 가 Ch.1~9 의 수학적 정당화 — 응용 후 이론 정착의 표준 학습 경로.
8.4 학습 가이드
Multivariate statistics 배경: 행렬 ↔︎ 연산자, transpose ↔︎ adjoint, eigenvalue decomposition ↔︎ spectral theorem 의 대응 관계 인식이 핵심. Ch.10 의 모든 결과가 행렬 결과의 무한차원 일반화.
Functional analysis 배경: Ch.10 가 통상의 functional analysis 코스의 일부. 빠르게 훑고, FDA 의 응용 사례 (Mercer 의 KL 전개, HS 의 적분 연산자) 에 집중.
FDA 만 알고 수학 배경 약함: Ch.10 의 모든 정의를 정착 + Debnath & Mikusinski (2005) 같은 입문서 병행. Hilbert-Schmidt 이론 (10.3, 10.4) 이 가장 중요.
8.5 표준 참고문헌
| 책 | 깊이 | 특징 |
|---|---|---|
| Debnath & Mikusinski (2005) | 입문 | FA 의 표준 입문서 |
| Akhiezer & Glazman (1993) | 깊은 | 고전 이론의 광범위 다룸 |
| Rudin (1987) Ch.4 | 간결 | 가장 중요한 결과의 엄밀 도출 |
| Hsing & Eubank (2015) | FDA 특화 | FDA 의 도구로 형식화 |
Ch.10 는 압축적 — 더 깊이 학습하려면 위 참고서 필수.
9 관련 주제
선행 지식
- FDA 1.0 — 개요
- FDA 3.0 — 함수 데이터의 수학적 프레임워크 개관
- FDA 3.1~3.2 — L² 공간과 확률 함수, Karhunen-Loève 전개 — Ch.10 의 응용 의미
- 선형 대수의 고유값 분해 — Ch.10 의 행렬 원조
후속 주제
- FDA 10.1~10.2 — Hilbert 공간의 정의와 사영·정규직교 기저
- FDA 10.3~10.4 — 선형 연산자, Hilbert-Schmidt, 스펙트럼 정리, Mercer
- FDA 10.5 — 텐서 곱과 이변량 함수 공간
- FDA 10.6 — Chapter 10 연습문제 풀이
- FDA Ch.11 — 확률 함수와 가우스 과정
- FDA Ch.12 — 평균·공분산 함수의 추론
관련 개념
- Cauchy-Schwarz 부등식 — Ch.10.1
- Banach 공간 vs Hilbert 공간 — 완비 norm 공간
- Riesz 표현 정리 — Ch.10.2
- Parseval 등식 — Ch.10.2
- Hilbert-Schmidt 연산자 — Ch.10.3
- Mercer 의 정리 (스펙트럼 분해) — Ch.10.4
- Tensor Product of Hilbert Spaces — Ch.10.5
- Debnath & Mikusinski (2005) Hilbert Spaces with Applications
- Hsing & Eubank (2015) Theoretical Foundations of Functional Data Analysis — FDA 특화 functional analysis