Kwangmin Kim - FDA 10.3~10.4 — 선형 연산자, Hilbert-Schmidt 클래스, 스펙트럼 정리, Mercer

1 이 절의 위치

Sections 10.3 + 10.4 의 역할

Ch.10.1~10.2 의 정적 framework (정의·사영·정규직교 기저) 위에 동적 framework — Hilbert 공간 사이의 변환을 형식화하는 선형 연산자 — 를 도입. 10.3 이 연산자의 정의와 표준 클래스 (HS, 콤팩트), 10.4 가 스펙트럼 분해와 그 응용 (Mercer, KL 전개).

Ch.10.3 + 10.4 의 위치
    ↓
선형 연산자 = Hilbert 공간 사이의 함수
HS 클래스 = 적분 연산자의 자연스러운 추상화
스펙트럼 정리 = 대칭 콤팩트 연산자의 고유값 분해
Mercer = 적분 핵의 정규직교 분해
KL 전개 = 확률 함수의 무한 정규직교 표현

핵심 메시지: Ch.10.3 의 Hilbert-Schmidt 연산자가 적분 핵의 자연스러운 추상화 (모든 $L^2$ 핵이 HS), Ch.10.4 의 스펙트럼 정리가 대칭 콤팩트 연산자의 정규직교 고유함수 분해를 보장 — 두 결과의 결합 (Mercer + KL) 이 EFPC, FPCA, 공분산 추정, 함수 회귀 등 FDA 의 모든 핵심 도구의 토대.

1.1 두 절을 함께 다루는 이유

Sections 10.3 와 10.4 의 통합

10.3 (HS 클래스) + 10.4 (스펙트럼 정리) 가 하나의 결과 — 적분 연산자 (HS) → 대칭 + 콤팩트 → 정규직교 고유함수 분해 (스펙트럼) → 핵의 분해 (Mercer) → 확률 함수의 분해 (KL).

이 5 단계 chain 이 EFPC 의 수학적 정당화:

$L^2$ 의 공분산 함수 $c(t, s)$ → 자동으로 HS 적분 연산자 → 자동 콤팩트 → 스펙트럼 정리 적용 → Mercer 분해 → KL 전개 → EFPC 가 분해의 표본 추정.

각 단계를 분리하면 chain 의 의미가 모호 — 통합이 필요한 이유.

1.2 비유: 행렬의 고유값 분해의 함수 일반화

유한차원에서:

대칭 행렬 $A \in \mathbb{R}^{N \times N}$ → 직교 고유벡터 분해 $A = \sum \lambda_j v_j v_j^T$.
분산 행렬 $\Sigma$ → PCA → 주성분 분해 $\sum \lambda_j v_j v_j^T$.
$X = \mu + \sum \sqrt{\lambda_j} Z_j v_j$, $Z_j$ 가 무상관.

함수 차원 일반화 (Ch.10.3~10.4):

대칭 콤팩트 연산자 $\Psi$ → 정규직교 고유함수 분해 (스펙트럼 정리).
공분산 핵 $c(t, s)$ → Mercer 분해 $\sum \lambda_j v_j(t) v_j(s)$.
$X(t) = \mu(t) + \sum \sqrt{\lambda_j} Z_j v_j(t)$ — KL 전개.

같은 framework, 같은 결과 — 행렬의 분해가 함수의 분해로 무한차원 일반화.

2 Section 10.3.1: 유계 선형 연산자 (Definition 10.3.1)

2.1 정의

Bounded Linear Operator

Hilbert 공간 $\mathcal{H}_1, \mathcal{H}_2$ 사이의 사상 $L: \mathcal{H}_1 \to \mathcal{H}_2$ 가 유계 선형 연산자 ⟺:

선형성: $L(\alpha x + \beta y) = \alpha L(x) + \beta L(y)$.
유계성: $\exists C > 0$ such that $\|L(x)\|_{\mathcal{H}_2} \leq C \|x\|_{\mathcal{H}_1}$ for all $x \in \mathcal{H}_1$.

연산자 노름:

\[ \boxed{ \|L\|_{\text{op}} = \sup_{\|x\|_{\mathcal{H}_1} = 1} \|L(x)\|_{\mathcal{H}_2}. } \]

유계 ⟺ 연속 (Hilbert 공간의 표준 결과).

2.2 직관: 함수형 사상

연산자 = 함수 사이의 사상. 입력이 함수, 출력도 함수.

행렬과의 연결:

행렬 $A \in \mathbb{R}^{N \times M}$ = $\mathbb{R}^M \to \mathbb{R}^N$ 의 선형 연산자.
$|A|_{} = $ 최대 특이값 ($\sigma_1$).
무한차원 일반화 — 유계 선형 연산자 사이.

2.3 비유: 변환의 강도

연산자 노름 = “한 단위 입력의 최대 출력 크기”. 행렬의 최대 특이값과 같은 사고.

물리학의 비유: 입력 신호 (스피커 입력) → 출력 신호 (소리). 노름 = 시스템의 최대 증폭률.

2.4 예시: 적분 연산자

$\Psi: L^2[0, 1] \to L^2[0, 1]$,

\[ \Psi(x)(t) = \int_0^1 \psi(t, s) x(s) \, ds. \]

$\psi(t, s)$ = 핵 (kernel). 핵이 충분히 정규 (예: $L^2$) → $\Psi$ 가 유계.

2.5 직관: 적분 = 가중 평균의 일반화

$\Psi(x)(t)$ = $x$ 의 $\psi(t, \cdot)$ 가중 평균. 행렬-벡터 곱 $A x$ 의 함수 버전.

행렬: $(Ax)_i = \sum_j A_{ij} x_j$ — 가중합. 함수: $(\Psi x)(t) = \int \psi(t, s) x(s) ds$ — 가중 적분.

같은 사고, 차원만 무한.

3 Section 10.3.2: 연산자의 표준 클래스

3.1 Adjoint 연산자

Adjoint $\Psi^*$

$\Psi: \mathcal{H}_1 \to \mathcal{H}_2$ 의 adjoint $\Psi^*: \mathcal{H}_2 \to \mathcal{H}_1$:

\[ \langle \Psi(x), y \rangle_{\mathcal{H}_2} = \langle x, \Psi^*(y) \rangle_{\mathcal{H}_1} \quad \forall x \in \mathcal{H}_1, y \in \mathcal{H}_2. \]

존재와 유일성은 Riesz 표현 정리 (Theorem 10.2.3) 가 보장.

3.2 행렬과의 비교

행렬: $A^T$ (전치).
적분 연산자: 핵 $\psi(t, s)$ → adjoint 핵 $\psi(s, t)$ (변수 교환).

3.3 직관: 내적의 대칭화

내적의 한쪽에서 연산자를 다른 쪽으로 옮기는 도구. 행렬의 전치와 같은 사고.

3.4 자기수반 (대칭) 연산자

Self-Adjoint Operator

$\Psi = \Psi^*$ — 연산자 = 그 adjoint. 적분 핵의 경우:

\[ \psi(t, s) = \psi(s, t). \]

대칭 핵.

3.5 응용: 공분산 함수

$c(t, s) = \text{Cov}(X(t), X(s))$ — 자동 대칭 ($c(t, s) = c(s, t)$). 공분산 연산자 자기수반.

이는 모든 후속 결과 (스펙트럼 정리, Mercer, KL) 의 전제 조건.

3.6 비음정 연산자

Positive Semidefinite Operator

$\Psi$ 가 비음정 ⟺ $\langle \Psi(x), x \rangle \geq 0 \quad \forall x$.

행렬의 $x^T A x \geq 0$ (positive semidefinite) 의 함수 일반화.

3.7 응용: 공분산은 비음정

$\text{Var}(\langle X, x \rangle) = \langle C(x), x \rangle \geq 0$ — 공분산 연산자 자동 비음정.

스펙트럼 정리 + 비음정 → 모든 고유값 ≥ 0.

3.8 직관: 분산의 비음정성

공분산이 분산의 일반화 → 분산이 항상 ≥ 0 → 공분산도 비음정. 통계의 기본 사실.

4 Section 10.3.3: 콤팩트 연산자

4.1 정의

Compact Operator

$\Psi: \mathcal{H}_1 \to \mathcal{H}_2$ 가 콤팩트 ⟺ 모든 유계 수열 $\{x_n\} \subset \mathcal{H}_1$ 의 image $\{\Psi(x_n)\}$ 가 수렴 부분수열을 가짐.

직관: 무한차원 공간에서 “유한차원처럼” 행동하는 연산자 — 무한차원의 작은 부분만 효과적으로 사용.

4.2 직관: 유한차원 근사

콤팩트 연산자 ≈ 유한차원 연산자의 한계. 무한차원의 모든 방향을 활용하지 않고 본질적으로 유한 개의 방향만 의미 있게 변환.

4.3 비유: 손전등 vs 태양

태양 (비콤팩트): 모든 방향을 같은 강도로 비춤.
손전등 (콤팩트): 좁은 영역에 집중, 멀리 있는 방향은 효과적으로 0.

콤팩트 연산자가 손전등 — 본질적으로 한정된 방향에서만 작동.

4.4 Hilbert-Schmidt 연산자

Definition 10.3.2 — Hilbert-Schmidt Operator

연산자 $\Psi$ 가 Hilbert-Schmidt ⟺ 임의의 정규직교 기저 $\{e_j\}$ 에서:

\[ \|\Psi\|_{\mathcal{S}}^2 = \sum_j \|\Psi(e_j)\|^2 < \infty. \]

(이 합이 기저 선택과 무관 — 잘 정의됨.)

HS 노름:

\[ \boxed{ \|\Psi\|_{\mathcal{S}} = \left( \sum_j \|\Psi(e_j)\|^2 \right)^{1/2}. } \]

4.5 행렬과의 비교

행렬의 Frobenius 노름: $\|A\|_F^2 = \sum_{ij} A_{ij}^2 = \text{tr}(A^T A)$.
HS 노름의 무한차원 일반화: $\|\Psi\|_{\mathcal{S}}^2 = \text{tr}(\Psi^* \Psi)$.

같은 사고 — 모든 좌표의 제곱합.

4.6 Example 10.3.1 — 적분 연산자의 HS 성

$L^2$ 핵 → HS 연산자

$\Psi(x)(t) = \int \psi(t, s) x(s) \, ds$, $\psi \in L^2(\mathcal{T} \times \mathcal{T})$:

\[ \boxed{ \|\Psi\|_{\mathcal{S}}^2 = \int \int \psi(t, s)^2 \, dt \, ds = \|\psi\|_{L^2(\mathcal{T}^2)}^2. } \]

$L^2$ 핵의 적분 연산자가 자동으로 HS — HS 노름 = 핵의 $L^2$ 노름.

4.7 도출

정규직교 기저 $\{e_j\}$ 에서:

\[ \Psi(e_j)(t) = \int \psi(t, s) e_j(s) \, ds = \langle \psi(t, \cdot), e_j \rangle. \]

$\|\Psi(e_j)\|^2 = \int \langle \psi(t, \cdot), e_j \rangle^2 \, dt$.

합:

\[ \sum_j \|\Psi(e_j)\|^2 = \sum_j \int \langle \psi(t, \cdot), e_j \rangle^2 \, dt = \int \sum_j \langle \psi(t, \cdot), e_j \rangle^2 \, dt = \int \|\psi(t, \cdot)\|^2 \, dt = \int \int \psi(t, s)^2 \, ds \, dt. \]

(중간에 Parseval 등식 사용 — Theorem 10.2.4.) $\blacksquare$

4.8 직관: 모든 적분 연산자의 자연스러운 framework

$L^2$ 핵 → HS — 매우 자연스러운 결과. 적분 연산자의 분석에서 HS 가 표준 framework.

4.9 응용: FDA 의 핵심 연산자들

FDA 의 HS 연산자들

연산자	핵	HS 노름
공분산 연산자 $C$	$c(t, s)$	$\sqrt{\int\int c^2}$
FAR(1) 연산자 $\Psi$	$\varphi(t, s)$	$\sqrt{\int\int \varphi^2}$
함수-on-함수 회귀	$\beta(t, s)$	$\sqrt{\int\int \beta^2}$
시공간 공분산	$C(s, s'; t, u)$	$L^2$ 노름

모두 HS — Ch.4~9 의 모든 적분 연산자가 같은 framework.

4.10 노름의 위계 (Problem 10.7 의 결과)

\[ \|\Psi\|_{\text{op}} \leq \|\Psi\|_{\text{HS}}. \]

HS 노름이 더 strict — HS 연산자가 자동으로 콤팩트 + 유계.

HS ⊂ 콤팩트 ⊂ 유계

4.11 비유: 미세 측정 vs 대략 측정

유계 노름: 한 방향의 최대 출력.
HS 노름: 모든 방향의 출력 합 — 미세 측정.

HS 가 더 정밀한 측정 → HS 노름이 더 strict.

5 Section 10.4.1: 스펙트럼 정리 (Theorem 10.4.1)

5.1 정리

대칭 콤팩트 연산자의 분해

$\Psi$ 가 대칭 콤팩트 연산자 on Hilbert 공간 $\mathcal{H}$. 그러면:

정규직교 시스템 $\{v_j\}_{j \geq 1}$ 와 실수 $\{\lambda_j\}_{j \geq 1}$ 가 존재하여:

\[ \boxed{ \Psi(x) = \sum_{j=1}^\infty \lambda_j \langle x, v_j \rangle v_j, \quad |\lambda_1| \geq |\lambda_2| \geq \cdots \geq 0. } \]

$\lambda_j \to 0$ as $j \to \infty$.
$\Psi(v_j) = \lambda_j v_j$ — $v_j$ 가 고유함수, $\lambda_j$ 가 고유값.
비음정이면 모든 $\lambda_j \geq 0$.

연산자의 정규직교 고유함수 분해 — 행렬의 고유값 분해의 무한차원 일반화.

5.2 직관: 행렬의 PCA 의 함수 일반화

유한차원: 대칭 행렬 $A = V \Lambda V^T = \sum \lambda_j v_j v_j^T$. 정규직교 고유벡터 + 실수 고유값.

무한차원: 대칭 콤팩트 연산자도 같은 분해. 차이점:

무한 합 (가산 무한 개의 고유값).
$\lambda_j \to 0$ — 콤팩트성에서 자동 (행렬은 모두 비영, 함수는 점차 작아짐).

5.3 비유: 음악의 화음 분해

복잡한 화음 = 단음들의 합 (Fourier 분해). 스펙트럼 정리 = “대칭 콤팩트 연산자의 음악적 분해” — 본질적인 모드 (고유함수) 와 그 강도 (고유값) 로 분해.

5.4 응용: 공분산 연산자

공분산 연산자 $C: L^2 \to L^2$, $C(x)(t) = \int c(t, s) x(s) ds$:

대칭 (공분산 함수 $c(t, s) = c(s, t)$).
콤팩트 ($c \in L^2 \to C$ 가 HS → 콤팩트).
비음정.

스펙트럼 정리 → 정규직교 고유함수 $\{v_j\}$ + 비음 고유값 $\{\lambda_j\}$:

\[ C(x) = \sum \lambda_j \langle x, v_j \rangle v_j, \quad \lambda_1 \geq \lambda_2 \geq \cdots \geq 0. \]

이 $\{v_j\}$ 가 EFPC (Empirical Functional Principal Components).

6 Section 10.4.2: Mercer 정리 (Theorem 10.4.2)

6.1 정리

Mercer 의 핵 분해

대칭 비음정 연속 핵 $c(t, s)$ on $[0, 1]^2$ 에서:

\[ \boxed{ c(t, s) = \sum_{j=1}^\infty \lambda_j v_j(t) v_j(s), } \]

$\lambda_j \geq 0$ 가 고유값, $v_j$ 가 정규직교 고유함수, 합이 균등 수렴 (uniform convergence).

이는 스펙트럼 정리의 핵 표현 형태.

6.2 직관: 텐서 공간 표현

$\sum \lambda_j v_j(t) v_j(s) = \sum \lambda_j (v_j \otimes v_j)(t, s)$ — 텐서 곱의 선형 결합 (Ch.10.5 의 framework).

6.3 도출

스펙트럼 정리: $C(x) = \sum \lambda_j \langle x, v_j \rangle v_j$. 핵 표현:

\[ C(x)(t) = \int c(t, s) x(s) ds = \sum \lambda_j \int v_j(s) x(s) ds \cdot v_j(t). \]

핵 비교: $c(t, s) = \sum \lambda_j v_j(t) v_j(s)$. $\blacksquare$

6.4 응용: 공분산 함수의 분해

공분산의 Mercer 분해

공분산 함수 $c(t, s) = \text{Cov}(X(t), X(s))$:

\[ c(t, s) = \sum_{j=1}^\infty \lambda_j v_j(t) v_j(s). \]

$\lambda_j$ = $j$-번째 EFPC 의 분산.
$v_j$ = $j$-번째 EFPC (정규직교 고유함수).
분해의 균등 수렴 → 절단의 정확한 근사.

6.5 직관: 공분산의 모드 분해

공분산 = 본질적 모드들의 가중합. 첫 번째 모드 $v_1$ 가 가장 큰 분산 ($\lambda_1$) → 데이터의 가장 큰 변동 방향.

이는 PCA 의 함수 일반화 — 분산이 큰 순으로 정렬된 정규직교 모드.

6.6 비유: 색의 분해

흰 빛 = 모든 색의 합 (Newton 의 프리즘 실험). Mercer = 공분산의 프리즘 — 모든 변동 모드 ($v_j$) 의 가중합.

6.7 Brownian motion 의 Mercer (Problem 10.8 의 결과)

$c(t, s) = \min(t, s)$:

\[ \min(t, s) = \sum_{j=1}^\infty \frac{2}{(j - 1/2)^2 \pi^2} \sin((j - 1/2)\pi t) \sin((j - 1/2)\pi s). \]

고유값 $\lambda_j = \frac{1}{(j - 1/2)^2 \pi^2}$ — 빠르게 감소 ($O(1/j^2)$). 콤팩트성 자동.

7 Section 10.4.3: Karhunen-Loève 전개 (Theorem 10.4.3)

7.1 정리

KL 전개

$X \in L^2$ 가 평균 $\mu$, 공분산 함수 $c$ 의 확률 함수. $c$ 의 Mercer 분해 $c = \sum \lambda_j v_j v_j$. 그러면:

\[ \boxed{ X(t) = \mu(t) + \sum_{j=1}^\infty \xi_j v_j(t), } \]

여기서 $\xi_j = \langle X - \mu, v_j \rangle$:

$E[\xi_j] = 0$.
$\text{Var}(\xi_j) = \lambda_j$.
$\xi_j$ 가 무상관 (서로 직교).
합이 $L^2$ 에서 수렴.

7.2 직관: 확률 함수의 정규직교 표현

확률 함수가 고유함수의 무한 가중합 — 가중치 $\xi_j$ 가 random scalars (무상관, 분산 $\lambda_j$).

행렬과의 비교:

다변량: $\mathbf{X} = \boldsymbol{\mu} + \sum \sqrt{\lambda_j} Z_j v_j$, $Z_j$ 무상관 (PCA).
함수: $X(t) = \mu(t) + \sum \xi_j v_j(t)$, $\xi_j$ 무상관 (KL).

같은 framework.

7.3 응용: 차원 축소

$p$ 절단:

\[ \widehat{X}_p(t) = \mu(t) + \sum_{j=1}^p \xi_j v_j(t). \]

잔차 분산 (Bessel 부등식의 응용, Problem 10.5):

\[ E\|X - \widehat{X}_p\|^2 = \sum_{j > p} \lambda_j. \]

$\lambda_j \to 0$ (콤팩트성) → $p$ 가 충분히 크면 잔차가 작음. EFPC 절단의 최적성.

7.4 직관: 분산이 큰 순으로 자르기

EFPC 의 KL 전개가 분산 순으로 정렬 → 처음 $p$ 개로 가장 많은 분산 설명.

이는 PCA 의 함수 일반화 — “분산을 가장 효율적으로 압축” 이 같은 사고.

7.5 응용: Ch.4~9 의 모든 도구

KL 전개의 응용 매핑

도구	KL 전개의 활용
EFPC (Ch.5)	$v_j$ 의 표본 추정
FPCA 회귀 (Ch.5)	$\xi_j$ 를 회귀 변수로
절단 차원 $p$	$\sum_{j \leq p} \lambda_j / \sum_j \lambda_j \geq 0.95$ 같은 기준
Sparse FDA (Ch.7)	PACE 도 KL 토대
FAR(1) (Ch.8)	자기회귀 핵의 KL 분해
가우스 함수	$\xi_j \sim N(0, \lambda_j)$ + 독립

KL 전개가 FDA 의 모든 곳에서 등장.

7.6 비유: 자연수의 소수 분해

자연수 = 소수의 곱 (산술의 기본 정리). KL = 확률 함수의 정규직교 모드 분해 — 확률 함수의 “소수 분해”.

소수 분해가 정수론의 토대인 것처럼, KL 전개가 FDA 의 토대.

8 Section 10.4.4: 변분 특성 (Rayleigh-Ritz)

8.1 Rayleigh quotient

Rayleigh-Ritz Quotient

대칭 연산자 $\Psi$ 와 $x \in \mathcal{H}, x \neq 0$:

\[ R(\Psi, x) = \frac{\langle \Psi(x), x \rangle}{\langle x, x \rangle}. \]

행렬의 $x^T A x / x^T x$ 의 일반화.

8.2 정리: 변분 특성

고유값의 변분 특성

대칭 콤팩트 비음정 연산자 $\Psi$ 의 고유값 $\lambda_1 \geq \lambda_2 \geq \cdots$:

\[ \lambda_1 = \max_{x \neq 0} \frac{\langle \Psi(x), x \rangle}{\|x\|^2}, \quad v_1 = \arg\max. \]

귀납적:

\[ \lambda_k = \max_{\substack{x \neq 0 \\ x \perp v_1, \ldots, v_{k-1}}} \frac{\langle \Psi(x), x \rangle}{\|x\|^2}. \]

(Courant-Fischer 의 함수 일반화.)

8.3 직관: 가장 큰 분산 방향

공분산 연산자에서:

\[ \frac{\langle C(x), x \rangle}{\|x\|^2} = \frac{\text{Var}(\langle X, x \rangle)}{\|x\|^2}. \]

최대화 = “단위 노름의 함수 $x$ 중 $\langle X, x \rangle$ 의 분산이 가장 큰 것” → $v_1$ = 첫 번째 EFPC.

8.4 응용: PCA 의 변분 정의

다변량 PCA: $v_1 = \arg\max_{\|x\|=1} x^T \Sigma x = \arg\max_{\|x\|=1} \text{Var}(x^T \mathbf{X})$.

함수 PCA (FPCA): $v_1 = \arg\max_{\|x\|=1} \text{Var}(\int x(t) X(t) dt)$.

같은 framework — 정확한 일반화.

8.5 직관: 변분 정의의 가치

변분 정의의 장점:

추정: 표본에서도 같은 방식 — empirical Rayleigh quotient 최대화로 EFPC 추정.
수렴: 표본 → 모집단의 수렴이 변분 framework 로 더 쉬움.
알고리즘: power method 같은 반복 알고리즘의 토대.

스펙트럼 정리의 직접 정의보다 변분 정의가 계산과 추정에서 더 유용.

8.6 Min-max 변분 정의

Courant-Fischer

대칭 연산자에서:

\[ \lambda_k = \min_{S_{k-1}} \max_{\substack{x \in S_{k-1}^\perp \\ \|x\| = 1}} \langle \Psi(x), x \rangle, \]

$S_{k-1}$ 가 $k - 1$-차원 부분공간들.

이 정의가 임의의 부분공간에 대한 robust 한 결과 — perturbation 분석 (공분산 추정의 점근 분포) 의 토대.

8.7 응용: EFPC 의 일관성

표본 공분산 $\widehat{C}_N \to C$ → 표본 EFPC $\widehat{v}_j \to v_j$ → 표본 고유값 $\widehat{\lambda}_j \to \lambda_j$.

이 일관성의 핵심 도구가 변분 정의 — Courant-Fischer 의 robustness.

9 통합 요약: 5 단계 chain

9.1 EFPC 의 수학적 정당화

$L^2$ → HS → 콤팩트 → 스펙트럼 → Mercer → KL

1. X ∈ L² 의 공분산 함수 c(t, s)
   ↓ (가정: c ∈ L²(T × T) — 자동 만족)
2. 적분 연산자 C 가 HS (Example 10.3.1)
   ↓ (HS ⊂ 콤팩트 — 표준 결과)
3. C 가 콤팩트 + 대칭 + 비음정
   ↓ (스펙트럼 정리 Theorem 10.4.1)
4. 정규직교 고유함수 {v_j} + 비음 고유값 {λ_j}
   ↓ (Mercer 정리 Theorem 10.4.2)
5. c(t, s) = Σ λ_j v_j(t) v_j(s) (균등 수렴)
   ↓ (KL 전개 Theorem 10.4.3)
6. X(t) = μ(t) + Σ ξ_j v_j(t), ξ_j 무상관, Var = λ_j

각 단계가 이전 단계를 토대로 자동 — chain 의 모든 결과가 한 가정 ($X \in L^2$) 에서 도출.

9.2 이 chain 의 의의

EFPC 가 자연스러운 도구 — 임의의 선택이 아닌 수학적 필연.
차원 축소가 최적 — $p$ 절단의 잔차가 정확히 $\sum_{j > p} \lambda_j$.
추정이 일관적 — 변분 정의 + Courant-Fischer 가 robustness 보장.
모든 응용의 토대 — Ch.4~9 의 모든 도구가 이 chain 위에 형성.

10 핵심 정리와 요약

10.1 한 줄 요약

Ch.10.3 의 Hilbert-Schmidt 클래스가 적분 연산자의 자연스러운 추상화 — $L^2$ 핵 → HS, $\|\Psi\|_{\mathcal{S}}^2 = \int\int \psi^2$ — 이고, Ch.10.4 의 스펙트럼 정리 (Theorem 10.4.1) 가 대칭 콤팩트 연산자의 정규직교 고유함수 분해를 보장. Mercer 정리 (Theorem 10.4.2) 가 핵의 분해 $c(t, s) = \sum \lambda_j v_j(t) v_j(s)$, KL 전개 (Theorem 10.4.3) 가 확률 함수의 분해 $X(t) = \mu(t) + \sum \xi_j v_j(t)$ — 두 결과가 결합되어 5 단계 chain ($L^2$ → HS → 콤팩트 → 스펙트럼 → Mercer → KL) 을 형성하며, 이 chain 이 EFPC, FPCA, 공분산 추정, 함수 회귀, FAR(1) 등 Ch.4~9 의 모든 도구의 직접 토대. 변분 특성 (Rayleigh-Ritz, Courant-Fischer) 이 추정의 일관성과 perturbation 분석의 도구.

10.2 학습 가이드

단계별 학습

Definition 10.3.1 — 유계 선형 연산자의 정의 (행렬의 무한차원 일반화).
Definition 10.3.2 — Hilbert-Schmidt 클래스 (적분 연산자의 framework).
Example 10.3.1 — $L^2$ 핵 → HS, $\|\Psi\|_{\mathcal{S}} = \|\psi\|_{L^2}$.
Theorem 10.4.1 — 스펙트럼 정리 (PCA 의 함수 일반화).
Theorem 10.4.2 — Mercer 의 핵 분해.
Theorem 10.4.3 — KL 전개 (확률 함수의 정규직교 표현).
Rayleigh-Ritz 변분 정의 — 추정과 수렴의 토대.
5 단계 chain — EFPC 가 왜 표준 도구인지의 정당화.

10.3 Ch.10 의 통합

Ch.10 전체 흐름:

10.1: Hilbert 공간 정의 + 표준 예시
10.2: 사영 + 정규직교 + Riesz + Parseval
10.3: 선형 연산자 + Hilbert-Schmidt  ← 이 포스트
10.4: 스펙트럼 + Mercer + KL  ← 이 포스트
10.5: 텐서 곱
10.6: 연습문제

10.3 + 10.4 가 Ch.10 의 핵심 — Hilbert framework 의 dynamic 측면.

11 관련 주제

선행 지식

FDA 1.0 — 개요
FDA 3.1~3.2 — L² 공간과 확률 함수, Karhunen-Loève 전개 — KL 의 응용 toolkit
FDA 3.3 — 선형 변환과 공분산 연산자 — Ch.10.3 의 응용
FDA 5.5~5.6 — FPCA 기반 핵 추정과 효과 없음 카이제곱 검정 — EFPC 의 직접 응용
FDA 8.1~8.2 — 시계열 기초와 FAR(1) — Mercer 분해의 응용
FDA 10.0 — 힐베르트 공간 이론 개관
FDA 10.1~10.2 — Hilbert 공간의 정의와 사영·정규직교 기저
선형 대수의 고유값 분해 — 행렬의 PCA, 함수 일반화의 토대

후속 주제

FDA 10.5 — 텐서 곱과 이변량 함수 공간
FDA 10.6 — Chapter 10 연습문제 풀이 — 스펙트럼·Mercer 의 직접 검증
FDA Ch.11 — 확률 함수와 가우스 과정 — KL 의 깊은 응용
FDA Ch.12 — 평균·공분산 함수의 추론 — 변분 정의의 추정 이론

관련 개념

Hilbert-Schmidt 연산자 — Ch.10.3 의 표준 참고
스펙트럼 정리 (대칭 콤팩트 연산자) — Ch.10.4 의 표준 참고
Mercer 의 정리 — 핵 분해
Karhunen-Loève 전개 — 확률 과정의 표준 분해
Rayleigh-Ritz quotient — 변분 특성
Courant-Fischer 정리 — 고유값의 min-max 정의
Reed & Simon (1980) Functional Analysis — Hilbert 공간 표준 참고서
Hsing & Eubank (2015) Theoretical Foundations of FDA — FDA 특화 functional analysis

연산자	핵	HS 노름
공분산 연산자 \(C\)	\(c(t, s)\)	\(\sqrt{\int\int c^2}\)
FAR(1) 연산자 \(\Psi\)	\(\varphi(t, s)\)	\(\sqrt{\int\int \varphi^2}\)
함수-on-함수 회귀	\(\beta(t, s)\)	\(\sqrt{\int\int \beta^2}\)
시공간 공분산	\(C(s, s'; t, u)\)	\(L^2\) 노름