Kwangmin Kim - FDA 10.1~10.2 — Hilbert 공간의 정의와 사영·정규직교 기저

1 두 절의 역할

이 포스트의 범위

절	주제	핵심 도구
10.1	Hilbert 공간의 정의와 6 가지 표준 예시	내적·완비성·Cauchy-Schwarz
10.2	사영, 정규직교 기저, Parseval, Fourier	Theorem 10.2.1~10.2.4

10.1 은 Hilbert 공간의 단계별 정의 — 벡터 공간 → 내적 공간 → 완비성 → Hilbert 공간. 6 가지 표준 예시로 추상 정의를 구체화. 마지막 예시 ($C[0, 1]$) 는 Banach 이지만 Hilbert 가 아닌 대조 사례 — Hilbert 의 본성 명확화.

10.2 는 Hilbert 공간의 가장 중요한 성질들 — (1) 닫힌 부분공간으로의 사영의 존재와 유일성, (2) Riesz 표현 정리 (모든 연속 선형 범함수 = 내적 형태), (3) 정규직교 기저와 Parseval 등식 (함수 = 좌표의 무한합, 노름 = 좌표 제곱합), (4) 3 종 Fourier 기저. 이 모든 결과가 Ch.4~9 의 EFPC, KL 전개, 회귀 등 모든 도구의 토대.

두 절을 합치면 Hilbert 공간 framework 의 정확한 정의 + 핵심 정리들 — Ch.10.3~10.5 의 더 깊은 이론 (HS 연산자, 스펙트럼 정리, 텐서) 의 토대.

2 벡터 공간 (10.1 의 시작)

2.1 Axiom

벡터 공간의 정의 (Axiom 10.1.1, 10.1.2)

집합 $\mathcal{V}$ 와 두 연산 (덧셈 + 스칼라 곱) 이 다음 axiom 만족:

덧셈 axiom (Axiom 10.1.1):

가환: $x + y = y + x$.
결합: $x + (y + z) = (x + y) + z$.
항등원: $\exists 0$ s.t. $x + 0 = x$.
역원: $\exists -x$ s.t. $x + (-x) = 0$.

스칼라 곱 axiom (Axiom 10.1.2):

항등원: $1x = x$.
결합: $a(bx) = (ab)x$.
분배: $a(x + y) = ax + ay$, $(a+b)x = ax + bx$.

2.2 직관: 추상화의 가치

이 axiom 들이 선형 결합이 의미 있는 모든 객체 를 통합:

유한차원 벡터 ($\mathbb{R}^d$).
무한차원 수열 ($\ell^2$).
함수 ($L^2$).
행렬, 다항식, 함수 시계열 등.

같은 axiom 으로 모든 객체를 다룰 수 있음 — 이론의 우아함 + 실용성.

2.3 비유: 음식의 영양 성분

다양한 음식 (밥, 빵, 고기, 채소) 이 같은 영양 성분 (탄수화물, 단백질, 지방, 비타민) 으로 분석. 음식의 형태는 다르지만 성분의 framework 는 같다 — 영양학의 추상화.

벡터 공간이 같은 사고 — 객체의 형태 (벡터·함수·행렬) 는 다르지만 선형 결합의 framework 는 같다.

2.4 부분공간

Linear Subspace

$\mathcal{V}_1 \subset \mathcal{V}$ 가 subspace 이려면:

\[ \forall a, b \in \mathbb{R}, x, y \in \mathcal{V}_1: ax + by \in \mathcal{V}_1. \]

선형 결합에 닫혀있음.

2.5 직관: 닫힌 우주

부분공간 = “선형 결합이라는 작용에 대해 닫힌 부분 집합”. 한 번 들어가면 못 빠져나오는 우주.

응용 예시:

$\mathbb{R}^3$ 의 평면 (원점 통과).
$L^2$ 의 첫 5 개 EFPC 의 span.
$L^2$ 의 다항식들의 집합 (각 차수 별).

부분공간 사영 (10.2) 의 토대.

2.6 선형 독립과 기저

기저 (Basis)

벡터 $\{e_1, \ldots, e_d\}$ 가:

선형 독립: $\sum a_i e_i = 0 \implies a_i = 0 \forall i$.
생성: 모든 $\mathcal{V}$ 의 원소가 선형 결합으로 표현.

이 두 조건 만족하면 기저, $\mathcal{V}$ 의 차원 = $d$.

2.7 직관: 좌표계의 일반화

$\mathbb{R}^3$ 의 표준 기저 $(\mathbf{e}_1, \mathbf{e}_2, \mathbf{e}_3) = ((1,0,0), (0,1,0), (0,0,1))$ — 모든 벡터를 좌표로 표현.

같은 사고가 임의 벡터 공간에 일반화. 무한차원 공간 ($L^2$) 도 무한 기저 가능 — 정규직교 기저 (10.2 에서 다룸).

2.8 Bold-face 표기 관례

표기 관례

유한 차원 객체 (벡터, 행렬): bold-face $\mathbf{x}, \mathbf{A}$ — 통상 통계 표기.

무한 차원 객체 (함수): plain $x, \Psi$ — 함수 분석 표기.

본 책 (Kokoszka & Reimherr) 가 이 관례 따름. Ch.10 부터는 함수가 주요 객체이므로 plain 표기.

3 내적 공간 (Inner Product Space)

3.1 정의 (Definition 10.1.1)

Inner Product Space

벡터 공간 $\mathcal{V}$ 와 내적 $\langle \cdot, \cdot \rangle: \mathcal{V} \times \mathcal{V} \to \mathbb{R}$ (실수 케이스):

대칭: $\langle x, y \rangle = \langle y, x \rangle$.
선형성: $\langle a_1 x_1 + a_2 x_2, y \rangle = a_1 \langle x_1, y \rangle + a_2 \langle x_2, y \rangle$.
양정치: $\langle x, x \rangle \geq 0$, 등호는 $x = 0$ 만.

(복소 케이스는 $\langle x, y \rangle = \overline{\langle y, x \rangle}$ — conjugate.)

3.2 직관: 두 벡터의 “닮음”

내적이 두 벡터의 닮음 정도 측정. 큰 내적 = 같은 방향, 0 = 직교, 음의 내적 = 반대 방향.

기하학적 해석: $\langle x, y \rangle = \|x\| \|y\| \cos\theta$ — 코사인 유사도의 직접 일반화.

3.3 노름의 정의

Inner Product Norm

내적으로부터 노름 정의:

\[ \|x\| = \sqrt{\langle x, x \rangle}. \]

양정치성으로 $\|x\| \geq 0$, 등호는 $x = 0$. 유클리드 거리의 자연스러운 일반화.

3.4 Proposition 10.1.1 — 노름의 4 가지 성질

내적 노름의 표준 성질

동차성: $\|ax\| = |a| \|x\|$.
Cauchy-Schwarz 부등식: $|\langle x, y \rangle| \leq \|x\| \|y\|$.
삼각 부등식: $\|x + y\| \leq \|x\| + \|y\|$.
거리 함수: $d(x, y) = \|x - y\|$ 가 metric (대칭, 양정치, 삼각).

3.5 직관: Cauchy-Schwarz 의 핵심성

$|\langle x, y \rangle| \leq \|x\| \|y\|$ — 함수 분석의 가장 중요한 부등식. 응용:

Ch.4 의 회귀 식.
Ch.5 의 핵 추정.
Ch.7 의 PACE BLUP.
Ch.9 의 함수 공분산 양정치성.
Ch.10.3 의 Hilbert-Schmidt 정의.

자연스럽게 들리지만 강력한 도구 — 모든 함수 분석 결과의 시작점.

3.6 비유: 코사인의 절댓값 ≤ 1

$\cos\theta$ 의 절댓값 ≤ 1 — 자명. Cauchy-Schwarz 가 이의 추상적 표현 — 두 벡터의 코사인이 1 보다 클 수 없음.

함수 차원에서도 같은 직관 — 두 함수의 cos 이 1 보다 큼은 의미 없음.

3.7 모든 inner product space 는 metric space

공간의 계층

Vector space (axiom)
    ↓ + 내적
Inner product space (정의 10.1.1)
    ↓ + Cauchy-Schwarz
Normed space (자동)
    ↓ + 노름 → metric
Metric space (자동)
    ↓ + 완비성
Banach space (= 완비 normed)
    ↓ + 내적
Hilbert space (= 완비 inner product)

각 단계가 추가 구조 — 더 강력한 framework.

4 완비성 (Completeness)

4.1 Cauchy 수열

Cauchy Sequence

수열 $\{x_n\}$ 이 Cauchy 이면:

\[ d(x_n, x_m) \to 0 \quad \text{as } n, m \to \infty. \]

수열의 점들이 결국 서로 가까워짐 (특정 한계로 수렴할 필요 없음).

4.2 수렴 ⇒ Cauchy

수렴 수열 $x_n \to x$ 면 $d(x_n, x_m) \leq d(x_n, x) + d(x, x_m) \to 0$. 수렴 → Cauchy 자명.

역은 일반적으로 거짓 — Cauchy 이지만 한계가 공간 안에 없을 수 있음.

4.3 완비 공간 (Definition 10.1.2)

Complete Metric Space

모든 Cauchy 수열이 한계를 갖는 공간.

비완비 예시: 유리수 $\mathbb{Q}$ — $1, 1.4, 1.41, 1.414, \ldots \to \sqrt{2}$ 이지만 $\sqrt{2} \notin \mathbb{Q}$.

완비 예시: 실수 $\mathbb{R}$, 유클리드 공간 $\mathbb{R}^d$.

4.4 직관: 완비성의 의미

완비성 = “한계가 안에 있어 분석이 안정”.

비완비 공간의 위험: 수렴해야 할 함수의 한계가 공간 밖에 있을 수 있음 → 분석의 도구 (극한, 수렴) 가 무너짐.

완비 공간이 함수 분석의 자연스러운 환경 — 모든 표준 도구가 작동.

4.5 닫힌 vs 열린 구간

공간	완비?
$(0, 1)$ (열린 구간)	비완비 ($x_n = 1/n \to 0 \notin (0, 1)$)
$[0, 1]$ (닫힌 구간)	완비

닫힘 = 한계가 안에 있음 — 완비성과 직결.

4.6 비유: 항해의 안전 항구

배가 항해 중 폭풍을 만나면 안전한 항구 (완비 공간) 가 필요. 항구가 있으면 안전 도착, 없으면 표류.

완비 공간이 함수 분석의 안전 항구 — 모든 Cauchy 수열이 한계 (목적지) 에 도달.

5 Hilbert 공간 (Definition 10.1.3)

5.1 정의

Hilbert Space

완비 inner product space.

= 내적 + 그 노름에 대한 완비성.

가장 풍부한 함수 공간 — 함수 분석의 “표준 환경”.

5.2 Hilbert 의 의의

Banach 공간 (완비 normed space) 보다 강함 — 내적이 추가.

내적이 추가 도구:

직교성 (사영).
정규직교 기저.
Parseval 등식.
스펙트럼 정리.

Banach 에서는 이 모든 도구가 부재 — 함수 분석이 훨씬 어려움.

5.3 비유: 도구 상자의 충실함

Banach 공간 = 망치 + 톱. Hilbert 공간 = 망치 + 톱 + 자 + 각도기 + 수평계.

자·각도기 (내적) 가 추가되면 더 정밀한 작업 (직교성, 사영) 가능.

6 Hilbert 공간의 표준 예시

6.1 Example 10.1.1 — $\ell^2$

$\ell^2$ — 제곱합 가능 수열

수열 $x = (x_1, x_2, \ldots)$ 중:

\[ \sum_{i=1}^\infty |x_i|^2 < \infty. \]

연산: 성분별 ($x + y = (x_1 + y_1, x_2 + y_2, \ldots)$).

내적:

\[ \langle x, y \rangle = \sum_{i=1}^\infty x_i \bar{y}_i. \]

(Problem 10.3: $\ell^2$ 가 Hilbert 임을 검증.)

6.2 직관: $\ell^2$ 가 핵심

함수의 KL 점수 $\xi_j = \langle X, v_j \rangle$ 의 수열 → $\ell^2$ 의 원소. 함수와 수열이 동등한 표현.

이는 FDA 의 핵심 — $L^2$ 의 함수와 $\ell^2$ 의 점수 수열의 동일성 (Parseval).

6.3 Cauchy-Schwarz in $\ell^2$

\[ \left|\sum_{i=1}^\infty x_i \bar{y}_i\right| \leq \left(\sum |x_i|^2\right)^{1/2} \left(\sum |y_i|^2\right)^{1/2}. \]

무한합의 표준 부등식 — 수열과 함수 모두에서 자주 등장.

6.4 Definition 10.1.4, Theorem 10.1.1 — $L^2$

$L^2[0, 1]$ — FDA 의 표준

Lebesgue 측정 가능 실함수 $x: [0, 1] \to \mathbb{R}$ 중:

\[ \int_0^1 x^2(t) \, dt < \infty. \]

벡터 연산: 점별.

내적:

\[ \langle x, y \rangle = \int_0^1 x(t) y(t) \, dt. \]

Theorem 10.1.1: $L^2$ 가 Hilbert space.

6.5 Cauchy-Schwarz in $L^2$

\[ \left|\int x(t) y(t) \, dt\right| \leq \left(\int x^2(t) \, dt\right)^{1/2} \left(\int y^2(t) \, dt\right)^{1/2}. \]

수열 ($\ell^2$) 과 함수 ($L^2$) 의 Cauchy-Schwarz 가 같은 형태 — 적분이 합의 연속 일반화.

6.6 수렴의 의미

$L^2$ 수렴

$\{x_n\}$ 이 $x$ 에 $L^2$ 수렴이면:

\[ \int [x_n(t) - x(t)]^2 \, dt \to 0. \]

점별 수렴 ($\forall t: x_n(t) \to x(t)$) 와 다름 — $L^2$ 수렴이 더 약 (또는 더 강) 한 경우 모두 가능.

6.7 직관: 평균 제곱 vs 점별

함수가 점별로 다르더라도 적분 차이가 작으면 $L^2$ 수렴.

예시: $x_n(t) = \mathbb{1}_{[0, 1/n]}(t)$. 점별로 $x_n(t) \to 0$ 인 $t > 0$, 그러나 $x_n(0) = 1$ 영원히. $L^2$ 차이 = $1/n \to 0$. $L^2$ 수렴은 OK, 점별은 결함.

이는 $L^2$ 의 본성 — 거의 모든 곳 (almost everywhere) 의 행동에 의존.

6.8 Example 10.1.2 — $L^2(\mathcal{D})$

$\mathcal{D} \subseteq \mathbb{R}^d$ 가 컴팩트:

$d = 2$: 공간 통계 (Ch.9).
$d = 3$: fMRI.
$\mathcal{T} \times \mathcal{D}$: spatio-temporal.

$L^2[0, 1]$ 의 다차원 일반화 — 같은 framework, 더 풍부한 응용.

6.9 Example 10.1.3 — Sobolev $H^K(\mathcal{T})$

Sobolev 공간

$\mathcal{T}$ 위의 $L^2$ 함수 중 $K$ 차 도함수까지 모두 $L^2$ 인 함수.

내적:

\[ \langle x, y \rangle_{K, 2} = \sum_{k=0}^K \int x^{(k)}(t) y^{(k)}(t) \, dt. \]

매끄러움이 강조된 함수 공간 — smoothing penalty 의 토대.

6.10 직관: Sobolev 와 매끄러움

$H^K$ 가 “$K$ 회 미분 가능 + 도함수도 $L^2$” — 매끄러운 함수의 공간.

응용: 거칠기 벌점 $\int (x'')^2$ — Sobolev 노름의 일부 (3 차 기여).

Smoothing spline, RKHS 등의 토대 — Ch.7 (sparse FDA) 에서 본 도구들.

6.11 Example 10.1.4 — Cartesian Product

두 Hilbert $\mathcal{H}_1, \mathcal{H}_2$ 의 Cartesian product:

\[ \|(x_1, x_2)\|^2_{\mathcal{H}_1 \times \mathcal{H}_2} = \|x_1\|^2_{\mathcal{H}_1} + \|x_2\|^2_{\mathcal{H}_2}. \]

다변량 함수 데이터 (multivariate functional data) 의 framework.

6.12 직관: 다채널 함수

다변량 함수 시계열 $(X_1(t), X_2(t), \ldots, X_p(t))$ — 각 채널이 한 함수. 전체가 $\mathcal{H}_1 \times \cdots \times \mathcal{H}_p$ 의 원소.

Cartesian product 의 자연스러운 일반화.

6.13 Example 10.1.5 — $C[0, 1]$ (대조)

$C[0, 1]$ — Banach 이지만 Hilbert 아님

연속 함수 공간 $C[0, 1]$ 에 sup norm:

\[ \|x\| = \sup_{t \in [0, 1]} |x(t)|. \]

이 노름 하 완비 — Banach space.

그러나 sup norm 이 내적에서 도출되지 않음 → 내적 공간 아님 → Hilbert 아님.

$L^2$ 노름으로 대체하면 내적 있음, 그러나 $C[0, 1]$ 가 $L^2$ 노름에 비완비.

$L^2$ 노름에 대한 $C[0, 1]$ 의 완비화 = $L^2[0, 1]$.

6.14 직관: 두 노름의 본질적 차이

노름	측정
Sup norm	함수의 가장 큰 값
$L^2$ norm	함수의 평균 제곱

두 노름이 다른 정보를 잡음. Sup 은 직관적이지만 내적에서 도출 안 됨 → Hilbert 토대 부재.

$L^2$ 가 함수 분석의 표준인 이유 — 내적 + 완비 의 두 조건 모두 만족.

6.15 비유: 두 측정 도구

Sup norm = 자 (가장 긴 부분만 측정).
$L^2$ norm = 저울 (전체 무게 측정).

두 도구가 다른 정보 — 응용에 따라 선택.

함수 분석에서는 $L^2$ (저울) 가 표준 — 풍부한 도구 (직교성, 사영) 와 자연스럽게 어울림.

7 사영 정리 (10.2 의 시작)

7.1 Theorem 10.2.1 — 가장 가까운 점

닫힌 부분공간으로의 사영의 존재

$\mathcal{G}$ 가 Hilbert 공간 $\mathcal{H}$ 의 닫힌 부분공간. 모든 $x \in \mathcal{H}$ 에 대해:

\[ \delta = \inf_{z \in \mathcal{G}} \|x - z\|. \]

유일 한 $y \in \mathcal{G}$ 가 존재하여 $\|x - y\| = \delta$.

$y$ 를 $x$ 의 $\mathcal{G}$ 위 사영 (projection) 이라 한다.

7.2 직관: 가장 가까운 점이 유일

3D 공간의 평면 위로 점을 사영 → 평면 위 가장 가까운 점은 수직 발 (foot of perpendicular) 하나뿐.

이 자명한 사실의 무한차원 일반화 — Hilbert 공간이라는 강력한 환경에서.

7.3 “닫힌” 의 중요성

닫힘이 필요한 이유

닫힌 부분공간 — 한계가 안에 있음.

만약 $\mathcal{G}$ 가 닫혀있지 않으면 (열린 부분공간), 가장 가까운 점이 $\mathcal{G}$ 안에 없을 수 있음. 비완비의 사영 결함.

응용: $\mathcal{G}$ = 첫 $K$ EFPC 의 span (유한차원이므로 자동 닫힘). $\mathcal{G}$ = 모든 다항식의 집합 (열린 — 완비화 = $L^2$).

7.4 비유: 가장 가까운 도시

내가 외딴곳에 있음. 가장 가까운 도시 (한 점) 가 분명히 존재 (Theorem 10.2.1). 단 도시가 고정된 (closed) 영역 일 때만 — “확장 중인 도시” 라면 가장 가까운 점이 미정.

닫힘이 사영의 정의에 필수.

7.5 직교성

직교 (Orthogonal)

$x \perp y$ 이면: $\langle x, y \rangle = 0$.

$\mathcal{G}$ 의 직교 보충 $\mathcal{G}^\perp$:

\[ \mathcal{G}^\perp = \{y \in \mathcal{H}: \langle y, z \rangle = 0 \forall z \in \mathcal{G}\}. \]

$\mathcal{G}$ 의 모든 원소와 직교인 벡터들의 집합.

7.6 직관: 수직 방향

3D 공간의 평면 → 그 평면에 수직인 모든 방향 = $\mathcal{G}^\perp$.

함수 차원: EFPC span 의 직교 보충 = “PC 외 방향들” — 잡음 또는 정보 부족 영역.

8 직교 분해 (Theorem 10.2.2)

8.1 핵심 정리

직교 분해 정리

$\mathcal{G}$ 가 Hilbert 공간 $\mathcal{H}$ 의 닫힌 부분공간:

모든 $x \in \mathcal{H}$ 가 유일한 분해:

\[ x = P(x) + Q(x), \quad P(x) \in \mathcal{G}, Q(x) \in \mathcal{G}^\perp. \]

$P(x)$ 와 $Q(x)$ 가 각각 $\mathcal{G}$, $\mathcal{G}^\perp$ 의 가장 가까운 점.
선형성: $P, Q$ 가 모두 선형.
피타고라스 정리: $\|x\|^2 = \|P(x)\|^2 + \|Q(x)\|^2$.

$P$ 를 $\mathcal{G}$ 위로의 사영 (projection onto $\mathcal{G}$) 라 한다.

8.2 Corollary 10.2.1 — 잔차의 직교성

$x - P(x) \perp \mathcal{G}$.

즉 사영의 잔차가 $\mathcal{G}$ 와 직교.

8.3 직관: 회귀의 표준 결과

다변량 회귀: $\mathbf{y} = \mathbf{X} \boldsymbol{\beta} + \mathbf{e}$, 잔차 $\mathbf{e} \perp$ 회귀자 공간 — 표준 결과.

같은 사고가 함수 차원에서 — 사영의 잔차가 사영된 공간과 직교. 회귀의 본질적 의미.

8.4 비유: 그림자의 분해

3D 물체의 평면 위 그림자 + 수직 방향 잔여 = 원래 물체. 그림자 ⊥ 잔여 — 자명한 기하.

같은 사고가 임의 Hilbert 공간 — 닫힌 부분공간 위로의 사영 + 직교 보충 잔여 = 원래 함수.

피타고라스 정리가 이 분해의 정량화 — 노름 제곱이 두 부분의 합.

8.5 응용: 회귀와 차원 축소의 토대

이 정리가 모든 회귀와 차원 축소의 수학적 토대:

PCA: 데이터를 첫 $K$ PC 의 span 으로 사영.
회귀: 반응을 회귀자 공간으로 사영.
EFPC 절단: 함수를 $K$ 개 EFPC 의 span 으로 사영.

모두 닫힌 부분공간 위로의 직교 사영 — Theorem 10.2.2 의 직접 응용.

9 Riesz 표현 정리 (Theorem 10.2.3)

9.1 정리

Riesz Representation Theorem

$L: \mathcal{H} \to \mathbb{R}$ 이 선형 + 연속 (= 유계) 이면:

\[ \exists! y \in \mathcal{H} \text{ s.t. } L(x) = \langle x, y \rangle \forall x \in \mathcal{H}. \]

모든 연속 선형 범함수가 내적 형태.

9.2 직관: 점 평가의 표현

연속 선형 범함수 = 함수에서 스칼라로 가는 선형 매핑. 예시:

$L(x) = \int x(t) \, dt = \langle x, 1 \rangle$ — 적분 ($y = $ 상수 함수 1).
$L(x) = \int x(t) g(t) \, dt = \langle x, g \rangle$ — 가중 적분.
$L(x) = x(0.5)$ — 점 평가 (단, $L^2$ 에서 안 정의됨).

Riesz: 모든 이런 매핑이 어떤 함수 $y$ 와의 내적.

9.3 응용: 공분산 연산자의 정의

확률 함수 $X \in L^2$ 의 모든 선형 통계량 $L(X)$ 가 어떤 함수 $y$ 와의 내적 → 공분산 구조가 자연스럽게 도출.

이 정리가 Ch.3 의 random function framework 의 토대.

9.4 증명의 우아함 (간단 스케치)

$L \neq 0$ 이면 $\mathcal{G} = \{x: L(x) = 0\}$ — kernel (zero set). 닫힌 부분공간 (선형 + 연속).

$\mathcal{G}^\perp$ 에서 단위 벡터 $z$ 선택. 임의 $x$ 에 대해:

\[ L(x) z - L(z) x = u_x \in \mathcal{G}. \]

$\langle u_x, z \rangle = 0$ ($z \in \mathcal{G}^\perp$). 정리하면:

\[ L(x) = \langle x, L(z) z \rangle. \]

$y = L(z) z$ 가 원하는 표현. $\blacksquare$

9.5 직관: 직교 분해의 응용

증명이 Theorem 10.2.2 (직교 분해) 의 직접 응용. 모든 연속 선형 범함수가 어떤 단일 방향과의 내적 이라는 강력한 결과.

9.6 비유: 평가의 단일 기준

복합적인 평가 (점수 = 시험 + 출석 + 과제 + 발표) 가 사실은 단일 가중 평균 으로 환원 → 한 가중 벡터 ($y$) 와의 내적.

복잡한 평가가 단일 기준으로 표현 — Riesz 의 우아함.

10 정규직교 시스템 (10.2 의 후반)

10.1 정의 (Definition 10.2.1)

Orthonormal System

$\{e_\alpha\}_{\alpha \in A}$ 가:

\[ \langle e_\alpha, e_\beta \rangle = \delta_{\alpha\beta} = \begin{cases} 1 & \alpha = \beta \\ 0 & \alpha \neq \beta \end{cases}. \]

서로 직교 + 단위 노름.

10.2 유한 차원 사영의 단순화

$\mathcal{G}$ 가 $d$-차원 부분공간, 정규직교 기저 $\{e_1, \ldots, e_d\}$. $x \in \mathcal{H}$ 의 사영:

\[ P(x) = \sum_{j=1}^d a_j e_j. \]

직교성으로부터:

\[ a_j = \langle x, e_j \rangle. \]

좌표가 직접 내적 — 매우 단순.

10.3 비교: 정규직교 vs 일반 기저

기저	좌표 계산
일반 (선형 독립)	$d$ 개 일차 방정식 풀이
정규직교	직접 $a_j = \langle x, e_j \rangle$

정규직교의 압도적 단순함 — 모든 응용에서 정규직교 기저 선호.

10.4 비유: 직교 좌표계의 가치

지구상의 점을 표시하는 두 좌표계:

위도/경도 (직교): 직접 위치 추출.
임의 비직교 좌표: 변환 행렬 풀이 필요.

같은 사고가 함수 공간 — 정규직교 기저가 분석을 단순화.

10.5 Separable Hilbert Space (Definition 10.2.2)

Separable Hilbert Space

가산 정규직교 시스템 $\{e_1, e_2, \ldots\}$ 가 존재하여 모든 $x \in \mathcal{H}$ 가:

\[ x = \sum_{j=1}^\infty a_j e_j. \]

이런 시스템을 complete 라 함.

10.6 Orthonormal Basis (Definition 10.2.3)

Separable Hilbert 공간의 complete orthonormal system = orthonormal basis.

10.7 직관: 가산 차원

Separable = “가산 차원” — 무한차원이지만 가산 무한 (기저 원소 수가 $\aleph_0$).

대부분의 응용 Hilbert 공간이 separable:

$\ell^2$ — 표준 기저 $e_j = (0, \ldots, 0, 1, 0, \ldots)$.
$L^2[0, 1]$ — Fourier 기저 (식 10.5).
Sobolev $H^K$ — 수정된 Fourier.

비-separable 공간은 응용에서 거의 등장하지 않음.

10.8 수렴의 의미 (식 10.3)

\[ \lim_{J \to \infty} \left\|x - \sum_{j=1}^J a_j e_j\right\| = 0. \]

노름에서의 수렴 — 점별 수렴이 아닌 평균 제곱 수렴.

11 Parseval 등식 (Theorem 10.2.4)

11.1 정리

Parseval’s Equality

Separable Hilbert 공간 $\mathcal{H}$, complete orthonormal system $\{e_j\}$. 모든 $x \in \mathcal{H}$:

\[ \boxed{ x = \sum_{j=1}^\infty \langle x, e_j \rangle e_j } \quad \text{(전개)}, \]

\[ \boxed{ \|x\|^2 = \sum_{j=1}^\infty |\langle x, e_j \rangle|^2 } \quad \text{(Parseval 등식)}. \]

11.2 도출

위 분해와 직교 사영의 피타고라스 정리에서:

\[ \|x\|^2 = \left\|\sum_j a_j e_j\right\|^2 + \left\|x - \sum_j a_j e_j\right\|^2. \]

직교성: $\|\sum a_j e_j\|^2 = \sum |a_j|^2$. 수렴: 잔차 → 0.

따라서 $\|x\|^2 = \sum |a_j|^2 = \sum |\langle x, e_j \rangle|^2$.

11.3 직관: 좌표의 무한합

$\mathbb{R}^d$ 의 직교 좌표: $\|\mathbf{x}\|^2 = \sum_{i=1}^d x_i^2$. Parseval 이 같은 사실의 무한차원 일반화.

함수의 “좌표 = 정규직교 기저와의 내적”, 노름 = 좌표 제곱합.

11.4 Parseval 의 응용

FDA 의 핵심 사용

KL 전개: $X = \mu + \sum \xi_j v_j$ — Parseval 의 random function 버전.
분산 분해: $\text{Var}[X] = \sum \lambda_j$ — Parseval + Mercer.
차원 축소: 첫 $K$ 좌표가 $\|x\|^2$ 의 대부분 설명 → 절단의 정당화.
신호 처리: Fourier 분해의 에너지 보존 — Parseval 의 표준 응용.

11.5 비유: 음악의 주파수 분해

음악의 총 에너지 = 모든 주파수 성분의 에너지 합 (Parseval). 시간 영역과 주파수 영역의 등가성 — 신호 처리의 표준.

함수의 분해도 같은 사고 — 시간 영역 함수와 좌표 영역 (점수) 의 등가성.

12 Fourier 기저 (식 10.5~10.7)

12.1 Full Fourier Basis (식 10.5)

Full Fourier Basis on $[0, 1]$

\[ e_1(t) = 1, \]

\[ e_{2k}(t) = \sqrt{2} \sin(2\pi k t), \quad k = 1, 2, \ldots, \]

\[ e_{2k+1}(t) = \sqrt{2} \cos(2\pi k t), \quad k = 1, 2, \ldots \]

응용에서는 $K$ 개 sin + $K$ 개 cos + 상수 = $2K + 1$ 개 기저.

12.2 Cosine Basis (식 10.6)

\[ e_0(t) = 1, \quad e_k(t) = \sqrt{2} \cos(\pi k t), \quad k = 1, 2, \ldots \]

12.3 Sine Basis (식 10.7)

\[ e_k(t) = \sqrt{2} \sin(\pi k t), \quad k = 1, 2, \ldots \]

12.4 세 기저의 비교

기저	인자	특성
Full Fourier	$2\pi t$	연주기 데이터
Cosine only	$\pi t$	$L^2[0, 1]$ 의 표준
Sine only	$\pi t$	$f(0) = f(1) = 0$ 가정

12.5 직관: 세 기저의 도메인

Full Fourier ($2\pi t$ 인자) — 주기 1 의 함수 표현 (예: 1년 주기 기상 데이터). Cosine/Sine ($\pi t$ 인자) — 주기 2 의 함수, $[0, 1]$ 위에서 사용. 양 끝의 행동이 다름.

12.6 Sine Basis 의 미묘함

Sine 기저의 모든 원소가 $e_k(0) = e_k(1) = 0$ — 양 끝 0.

질문: $x(t) = t$ 같은 함수를 sine 으로 전개 가능?

답: $L^2$ 노름에서만 수렴 — 양 끝의 점별 일치 보장 안 됨 (Figure 10.1).

12.7 비유: 도구의 한계

망치로 못 박기 가능, 그러나 정밀 조각은 어려움. 도구의 본성에 따라 적합한 작업이 있음.

Sine 기저로 $x(t) = t$ 같은 함수 표현 가능 ($L^2$ 노름 의미), 그러나 점별 정확성 은 한계 — $L^2$ 노름의 본성.

12.8 직관: 기저 선택의 가치

같은 함수도 다른 기저로 표현하면 다른 효율성:

연주기 데이터 (기상): Full Fourier 가 자연스러움.
smoothing penalty + 양 끝 자유: Cosine.
양 끝이 0 가정: Sine.

응용에 맞는 기저 선택이 함수 데이터 분석의 표준.

12.9 Hsing & Eubank (2015)

세 시스템의 정규직교성은 직접 검증 가능 (적분). 완전성 (completeness) 의 증명이 더 정교 — Hsing & Eubank (2015) Section 2.4 등.

12.10 비유: 음악의 장르별 도구

다른 음악 장르마다 적합한 악기:

클래식: 오케스트라 (모든 음역).
재즈: 색소폰 + 피아노.
록: 일렉기타 + 드럼.

함수 데이터의 기저 선택도 같은 사고 — 데이터의 본성에 맞는 기저.

13 두 절의 통합 시각

13.1 한 줄 요약

Hilbert 공간 (10.1) 은 벡터 공간 + 내적 + 완비성의 결합 — Cauchy-Schwarz 부등식과 노름의 4 성질을 자동 확보. 6 가지 표준 예시 (ℓ², L², L²(D), Sobolev, product space, 비예시 C[0,1]) 가 framework 의 보편성을 보여준다. 사영과 정규직교 기저 (10.2) 는 Hilbert 의 핵심 도구 — 닫힌 부분공간 위로의 사영의 존재·유일성·선형성·피타고라스 (Theorem 10.2.2), Riesz 표현 정리 (모든 연속 선형 범함수 = 내적 형태, Theorem 10.2.3), 정규직교 기저 + Parseval 등식 (Theorem 10.2.4) 으로 함수 = 좌표의 무한합·노름 = 좌표 제곱합. 3 종 Fourier 기저 (full, cosine, sine) 가 표준 결정적 기저로 응용된다.

13.2 Ch.3 와의 비교

측면	Ch.3 (입문)	Ch.10.1~10.2 (정착)
Hilbert 공간	명시 안 함	단계별 정의
사영 정리	자명한 것으로 사용	Theorem 10.2.1, 10.2.2 명시
Parseval	KL 전개의 결과로 등장	일반 정리로 도출
Fourier 기저	응용 사례	3 종의 정확한 정의
예시 수	$L^2$ 만	6 가지 표준 + 비예시

Ch.3 가 응용, Ch.10.1~10.2 가 토대.

13.3 Ch.10 후속 절과의 연결

후속 절	10.1~10.2 의 도구를 어떻게 활용하는가
10.3 (선형 연산자)	사영을 일반 선형 연산자로 일반화 + Hilbert-Schmidt
10.4 (스펙트럼 정리)	정규직교 고유함수 = Mercer 의 토대
10.5 (텐서)	정규직교 기저의 텐서 곱

10.1~10.2 가 Ch.10 의 모든 후속 결과의 토대.

13.4 Ch.4~9 와의 관계

Ch.10.1~10.2 가 Ch.4~9 의 모든 도구의 정당화:

EFPC 절단 (Ch.4.6, 5.5, 7.4): 사영 정리의 응용.
KL 전개 (Ch.3, 5, 7, 8): Parseval 등식의 random function 버전.
Cauchy-Schwarz 사용 (Ch.4 회귀, Ch.5 핵 추정 등): 자명한 도구로 사용된 부등식.
Fourier 기저 (Ch.9 Canadian Weather): 식 10.5 의 응용.

Ch.10.1~10.2 의 학습으로 Ch.4~9 의 모든 결과의 출처가 명확해진다.

13.5 학습 가이드

권장 학습 단계

벡터 공간 axiom + 내적 정의 — 정의 정확히 암기.
6 가지 예시 + 비예시 — 각 공간의 특성 인식.
Cauchy-Schwarz — 모든 함수 분석의 기본 부등식.
사영 정리 + Theorem 10.2.2 — 회귀의 토대.
Riesz — 연속 선형 범함수의 표현.
Parseval — KL 전개의 토대.
Fourier 기저 3 종 — 응용에서 자주 등장.

14 관련 주제

선행 지식

FDA 1.0 — 개요
FDA 3.1~3.2 — L² 공간과 확률 함수, Karhunen-Loève 전개 — Ch.10 의 응용
FDA 10.0 — 힐베르트 공간 이론 개관
선형 대수의 내적과 직교성 — 유한차원 토대

후속 주제

관련 개념

Cauchy-Schwarz 부등식 — 모든 함수 분석의 기본
Cauchy 수열과 완비 metric space — Hilbert 의 토대
Banach vs Hilbert 공간
Lebesgue 측도와 $L^p$ 공간 — $L^2$ 의 토대
Sobolev 공간 — Example 10.1.3
Riesz 표현 정리 — Theorem 10.2.3
Parseval 등식 — Theorem 10.2.4
Fourier 급수 — 식 10.5~10.7
Hsing & Eubank (2015) — FDA 특화 functional analysis

1 두 절의 역할

2 벡터 공간 (10.1 의 시작)

2.1 Axiom

2.2 직관: 추상화의 가치

2.3 비유: 음식의 영양 성분

2.4 부분공간

2.5 직관: 닫힌 우주

2.6 선형 독립과 기저

2.7 직관: 좌표계의 일반화

2.8 Bold-face 표기 관례

3 내적 공간 (Inner Product Space)

3.1 정의 (Definition 10.1.1)

3.2 직관: 두 벡터의 “닮음”

3.3 노름의 정의

3.4 Proposition 10.1.1 — 노름의 4 가지 성질

3.5 직관: Cauchy-Schwarz 의 핵심성

3.6 비유: 코사인의 절댓값 ≤ 1

3.7 모든 inner product space 는 metric space

4 완비성 (Completeness)

4.1 Cauchy 수열

4.2 수렴 ⇒ Cauchy

4.3 완비 공간 (Definition 10.1.2)

4.4 직관: 완비성의 의미

4.5 닫힌 vs 열린 구간

4.6 비유: 항해의 안전 항구

5 Hilbert 공간 (Definition 10.1.3)

5.1 정의

5.2 Hilbert 의 의의

5.3 비유: 도구 상자의 충실함

6 Hilbert 공간의 표준 예시

6.1 Example 10.1.1 — \(\ell^2\)

6.2 직관: \(\ell^2\) 가 핵심

6.3 Cauchy-Schwarz in \(\ell^2\)

6.4 Definition 10.1.4, Theorem 10.1.1 — \(L^2\)

6.5 Cauchy-Schwarz in \(L^2\)

6.6 수렴의 의미

6.7 직관: 평균 제곱 vs 점별

6.8 Example 10.1.2 — \(L^2(\mathcal{D})\)

6.9 Example 10.1.3 — Sobolev \(H^K(\mathcal{T})\)

6.10 직관: Sobolev 와 매끄러움

6.11 Example 10.1.4 — Cartesian Product

6.12 직관: 다채널 함수

6.13 Example 10.1.5 — \(C[0, 1]\) (대조)

6.14 직관: 두 노름의 본질적 차이

6.15 비유: 두 측정 도구

7 사영 정리 (10.2 의 시작)

7.1 Theorem 10.2.1 — 가장 가까운 점

7.2 직관: 가장 가까운 점이 유일

7.3 “닫힌” 의 중요성

7.4 비유: 가장 가까운 도시

7.5 직교성

7.6 직관: 수직 방향

8 직교 분해 (Theorem 10.2.2)

8.1 핵심 정리

8.2 Corollary 10.2.1 — 잔차의 직교성

8.3 직관: 회귀의 표준 결과

8.4 비유: 그림자의 분해

8.5 응용: 회귀와 차원 축소의 토대

9 Riesz 표현 정리 (Theorem 10.2.3)

9.1 정리

9.2 직관: 점 평가의 표현

9.3 응용: 공분산 연산자의 정의

9.4 증명의 우아함 (간단 스케치)

9.5 직관: 직교 분해의 응용

9.6 비유: 평가의 단일 기준

10 정규직교 시스템 (10.2 의 후반)

10.1 정의 (Definition 10.2.1)

10.2 유한 차원 사영의 단순화

10.3 비교: 정규직교 vs 일반 기저

10.4 비유: 직교 좌표계의 가치

10.5 Separable Hilbert Space (Definition 10.2.2)

10.6 Orthonormal Basis (Definition 10.2.3)

10.7 직관: 가산 차원

10.8 수렴의 의미 (식 10.3)

11 Parseval 등식 (Theorem 10.2.4)

11.1 정리

11.2 도출

11.3 직관: 좌표의 무한합

11.4 Parseval 의 응용

11.5 비유: 음악의 주파수 분해