1 이 절의 위치
Ch.10.1~10.5 가 Hilbert 공간 framework — 정의, 사영, 정규직교 기저, 선형 연산자, 스펙트럼 정리, 텐서 곱 — 을 정착. 10.6 의 연습문제는 추상적 결과를 손으로 직접 검증 하는 단계.
Ch.10.6 의 위치
↓
Hilbert 공간 도구의 직접 응용 + 검증
직관과 형식 사이의 다리
Ch.11~12 (확률 함수·추론) 로 진행하기 전 토대 점검핵심 메시지: Ch.10 의 추상적 결과들 (Cauchy-Schwarz, 사영 정리, Parseval, Riesz, HS 노름, Mercer, 텐서 곱) 을 손으로 직접 검증 — 이 검증이 Ch.11~12 의 더 깊은 응용을 위한 직관의 토대.
1.1 풀이 구조
각 문제마다 4 단 구조:
- 출제 의도 — 어떤 개념의 어떤 측면을 시험하는가.
- 직관 — 왜 이 결과가 자연스러운가 (비유 포함).
- 형식 풀이 — 엄밀한 수학적 증명.
- 일반화 또는 응용 — Ch.11~12 또는 Ch.4~9 와의 연결.
1.2 학습 효과
- 개념의 자체 검증 — “이해했다” 가 “증명할 수 있다” 로 전환.
- 직관의 정착 — 추상적 결과가 손에 닿는 도구로.
- 응용의 준비 — Ch.11~12 의 새 결과를 만났을 때 즉시 토대 활용 가능.
- 시험 준비 — 대학원 시험·자격 시험·면접의 표준 패턴.
2 Problem 10.1 — Cauchy-Schwarz 의 직접 증명
2.1 문제
Hilbert 공간 \(\mathcal{H}\) 와 \(x, y \in \mathcal{H}\) 에서:
\[ |\langle x, y \rangle| \leq \|x\| \cdot \|y\|. \]
등호는 \(x, y\) 가 선형 종속일 때만 성립함을 직접 증명하라.
2.2 출제 의도
내적 공간의 가장 기본적이고 중요한 부등식 — Hilbert 공간 이론의 토대. 이 부등식이 norm 의 삼각부등식, 사영의 거리 최소화, Bessel 부등식 등 모든 후속 결과의 출발점.
2.3 직관: 코사인 부등식
유한차원 (\(\mathbb{R}^n\)) 에서:
\[ \langle x, y \rangle = \|x\| \cdot \|y\| \cos\theta, \]
\(\theta\) 가 두 벡터 사이의 각도. \(|\cos\theta| \leq 1\) 이므로 부등식 자명. 등호는 \(\theta = 0\) 또는 \(\pi\) — 같은 (또는 반대) 방향. 일반 Hilbert 공간에서도 같은 직관.
2.4 형식 풀이
\(y = 0\) 이면 양변 모두 0 — 자명. \(y \neq 0\) 가정.
임의의 \(\lambda \in \mathbb{R}\) 에서:
\[ 0 \leq \|x - \lambda y\|^2 = \langle x - \lambda y, x - \lambda y \rangle = \|x\|^2 - 2\lambda \langle x, y \rangle + \lambda^2 \|y\|^2. \]
\(\lambda = \frac{\langle x, y \rangle}{\|y\|^2}\) (이 값이 위 이차식의 최솟값을 만드는 \(\lambda\)) 대입:
\[ 0 \leq \|x\|^2 - \frac{\langle x, y \rangle^2}{\|y\|^2}. \]
양변에 \(\|y\|^2\) 곱:
\[ \langle x, y \rangle^2 \leq \|x\|^2 \|y\|^2, \]
제곱근 → \(|\langle x, y \rangle| \leq \|x\| \cdot \|y\|\). \(\blacksquare\)
등호 조건: 위 부등식의 등호 ⟺ \(\|x - \lambda y\|^2 = 0\) ⟺ \(x = \lambda y\) — 선형 종속. \(\blacksquare\)
2.5 일반화: 응용 사례
- Bessel 부등식 의 토대: \(|\langle x, e_j \rangle| \leq \|x\|\) (Cauchy-Schwarz 의 직접 응용, \(\|e_j\| = 1\)).
- 연속 선형 범함수의 노름: Riesz 표현에서 \(\|f\| = \|y\|\) (Cauchy-Schwarz 가 sharp 함을 보장).
- 공분산 부등식: \(|\text{Cov}(X, Y)| \leq \sigma_X \sigma_Y\) — 확률 공간의 Cauchy-Schwarz.
이 한 부등식이 거의 모든 곳에서 등장.
3 Problem 10.2 — 평행사변형 법칙
3.1 문제
Hilbert 공간 \(\mathcal{H}\) 에서:
\[ \|x + y\|^2 + \|x - y\|^2 = 2\|x\|^2 + 2\|y\|^2. \]
또한 일반 노름 공간 (Banach 공간) 에서는 이 등식이 성립하지 않을 수 있음을 \(L^1[0, 1]\) 의 예로 보이라.
3.2 출제 의도
Hilbert vs Banach 의 구분 기준 — 평행사변형 법칙이 노름이 내적에서 유래하는지 (즉 Hilbert 공간인지) 의 정확한 판정 기준 (Jordan-von Neumann 정리).
3.3 직관: 평행사변형의 대각선
평행사변형의 두 대각선 길이 제곱의 합 = 4 변 길이 제곱의 합. 유클리드 기하의 표준 결과 — 내적 공간이 자동으로 만족.
3.4 형식 풀이
내적 노름의 정의:
\[ \|x + y\|^2 = \langle x + y, x + y \rangle = \|x\|^2 + 2\langle x, y \rangle + \|y\|^2, \]
\[ \|x - y\|^2 = \langle x - y, x - y \rangle = \|x\|^2 - 2\langle x, y \rangle + \|y\|^2. \]
합:
\[ \|x + y\|^2 + \|x - y\|^2 = 2\|x\|^2 + 2\|y\|^2. \quad \blacksquare \]
\(L^1\) 의 반례: \(f(t) = 1, g(t) = 2t - 1\) on \([0, 1]\).
- \(\|f\|_{L^1} = \int_0^1 1 \, dt = 1\).
- \(\|g\|_{L^1} = \int_0^1 |2t - 1| dt = 2 \int_0^{1/2} (1 - 2t) dt = 1/2\).
- \(f + g = 2t \Rightarrow \|f + g\|_{L^1} = \int_0^1 2t \, dt = 1\).
- \(f - g = 2 - 2t \Rightarrow \|f - g\|_{L^1} = \int_0^1 (2 - 2t) dt = 1\).
좌변: \(1^2 + 1^2 = 2\). 우변: \(2(1)^2 + 2(1/2)^2 = 2 + 1/2 = 5/2\). 좌 ≠ 우 → 평행사변형 법칙 위반 → \(L^1\) 은 Hilbert 공간 아님. \(\blacksquare\)
3.5 일반화: Jordan-von Neumann 정리
역도 성립: 노름 공간에서 평행사변형 법칙 성립 ⟺ 노름이 내적에서 유래 ⟺ Hilbert 공간.
따라서 평행사변형 법칙이 Hilbert vs Banach 판정의 정확한 기준. 이는 분극 항등식 (다음 문제) 으로 노름에서 내적을 복원할 수 있기 때문.
4 Problem 10.3 — 분극 항등식
4.1 문제
Hilbert 공간 \(\mathcal{H}\) 에서:
\[ \langle x, y \rangle = \frac{1}{4} \left( \|x + y\|^2 - \|x - y\|^2 \right). \]
이 등식의 의미를 설명하라.
4.2 출제 의도
내적이 노름에서 복원 가능 함을 증명. Hilbert 공간의 두 표현 (내적 vs 노름) 의 동등성을 명시.
4.3 직관: 노름이 내적의 정보를 모두 담고 있다
Cauchy-Schwarz: 내적 → 노름 (정의). 분극 항등식: 노름 → 내적. 두 표현이 정보 동치.
4.4 형식 풀이
전개:
\[ \|x + y\|^2 - \|x - y\|^2 = (\|x\|^2 + 2\langle x, y \rangle + \|y\|^2) - (\|x\|^2 - 2\langle x, y \rangle + \|y\|^2) = 4 \langle x, y \rangle. \]
따라서:
\[ \langle x, y \rangle = \frac{1}{4} (\|x + y\|^2 - \|x - y\|^2). \quad \blacksquare \]
4.5 일반화: 복소 Hilbert 공간
복소 Hilbert 공간에서 4-항 분극:
\[ \langle x, y \rangle = \frac{1}{4} \sum_{k=0}^{3} i^k \|x + i^k y\|^2. \]
복소 내적의 허수부도 노름에서 복원. 노름과 내적이 정보 동치 라는 사실의 일반화.
4.6 응용: Jordan-von Neumann 의 역방향
이 항등식으로 노름에서 내적을 정의 가능 (평행사변형 법칙이 성립한다는 가정 하에). 이것이 평행사변형 법칙이 Hilbert 공간 판정 기준인 이유.
5 Problem 10.4 — 사영의 거리 최소화
5.1 문제
\(\mathcal{H}\) 의 닫힌 부분공간 \(\mathcal{M}\), \(x \in \mathcal{H}\) 의 \(\mathcal{M}\) 위로의 사영 \(P_\mathcal{M}(x)\) 가:
\[ \|x - P_\mathcal{M}(x)\| = \inf_{m \in \mathcal{M}} \|x - m\|. \]
(즉 \(x\) 와 \(\mathcal{M}\) 의 모든 원소 중 가장 가까운 것이 사영) 임을 증명하라.
5.2 출제 의도
Theorem 10.2.1 의 사영 정리의 거리 측면 — 사영이 최소 거리 점이라는 기하적 의미를 형식적으로 검증. EFPC 절단의 최적성, 회귀의 최소제곱 해석 등 후속 응용의 토대.
5.3 직관: 직각 삼각형의 빗변
\(x = P_\mathcal{M}(x) + r\), \(r \perp \mathcal{M}\) (잔차). 임의의 \(m \in \mathcal{M}\) 에서 \(x - m\) = (사영 - \(m\)) + 잔차 — 두 직교 성분의 합. 빗변 ≥ 한 변 (피타고라스).
5.4 형식 풀이
\(P = P_\mathcal{M}(x)\), \(r = x - P\) (잔차, \(r \perp \mathcal{M}\)). 임의의 \(m \in \mathcal{M}\):
\[ x - m = (x - P) + (P - m) = r + (P - m). \]
\(P - m \in \mathcal{M}\) (부분공간이므로), \(r \perp \mathcal{M}\) → \(r \perp (P - m)\).
피타고라스 정리:
\[ \|x - m\|^2 = \|r + (P - m)\|^2 = \|r\|^2 + \|P - m\|^2 \geq \|r\|^2 = \|x - P\|^2. \]
등호는 \(\|P - m\|^2 = 0\) ⟺ \(m = P\). 따라서:
\[ \inf_{m \in \mathcal{M}} \|x - m\|^2 = \|x - P\|^2, \]
infimum 이 도달 가능하며 유일한 minimizer 가 \(P_\mathcal{M}(x)\). \(\blacksquare\)
5.5 응용: EFPC 의 최적성
EFPC 절단 \(\widehat{X}_p = \sum_{j=1}^p \langle X, \widehat{v}_j \rangle \widehat{v}_j\) 가 \(p\)-차원 부분공간 (EFPC 가 spannin 하는) 으로의 사영 → 모든 \(p\)-차원 표현 중 최소 잔차 (Karhunen-Loève 의 최적성). 이 최적성이 EFPC 가 dimension reduction 의 표준 도구인 이유.
5.6 응용: 회귀의 최소제곱
함수 회귀 \(Y \approx \beta X\) — 잔차 노름 \(\|Y - \beta X\|\) 의 최소화. \(Y\) 의 \(X\) 의 span 으로의 사영이 최적해. Ch.4~5 의 모든 회귀 결과의 토대.
6 Problem 10.5 — Bessel 부등식
6.1 문제
\(\{e_j\}_{j=1}^\infty\) 가 Hilbert 공간 \(\mathcal{H}\) 의 정규직교 시스템 (정규직교이지만 반드시 완비는 아님). \(x \in \mathcal{H}\) 에서:
\[ \sum_{j=1}^\infty |\langle x, e_j \rangle|^2 \leq \|x\|^2. \]
등호 조건은?
6.2 출제 의도
Parseval 등식 (Theorem 10.2.4) 의 부분 합 버전 — 정규직교 기저가 완비가 아닐 때의 부등식. 등호 조건이 정확히 완비성 (즉 기저).
6.3 직관: 부분 좌표의 손실
\(x\) 를 \(\{e_j\}\) 좌표로 분해 — 좌표 합이 \(x\) 의 일부. 손실된 부분 (직교 보집합) 만큼 노름 합이 부족.
6.4 형식 풀이
부분 합 \(S_N = \sum_{j=1}^N \langle x, e_j \rangle e_j\). 잔차:
\[ r_N = x - S_N \perp e_j, \quad j = 1, \ldots, N. \]
(직접 검증: \(\langle r_N, e_k \rangle = \langle x, e_k \rangle - \sum_{j=1}^N \langle x, e_j \rangle \langle e_j, e_k \rangle = \langle x, e_k \rangle - \langle x, e_k \rangle = 0\).)
피타고라스:
\[ \|x\|^2 = \|S_N\|^2 + \|r_N\|^2 = \sum_{j=1}^N |\langle x, e_j \rangle|^2 + \|r_N\|^2 \geq \sum_{j=1}^N |\langle x, e_j \rangle|^2. \]
\(N \to \infty\) → Bessel 부등식. \(\blacksquare\)
등호 조건: \(\|r_N\|^2 \to 0\) ⟺ \(S_N \to x\) ⟺ \(\{e_j\}\) 가 완비 (즉 정규직교 기저). 등호 시 Parseval 등식.
6.5 일반화: 표본 추정에서의 응용
EFPC 의 \(p\) 절단 \(\widehat{X}_p = \sum_{j=1}^p \langle X, \widehat{v}_j \rangle \widehat{v}_j\) 의 잔차 \(\|X - \widehat{X}_p\|^2 = \|X\|^2 - \sum_{j=1}^p |\langle X, \widehat{v}_j \rangle|^2\) — Bessel 부등식의 직접 응용. 잔차 비율 = 설명되지 않은 분산.
7 Problem 10.6 — Riesz 표현 정리의 응용
7.1 문제
\(L^2[0, 1]\) 위의 선형 범함수 \(f(x) = \int_0^1 x(t) \, dt\) 가 연속임을 증명하고, Riesz 표현 정리에 의한 \(y \in L^2[0, 1]\) 를 구하라 (즉 \(f(x) = \langle x, y \rangle\)).
7.2 출제 의도
Theorem 10.2.3 (Riesz) 의 구체적 응용 — 추상적 정리가 손에 닿는 결과를 만들어냄.
7.3 직관: 적분 = 상수 함수와의 내적
\(\int_0^1 x(t) \, dt = \int_0^1 x(t) \cdot 1 \, dt = \langle x, \mathbf{1} \rangle\). 상수 1 함수와의 내적. Riesz 가 보장하는 unique representer.
7.4 형식 풀이
선형성: \(f(\alpha x_1 + \beta x_2) = \alpha f(x_1) + \beta f(x_2)\) — 적분의 선형성.
연속성 (Cauchy-Schwarz):
\[ |f(x)| = \left| \int_0^1 x(t) \, dt \right| = |\langle x, \mathbf{1} \rangle| \leq \|x\| \cdot \|\mathbf{1}\| = \|x\| \cdot 1 = \|x\|. \]
따라서 \(\|f\|_* \leq 1\) — bounded → 연속. \(\blacksquare\)
Riesz 표현: \(y = \mathbf{1}\) (상수 1 함수). 검증:
\[ \langle x, \mathbf{1} \rangle = \int_0^1 x(t) \cdot 1 \, dt = f(x). \quad \blacksquare \]
7.5 일반화: 가중 적분
\(f(x) = \int_0^1 x(t) w(t) \, dt\) (\(w \in L^2\) 가중 함수). Riesz representer: \(y = w\). 모든 적분 형 범함수가 \(L^2\) 의 한 함수로 표현 가능.
7.6 응용: Ch.4~5 의 회귀
Scalar-on-function 회귀 \(Y_i = \int \beta(t) X_i(t) \, dt + \epsilon_i\) — 회귀 모형이 정확히 Riesz 형태. \(\beta\) = Riesz representer of \(E[Y \mid X = \cdot]\) (선형 가정 하에).
8 Problem 10.7 — Hilbert-Schmidt vs 연산자 노름
8.1 문제
Hilbert-Schmidt 연산자 \(\Psi\) 에서:
\[ \|\Psi\|_{\text{op}} \leq \|\Psi\|_{\text{HS}}. \]
(즉 연산자 노름이 HS 노름으로 상계 가능.)
또한 일반적으로 \(\|\Psi\|_{\text{op}} \neq \|\Psi\|_{\text{HS}}\) — 다른 노름임을 예로 보이라.
8.2 출제 의도
두 노름의 위계 관계 — HS 가 연산자보다 강한 노름. EFPC, 공분산 추정 등에서 두 노름이 어떻게 다르게 작동하는지 인식.
8.3 직관: 모든 방향 vs 최대 방향
- 연산자 노름 \(\|\Psi\|_{\text{op}} = \sup_{\|x\| = 1} \|\Psi x\|\) — 최대 방향 의 확장.
- HS 노름 \(\|\Psi\|_{\text{HS}}^2 = \sum_j \|\Psi e_j\|^2\) — 모든 방향 의 확장 합.
직관: 모든 합 ≥ 최댓값. 단, 합은 무한할 수도 있어 HS 가 더 strict.
8.4 형식 풀이
스펙트럼 분해 (대칭의 경우): \(\Psi = \sum \lambda_j v_j \otimes v_j\), \(|\lambda_1| \geq |\lambda_2| \geq \cdots\).
- \(\|\Psi\|_{\text{op}} = |\lambda_1|\) (최대 고유값의 절댓값).
- \(\|\Psi\|_{\text{HS}}^2 = \sum_j \lambda_j^2\).
\(|\lambda_1|^2 \leq \sum \lambda_j^2\) → \(\|\Psi\|_{\text{op}} \leq \|\Psi\|_{\text{HS}}\). \(\blacksquare\)
(일반 비대칭 연산자에서도 같은 결과 — 특이값 분해 사용.)
노름 차이 예시: \(\Psi = I_p\) (유한차원 항등 연산자, \(p \times p\)).
- \(\|I_p\|_{\text{op}} = 1\) (모든 고유값 1, max 1).
- \(\|I_p\|_{\text{HS}} = \sqrt{p}\) (\(p\) 개의 1 의 제곱합).
\(p\) 가 클수록 두 노름의 차이 커짐.
8.5 응용: 추정 노름 선택
- EFPC 의 최대 고유값 변화 — 연산자 노름 (sup 노름).
- 공분산 함수 전체 추정 오차 — HS 노름 (적분 노름).
Ch.11~12 에서 두 노름이 다른 응용에 등장.
9 Problem 10.8 — Mercer 정리의 검증
9.1 문제
핵 \(K(t, s) = \min(t, s)\) on \([0, 1] \times [0, 1]\) 가 Brownian motion 의 공분산 함수. 이의 스펙트럼 분해 (Mercer 형태):
\[ K(t, s) = \sum_{j=1}^\infty \lambda_j v_j(t) v_j(s), \]
에서 \(\lambda_j\) 와 \(v_j\) 를 구하라.
9.2 출제 의도
Mercer 정리 (Theorem 10.4.2) 의 구체적 응용 — 추상적 결과가 한 핵에 적용된 예. Brownian motion 의 KL 전개를 직접 도출.
9.3 직관: 적분 방정식
\(\int K(t, s) v_j(s) \, ds = \lambda_j v_j(t)\) — 적분 방정식의 고유함수 + 고유값 문제.
9.4 형식 풀이
적분 방정식:
\[ \int_0^1 \min(t, s) v(s) \, ds = \lambda v(t). \]
좌변 분리:
\[ \int_0^t s \cdot v(s) \, ds + t \int_t^1 v(s) \, ds = \lambda v(t). \]
양변을 \(t\) 로 두 번 미분:
- 1 차 미분: \(t \cdot v(t) + \int_t^1 v(s) \, ds - t \cdot v(t) = \int_t^1 v(s) \, ds = \lambda v'(t)\).
- 2 차 미분: \(-v(t) = \lambda v''(t)\).
따라서 \(v''(t) = -\frac{1}{\lambda} v(t)\) — 단순 조화 방정식.
경계 조건: 원래 방정식에서 \(t = 0\) → \(\lambda v(0) = 0\), \(t = 1\) → \(v'(1) = 0\). 정상 해 (\(v \neq 0\)): \(v(0) = 0, v'(1) = 0\).
일반 해: \(v(t) = A \sin(\omega t) + B \cos(\omega t)\), \(\omega = 1/\sqrt{\lambda}\).
- \(v(0) = 0\) → \(B = 0\) → \(v(t) = A \sin(\omega t)\).
- \(v'(1) = A \omega \cos(\omega) = 0\) → \(\cos(\omega) = 0\) → \(\omega = (j - 1/2)\pi\), \(j = 1, 2, \ldots\).
고유값: \(\lambda_j = 1/\omega_j^2 = \frac{1}{(j - 1/2)^2 \pi^2}\).
고유함수: \(v_j(t) = \sqrt{2} \sin((j - 1/2)\pi t)\) (정규화 \(\int_0^1 v_j^2 \, dt = 1\)).
Mercer 분해:
\[ \boxed{ \min(t, s) = \sum_{j=1}^\infty \frac{2}{(j - 1/2)^2 \pi^2} \sin((j - 1/2)\pi t) \sin((j - 1/2)\pi s). } \quad \blacksquare \]
9.5 응용: Brownian motion 의 KL 전개
\(W(t) \sim\) Brownian motion 에서:
\[ W(t) = \sum_{j=1}^\infty \sqrt{\lambda_j} Z_j v_j(t) = \sum_{j=1}^\infty \frac{\sqrt{2}}{(j - 1/2) \pi} Z_j \sin((j - 1/2)\pi t), \]
\(Z_j \overset{iid}{\sim} N(0, 1)\). 이 KL 전개는 Brownian motion 의 표본 경로의 직접 표현 — 시뮬레이션, 이론적 분석에서 활용.
10 Problem 10.9 — 적분 연산자의 고유값
10.1 문제
Hilbert-Schmidt 연산자 \(\Psi\) 가 핵 \(\psi(t, s) = e^{-(t + s)}\) on \([0, \infty) \times [0, \infty)\) (\(L^2[0, \infty)\) 위) 으로 정의. \(\Psi\) 의 고유값과 고유함수를 구하고 HS 노름을 계산하라.
10.2 출제 의도
분리 가능 (separable) 핵의 고유값 분해 — \(\psi(t, s) = a(t) b(s)\) 형태의 핵이 rank-1 연산자라는 사실의 검증.
10.3 직관: rank-1 연산자
\(\psi(t, s) = e^{-t} e^{-s}\) — 두 함수의 곱. \(\Psi\) 가 rank-1 → 고유값 하나만 비영, 나머지 0.
10.4 형식 풀이
연산자 적용:
\[ (\Psi v)(t) = \int_0^\infty e^{-(t+s)} v(s) \, ds = e^{-t} \int_0^\infty e^{-s} v(s) \, ds = c \cdot e^{-t}. \]
여기서 \(c = \int_0^\infty e^{-s} v(s) \, ds\) 는 스칼라.
\(\Psi v = \lambda v\) → \(\lambda v(t) = c \cdot e^{-t}\). \(v(t) \propto e^{-t}\) (단일 비영 고유함수).
정규화: \(\|v\|^2 = \int_0^\infty e^{-2t} dt = 1/2 \to v(t) = \sqrt{2} e^{-t}\).
고유값: \(\Psi v\) 에 대입:
\[ \Psi v(t) = e^{-t} \cdot \sqrt{2} \int_0^\infty e^{-s} e^{-s} ds = e^{-t} \cdot \sqrt{2} \cdot \frac{1}{2} = \frac{\sqrt{2}}{2} e^{-t}. \]
\(\lambda v = \lambda \sqrt{2} e^{-t}\) → \(\lambda \sqrt{2} = \sqrt{2}/2\) → \(\lambda = 1/2\).
다른 모든 고유값 = 0 (rank-1).
HS 노름:
\[ \|\Psi\|_{\text{HS}}^2 = \int \int e^{-2(t+s)} dt \, ds = \left( \int_0^\infty e^{-2t} dt \right)^2 = (1/2)^2 = 1/4. \]
\(\|\Psi\|_{\text{HS}} = 1/2 = |\lambda_1|\). 단일 고유값과 일치 (rank-1 의 결과). \(\blacksquare\)
10.5 일반화: 분리 가능 핵의 일반 결과
\(\psi(t, s) = a(t) b(s)\) → rank-1, 고유값 = \(\langle a, b \rangle\), 고유함수 = \(a / \|a\|\).
Rank-2: \(\psi = a_1 b_1 + a_2 b_2\) → rank-2, 두 비영 고유값. 일반화로 모든 finite-rank 핵의 분해 가능.
10.6 응용: 회귀 핵의 단순화
함수-on-함수 회귀 핵 \(\beta(t, s)\) 를 rank-\(p\) 로 근사:
\[ \beta(t, s) \approx \sum_{j=1}^p \alpha_j a_j(t) b_j(s). \]
EFPC 기반 rank reduction 이 정확히 이 사고 — Mercer 분해의 절단.
11 Problem 10.10 — 텐서 공간의 정규직교 기저
11.1 문제
\(\{e_j\}_{j \geq 1}\) 가 \(L^2[0, 1]\) 의 Fourier 기저 (식 10.5). \(\{e_j(t) e_k(s)\}_{j, k \geq 1}\) 가 \(L^2([0, 1]^2)\) 의 정규직교 기저임을 검증하라.
11.2 출제 의도
Theorem 10.5.2 (텐서 기저) 의 직접 응용 — Fourier 기저를 텐서 곱하면 이변량 Fourier 기저. 함수-on-함수 회귀, 자기회귀 핵 등의 토대.
11.3 직관: 일변량 → 이변량 자동
일변량 정규직교 기저가 있으면 이변량 정규직교 기저는 텐서 곱으로 자동.
11.4 형식 풀이
직교성:
\[ \langle e_j(t) e_k(s), e_{j'}(t) e_{k'}(s) \rangle_{L^2([0,1]^2)} = \int \int e_j(t) e_k(s) e_{j'}(t) e_{k'}(s) \, dt \, ds. \]
Fubini:
\[ = \left( \int e_j(t) e_{j'}(t) dt \right) \left( \int e_k(s) e_{k'}(s) ds \right) = \delta_{jj'} \delta_{kk'}. \]
(일변량 직교성의 곱.)
정규성: \(j = j', k = k'\) → 1 × 1 = 1.
따라서 \(\{e_j e_k\}\) 가 정규직교 시스템. \(\blacksquare\)
완비성: 임의 \(f \in L^2([0, 1]^2)\) 에서 부분 함수 \(f(t, \cdot) \in L^2[0, 1]\) — Fourier 기저로 전개:
\[ f(t, s) = \sum_k a_k(t) e_k(s), \quad a_k(t) = \int f(t, s) e_k(s) ds. \]
각 \(a_k(t) \in L^2[0, 1]\) — 다시 Fourier 전개:
\[ a_k(t) = \sum_j b_{jk} e_j(t). \]
대입:
\[ f(t, s) = \sum_{j, k} b_{jk} e_j(t) e_k(s). \]
Parseval (이변량):
\[ \|f\|^2 = \sum_{j, k} |b_{jk}|^2. \]
따라서 \(\{e_j e_k\}\) 가 완비 — 정규직교 기저. \(\blacksquare\)
11.5 일반화: 임의 일변량 기저의 텐서 곱
같은 결과가 모든 일변량 정규직교 기저 (Fourier, Hermite, Legendre, B-spline) 에 적용. Theorem 10.5.2 의 구체적 검증.
11.6 응용: Ch.5.3 의 양방향 기저
5.3 의 함수-on-함수 회귀에서 회귀 핵 \(\beta(t, s)\) 의 추정:
\[ \beta(t, s) = \sum_{g, h} \beta_{gh} B_g(t) B_h(s). \]
\(\{B_g B_h\}\) 가 정규직교 기저 (텐서 곱) — Theorem 10.5.2 의 직접 응용. 추정 모수 \(\beta_{gh}\) 의 격자 표현이 이 토대 위에 형성.
12 핵심 정리와 요약
12.1 한 줄 요약
Ch.10.6 의 10 문제는 Hilbert 공간 framework 의 모든 핵심 결과 — Cauchy-Schwarz (P10.1), 평행사변형 법칙으로 Hilbert vs Banach 구분 (P10.2), 분극 항등식으로 노름→내적 복원 (P10.3), 사영의 거리 최소화 (P10.4), Bessel 부등식 (P10.5), Riesz 표현의 적분 응용 (P10.6), HS 노름 vs 연산자 노름 (P10.7), Brownian motion Mercer 분해 (P10.8), 분리 가능 핵의 rank-1 (P10.9), 텐서 정규직교 기저 (P10.10) — 을 손으로 직접 검증한다. 각 결과가 추상적 정리에서 EFPC 의 최적성, KL 전개, 회귀 핵 추정, 자기회귀 모형 등 Ch.4~9 의 모든 응용으로 이어지는 직접 다리 — Ch.11~12 (확률 함수·추론) 로 진행하기 전 토대 점검의 표준 도구.
12.2 학습 가이드
필수 (가장 자주 등장):
- P10.1 (Cauchy-Schwarz) — 모든 부등식의 출발점.
- P10.4 (사영 거리 최소화) — EFPC + 회귀의 토대.
- P10.5 (Bessel) — 표본 추정 잔차의 표준 분해.
- P10.10 (텐서 기저) — 이변량 회귀 핵 추정의 토대.
중요:
- P10.6 (Riesz 응용) — 함수 회귀 모형의 표준 형태.
- P10.7 (HS vs 연산자) — 추정 노름의 선택.
- P10.8 (Mercer for Brownian) — KL 전개의 구체적 예.
추가:
- P10.2 (평행사변형) — Hilbert 판정.
- P10.3 (분극) — 노름과 내적의 동치.
- P10.9 (분리 가능 핵) — 단순화 도구.
12.3 Ch.10 의 통합
Ch.10 전체 흐름:
10.1 Hilbert 공간 정의 + 표준 예시
10.2 사영 + 정규직교 + Riesz + Parseval
10.3 선형 연산자 + Hilbert-Schmidt (별도 포스트)
10.4 스펙트럼 정리 + Mercer (별도 포스트)
10.5 텐서 곱
10.6 연습문제 — 모든 결과의 자체 검증 ← 이 포스트10.6 이 Ch.10 의 마무리 — 추상적 결과가 손에 닿는 도구로 전환되는 단계.
13 관련 주제
선행 지식
- FDA 1.0 — 개요
- FDA 3.1~3.2 — L² 공간과 확률 함수, Karhunen-Loève 전개
- FDA 5.3~5.4 — 함수-on-함수 회귀와 refund 통합 구현
- FDA 8.1~8.2 — 시계열 기초와 FAR(1)
- FDA 10.0 — 힐베르트 공간 이론 개관
- FDA 10.1~10.2 — Hilbert 공간의 정의와 사영·정규직교 기저
- FDA 10.5 — 텐서 곱과 이변량 함수 공간
후속 주제
- FDA 10.3~10.4 — 선형 연산자, Hilbert-Schmidt, 스펙트럼 정리, Mercer
- FDA Ch.11 — 확률 함수와 가우스 과정
- FDA Ch.12 — 평균·공분산 함수의 추론
관련 개념
- Cauchy-Schwarz 부등식 — Ch.10.1
- Jordan-von Neumann 정리 — Hilbert 판정
- Brownian motion 의 KL 전개 — Mercer 의 표본 응용
- Reed & Simon (1980) Functional Analysis — Hilbert 공간 표준 참고서
- Hsing & Eubank (2015) Theoretical Foundations of FDA