1 이 절의 위치
Ch.10.1~10.2 에서 Hilbert 공간의 정의와 사영·정규직교 기저를 정착시켰다. Ch.10.3~10.4 가 선형 연산자와 스펙트럼 이론을 다룬다 (별도 포스트). Ch.10.5 는 텐서 곱 — 두 Hilbert 공간의 곱으로 새 객체 (이변량 함수) 를 생성하는 framework.
Ch.10.5 의 위치
↓
공분산 함수 c(t, s) = 두 함수의 텐서 곱의 기댓값
회귀 핵 β(t, s) = 텐서 공간 L²(T) ⊗ L²(T) 의 원소
자기회귀 핵 φ(t, s) = 같은 텐서 공간
이변량 기저 e_{1j} ⊗ e_{2k} = 일변량 기저의 텐서 곱핵심 메시지: 텐서 곱은 이변량 함수의 추상적 framework — 공분산, 회귀 핵, 자기회귀 핵 등 Ch.4~9 의 모든 이변량 객체가 텐서 공간 \(L^2(T) \otimes L^2(T) = L^2(T \times T)\) 의 원소이며, 이 공간이 Hilbert 공간의 텐서 곱의 자연스러운 결과.
1.1 이 절이 중요한 이유
Ch.4~9 에서 자주 등장하는 이변량 함수:
- 공분산 함수 \(c(t, s) = E[(X(t) - \mu(t))(X(s) - \mu(s))]\) (Ch.3, 5)
- 함수-on-함수 회귀 핵 \(\beta(t, s)\) (Ch.5.3)
- FAR(1) 자기회귀 핵 \(\varphi(t, s)\) (Ch.8.2)
- 공간 함수 공분산 \(C(s, s'; t, u)\) (Ch.9.2)
이 모든 객체가 같은 framework — 텐서 공간 \(L^2(T) \otimes L^2(T)\) 의 원소.
이 framework 가 명확하지 않으면 각 이변량 객체를 독립적으로 처리해야 함 — 비효율 + 직관 부족.
1.2 비유: 곱셈 표의 발견
초등학교의 곱셈 표 — 처음 보면 “각 곱셈을 따로 외워야” 하는 것 같지만, 곱셈의 추상적 framework (예: \(a \times b\) 의 일반 형태) 를 이해하면 모든 곱셈이 통합.
텐서 곱이 같은 사고 — 이변량 객체의 추상적 framework 로 모든 응용 통합.
2 텐서 곱의 동기
2.1 행렬과 텐서 곱
두 벡터 \(x_1 \in \mathbb{R}^N, x_2 \in \mathbb{R}^M\) 의 텐서 곱:
\[ x_1 \otimes x_2 := x_1 x_2^T \in \mathbb{R}^{N \times M}. \]
(외적 outer product)
공간:
\[ \mathbb{R}^N \otimes \mathbb{R}^M = \mathbb{R}^{N \times M}. \]
텐서 공간 = 행렬 공간.
2.2 행렬의 3 가지 view
- 전통적 행렬 — 숫자의 격자.
- 선형 변환 \(\mathbb{R}^N \to \mathbb{R}^M\) (또는 역방향).
- 이중선형 사상 (bilinear functional) \(\mathbb{R}^N \times \mathbb{R}^M \to \mathbb{R}\):
\[ A(y_1, y_2) := y_1^T A y_2. \]
세 view 가 행렬에 대해서는 동등 — 같은 객체의 다른 표현.
2.3 직관: 3 가지 view 의 의의
- 전통적 view: 시각적, 직접 계산.
- 선형 변환 view: 함수형 — 행렬을 입력 → 출력 함수로.
- 이중선형 사상 view: 두 입력의 동시 함수 → 스칼라.
함수 차원 일반화에서 세 번째 view 가 가장 자연스러움 — 행렬이 무한차원으로 가면 전통적 격자나 단순 선형 변환은 모호해지지만, 이중선형 사상은 자연스럽게 정의.
2.4 비유: 같은 도시의 3 가지 지도
같은 도시를 표현하는 3 가지:
- 위성 사진 (전통적): 시각적, 직접.
- 도로 지도 (선형 변환): 한 점 → 다른 점으로 이동.
- 거리 표 (이중선형 사상): 두 점 → 거리.
같은 도시 (같은 객체) 의 3 가지 표현 — 각각 다른 응용에 적합.
2.5 함수 차원에서의 일반화
전통적 view: 무한차원 “행렬” 은 시각화 불가. 선형 변환 view: 가능 (Hilbert-Schmidt 연산자, Ch.10.3). 이중선형 사상 view: 가장 자연스럽게 일반화 (Definition 10.5.1).
따라서 텐서의 정의를 이중선형 사상 으로 한다.
2.6 텐서 공간의 정의
\(x_1 \otimes x_2\) 같은 단일 텐서 외에 일반 텐서는 유한 선형 결합:
\[ A = \sum_{j=1}^J x_{1j} \otimes x_{2j} = \sum_{j=1}^J x_{1j} x_{2j}^T. \]
행렬에서: 모든 \(N \times M\) 행렬이 이 형태로 표현 → \(\mathbb{R}^N \otimes \mathbb{R}^M = \mathbb{R}^{N \times M}\).
2.7 직관: 모든 행렬이 외적의 합
이는 SVD 의 특수 형태 — 모든 행렬이 \(\sum \sigma_j u_j v_j^T\) 로 분해. 텐서 곱이 이 일반화의 추상화.
함수 차원에서도 같은 사고 — 모든 이변량 함수가 일변량 함수들의 텐서 곱의 합으로 표현.
3 Hilbert 공간의 텐서 곱 (Definition 10.5.1)
3.1 정의
두 실 Hilbert 공간 \(\mathcal{H}_1, \mathcal{H}_2\) 와 \(x_1 \in \mathcal{H}_1, x_2 \in \mathcal{H}_2\). 텐서 곱 \(x_1 \otimes x_2: \mathcal{H}_1 \times \mathcal{H}_2 \to \mathbb{R}\):
\[ \boxed{ (x_1 \otimes x_2)(y_1, y_2) = \langle x_1, y_1 \rangle_{\mathcal{H}_1} \langle x_2, y_2 \rangle_{\mathcal{H}_2}. } \]
이중선형 사상 — 각 인자에 대해 선형.
3.2 직관: 두 내적의 곱
\(x_1 \otimes x_2\) 가 \((y_1, y_2)\) 를 입력받아 두 내적의 곱 출력. 단순하고 자연스러운 정의.
행렬과의 비교:
\[ (x_1 \otimes x_2)(y_1, y_2) = (y_1^T x_1)(x_2^T y_2) = y_1^T (x_1 x_2^T) y_2 = y_1^T A y_2, \]
여기서 \(A = x_1 x_2^T\) 가 외적 행렬. 함수 차원에서도 같은 형식적 구조.
3.3 비유: 두 평가의 곱
직원 평가에서:
- 평가자 1 의 점수 = inner product (직원, 평가자 1).
- 평가자 2 의 점수 = inner product (직원, 평가자 2).
두 평가의 곱 = 직원의 종합 평가 (joint score).
텐서 곱이 같은 사고 — 두 차원의 정보를 결합.
3.4 텐서 공간의 구성
먼저 모든 유한 선형 결합의 집합:
\[ \mathcal{A} = \left\{ \sum_{j=1}^J x_{1j} \otimes x_{2j}: x_{1j} \in \mathcal{H}_1, x_{2j} \in \mathcal{H}_2, J < \infty \right\}. \]
내적 정의:
\[ \left\langle \sum_j x_{1j} \otimes x_{2j}, \sum_k y_{1k} \otimes y_{2k} \right\rangle_\mathcal{A} = \sum_{j, k} \langle x_{1j}, y_{1k} \rangle_{\mathcal{H}_1} \langle x_{2j}, y_{2k} \rangle_{\mathcal{H}_2}. \]
\(\mathcal{H}_1 \otimes \mathcal{H}_2\) = \(\mathcal{A}\) 의 노름에 대한 완비화 (Hilbert space 가 됨).
3.5 유한차원의 경우
\(\mathcal{H}_1, \mathcal{H}_2\) 가 유한차원 → \(\mathcal{A}\) 가 이미 완비. 완비화 불필요.
무한차원의 경우 \(\mathcal{A}\) 가 비완비 → 완비화로 모든 Cauchy 수열의 한계 포함.
3.6 직관: 완비화의 의미
유한 선형 결합의 한계 (예: 무한합) 가 \(\mathcal{A}\) 에 없을 수 있음. 완비화로 이를 보완 → 모든 가능한 텐서 (포함 무한합) 가 텐서 공간 안에.
이는 Ch.10.1 의 \(C[0, 1]\) 의 \(L^2\) 노름 완비화로 \(L^2\) 가 만들어지는 것과 같은 패턴.
3.7 텐서 공간이 Hilbert space
\(\mathcal{H}_1 \otimes \mathcal{H}_2\) 가 자동으로 Hilbert space → 여러 차원의 텐서 곱이 자연스럽게 정의:
\[ \mathcal{H}_1 \otimes \mathcal{H}_2 \otimes \mathcal{H}_3 = (\mathcal{H}_1 \otimes \mathcal{H}_2) \otimes \mathcal{H}_3. \]
\(n\)-차 텐서, \(n\)-차원 함수 등으로 일반화 가능.
4 텐서의 표준 성질 (Theorem 10.5.1)
4.1 다중 선형성
\((x_1 + y_1) \otimes x_2 = x_1 \otimes x_2 + y_1 \otimes x_2\) — 첫 인자 분배.
\(x_1 \otimes (x_2 + y_2) = x_1 \otimes x_2 + x_1 \otimes y_2\) — 둘째 인자 분배.
\(c(x_1 \otimes x_2) = (cx_1) \otimes x_2 = x_1 \otimes (cx_2)\) — 스칼라 곱 분배.
이중선형성 의 표준 결과.
4.2 직관: 자연스러운 분배 법칙
벡터의 외적과 같은 분배 법칙 — 자명한 결과이지만 명시적 정착.
응용: 공분산 함수의 분해, 회귀 핵의 기저 전개 등 모든 곳에서 분배 법칙 사용.
4.3 비유: 곱셈의 분배
\(2 \times (3 + 4) = 2 \times 3 + 2 \times 4\) — 자명한 분배. 텐서의 분배 법칙도 같은 사고.
5 핵심 결과: \(L^2(T) \otimes L^2(T) = L^2(T \times T)\) (Example 10.5.1)
5.1 결과
\(\mathcal{H}_1 = \mathcal{H}_2 = L^2(\mathcal{T})\):
\[ (x_1 \otimes x_2)(y_1, y_2) = \int \int x_1(t) x_2(s) y_1(t) y_2(s) \, dt \, ds. \]
이는 핵 \(x_1(t) x_2(s)\) 의 적분 연산자. 따라서:
\[ \boxed{ L^2(\mathcal{T}) \otimes L^2(\mathcal{T}) = L^2(\mathcal{T} \times \mathcal{T}). } \]
텐서 공간 = 이변량 함수 공간.
5.2 도출
\(x_1 \otimes x_2\) 의 정의에 \(L^2\) 내적 대입:
\[ (x_1 \otimes x_2)(y_1, y_2) = \langle x_1, y_1 \rangle \langle x_2, y_2 \rangle = \left(\int x_1(t) y_1(t) dt\right) \left(\int x_2(s) y_2(s) ds\right). \]
곱을 합쳐:
\[ = \int \int x_1(t) x_2(s) y_1(t) y_2(s) \, dt \, ds. \]
이는 핵 \(\psi(t, s) = x_1(t) x_2(s)\) 의 적분 연산자 형태 (Ch.10.3 의 Example 10.3.1).
5.3 직관: 텐서 = 이변량 함수
이 결과의 의미:
두 함수의 텐서 곱 = 두 함수의 점별 곱으로 만들어진 이변량 함수.
\(x_1(t) x_2(s)\) 가 자동으로 \(L^2(\mathcal{T} \times \mathcal{T})\) 의 원소 — Cauchy-Schwarz + Fubini 로 검증.
5.4 일반 이변량 함수의 표현
이 동치로 모든 이변량 함수 \(f(t, s) \in L^2(\mathcal{T} \times \mathcal{T})\) 가:
\[ f(t, s) = \sum_j a_j x_{1j}(t) x_{2j}(s) \]
같은 형태로 표현 (텐서 곱의 선형 결합) — Schmidt decomposition.
5.5 직관: 이변량 함수의 단순화
\(f(t, s)\) 가 일반적으로 복잡한 객체. 텐서 곱 표현으로 두 일변량 함수의 곱의 합 으로 분해 → 분석이 단순화.
이는 SVD 의 함수 일반화 — 행렬의 \(A = \sum \sigma_j u_j v_j^T\) 의 함수 버전.
5.6 비유: 음악의 화음 분해
복잡한 화음 = 단음들의 동시 연주. 같은 사고가 이변량 함수 — 단순한 텐서 곱들의 합으로 분해.
이 분해가 분석을 가능하게 만드는 표준 도구 — Schmidt decomposition.
5.7 응용: FDA 의 모든 이변량 객체
| 객체 | 정의 | 텐서 표현 |
|---|---|---|
| 공분산 함수 \(c(t, s)\) | \(E[(X(t) - \mu(t))(X(s) - \mu(s))]\) | \(E[(X - \mu) \otimes (X - \mu)]\) |
| 회귀 핵 \(\beta(t, s)\) (Ch.5.3) | \(Y(t) = \int \beta(t, s) X(s) ds\) | \(L^2 \otimes L^2\) 의 원소 |
| FAR(1) 핵 \(\varphi(t, s)\) (Ch.8.2) | \(X_n(t) = \int \varphi(t, s) X_{n-1}(s) ds\) | \(L^2 \otimes L^2\) 의 원소 |
| 공간 공분산 \(C(s, s'; t, u)\) (Ch.9) | \(\text{Cov}(X(s; t), X(s'; u))\) | 4-fold 텐서 공간 |
모두 텐서 공간의 원소 — 통합 framework.
5.8 직관: 통합 framework 의 가치
같은 도구 (텐서 공간 이론) 가 모든 이변량 객체에 적용:
- 존재 + 유일성 — Hilbert 공간의 결과 자동 적용.
- 기저 전개 — 텐서 기저 (Theorem 10.5.2) 자동.
- 추정 — Hilbert-Schmidt 노름 측정 가능.
- 점근 분포 — 무한차원 CLT 의 자연스러운 응용.
각 객체를 따로 처리할 필요 없음.
6 정규직교 기저의 텐서 곱 (Theorem 10.5.2)
6.1 정리
\(\{e_{1j}\}, \{e_{2k}\}\) 가 \(\mathcal{H}_1, \mathcal{H}_2\) 의 정규직교 기저면:
\[ \boxed{ \{e_{1j} \otimes e_{2k}: j, k \geq 1\} } \]
이 \(\mathcal{H}_1 \otimes \mathcal{H}_2\) 의 정규직교 기저.
6.2 도출
직교성:
\[ \langle e_{1j} \otimes e_{2k}, e_{1j'} \otimes e_{2k'} \rangle = \langle e_{1j}, e_{1j'} \rangle \langle e_{2k}, e_{2k'} \rangle = \delta_{jj'} \delta_{kk'}. \]
(텐서 공간 내적의 정의에서 직접 도출.)
완비성 (모든 텐서가 이 기저로 표현 가능) 도 검증 가능.
6.3 직관: 일변량 → 이변량 자동
일변량 정규직교 기저가 있으면 이변량 정규직교 기저가 자동.
응용 예시:
- \(\mathcal{H} = L^2[0, 1]\), Fourier 기저 \(\{e_j\}\) → 텐서 기저 \(\{e_j(t) e_k(s)\}\) 가 \(L^2([0, 1]^2)\) 의 정규직교 기저.
- B-spline 기저 → 이변량 B-spline (텐서 곱 spline).
6.4 응용: 이변량 함수의 기저 전개
\(L^2(T \times T)\) 의 모든 함수 \(f(t, s)\):
\[ f(t, s) = \sum_{j, k} a_{jk} e_{1j}(t) e_{2k}(s), \]
\(a_{jk} = \langle f, e_{1j} \otimes e_{2k} \rangle = \int \int f(t, s) e_{1j}(t) e_{2k}(s) \, dt \, ds\).
Parseval 등식:
\[ \|f\|^2 = \sum_{j, k} |a_{jk}|^2. \]
6.5 직관: 이변량 Parseval
일변량 Parseval (\(\|x\|^2 = \sum |\langle x, e_j \rangle|^2\)) 의 이변량 일반화.
이변량 함수의 정규직교 기저 좌표 = 두 인덱스 (\(j, k\)) — 2 차원 좌표 격자.
6.6 응용: 5.3 의 함수-on-함수 회귀
5.3 의 회귀 핵 \(\beta(t, s)\) 의 텐서 기저 전개:
\[ \beta(t, s) = \sum_{g, h} \beta_{gh} B_g(t) B_h(s) = \sum_g \psi_g B_g^*(t, s), \]
\(B_g^*\) 가 텐서 기저. 추정 모수 \(\beta_{gh}\) — 격자 위의 점들.
5.3 의 양방향 기저 전개 + 라플라시안 벌점이 정확히 이 framework — Ch.10.5 의 직접 응용.
6.7 응용: 8.2 의 FAR(1) 핵
8.2 의 FAR(1) 핵 \(\varphi(t, s)\) 의 식 (8.5):
\[ \widehat{\varphi}_p(t, s) = \frac{1}{N-1} \sum_{k} \sum_{j, i = 1}^{p} \widehat{\lambda}_j^{-1} \langle X_k, \widehat{v}_j \rangle \langle X_{k+1}, \widehat{v}_i \rangle \widehat{v}_j(s) \widehat{v}_i(t). \]
텐서 기저 \(\{\widehat{v}_j(s) \widehat{v}_i(t)\}\) 의 가중 합 — Ch.10.5 의 Theorem 10.5.2 의 직접 응용 (\(\widehat{v}_j\) 가 EFPC 정규직교 기저).
6.8 응용: 5.5 의 핵 분해
5.5 의 함수-on-함수 회귀의 핵 분해 (식 5.17):
\[ \psi(t, s) = \sum_{k, \ell} \psi_{k\ell} u_k(t) v_\ell(s). \]
텐서 기저 \(\{u_k(t) v_\ell(s)\}\) — 두 다른 정규직교 기저의 텐서 곱.
이 모든 결과가 Theorem 10.5.2 의 응용 — 통합 framework.
7 텐서의 연산자 표현
7.1 동기
텐서 \(x_1 \otimes x_2\) 가 이중선형 사상으로 정의되었지만, 다른 동치적 표현 — 연산자 — 도 가능.
7.2 정의
\(x_1 \in \mathcal{H}_1, x_2 \in \mathcal{H}_2\) 에서 연산자 정의:
\[ L_{x_1, x_2}(y_1) = \langle x_1, y_1 \rangle_{\mathcal{H}_1} x_2, \]
\(y_1 \in \mathcal{H}_1\).
\(y_1\) 을 \(x_1\) 에 사영한 후 그 스칼라로 \(x_2\) 곱셈.
7.3 동치성
이 연산자가 유발하는 이중선형 사상이 정확히 \(x_1 \otimes x_2\):
\[ \langle L_{x_1, x_2}(y_1), y_2 \rangle_{\mathcal{H}_2} = \langle \langle x_1, y_1 \rangle x_2, y_2 \rangle = \langle x_1, y_1 \rangle \langle x_2, y_2 \rangle = (x_1 \otimes x_2)(y_1, y_2). \]
따라서 텐서 = 연산자 의 두 view 가 동치.
7.4 직관: 두 view 의 응용
- 이중선형 사상 view: 이변량 함수로서의 표현 (예: \(\beta(t, s)\)).
- 연산자 view: 함수 공간 사이 매핑 (예: 공분산 연산자 \(C(x) = E[\langle X, x \rangle X]\)).
같은 객체의 두 표현 — 응용에 따라 선택.
7.5 공분산 연산자와의 연결
확률 함수 \(X \in L^2\) 의 공분산 연산자 \(C\):
\[ C(y) = E[\langle X - \mu, y \rangle (X - \mu)] = E[(X - \mu) \otimes (X - \mu)] (y, \cdot). \]
여기서 \((X - \mu) \otimes (X - \mu)\) 가 random tensor — 그 기댓값이 공분산 연산자 (또는 공분산 함수 \(c(t, s)\)).
7.6 직관: 공분산 = 텐서의 기댓값
\(X \otimes X\) 가 random function 의 자기 텐서 — 그 기댓값이 공분산 구조의 자연스러운 표현.
이는 다변량의 \(E[\mathbf{X} \mathbf{X}^T] = \boldsymbol{\Sigma}\) (공분산 행렬) 의 함수 일반화 — 외적 → 텐서 곱.
7.7 비유: 두 도구의 같은 작업
망치를 두 가지 방식으로 사용:
- 못 박는 도구 (한 작용).
- 못 빼는 도구 (반대 작용).
같은 망치가 두 작업 — 도구의 본질이 같지만 응용 방식 다름.
텐서가 같은 사고 — 이중선형 사상 vs 연산자의 두 view 가 같은 객체.
8 다중 텐서 곱
8.1 일반화
3 개 이상의 Hilbert 공간의 텐서 곱:
\[ \mathcal{H}_1 \otimes \mathcal{H}_2 \otimes \mathcal{H}_3 = (\mathcal{H}_1 \otimes \mathcal{H}_2) \otimes \mathcal{H}_3. \]
귀납적으로 \(n\)-차 텐서 곱 자연스럽게 정의.
응용: \(L^2(T)^{\otimes 3} = L^2(T^3)\) — 3 변수 함수 공간.
8.2 응용: 시공간 함수
Ch.9 의 공간 함수 데이터:
\[ X(s, t) \in L^2(\mathcal{S}) \otimes L^2(\mathcal{T}) = L^2(\mathcal{S} \times \mathcal{T}). \]
\(\mathcal{S}\) = 공간 도메인, \(\mathcal{T}\) = 시간 도메인.
시공간 함수가 자동으로 텐서 공간의 원소.
8.3 직관: 일반화의 우아함
2 차원 텐서 (이변량 함수) 의 framework 가 자연스럽게 다차원으로 — 시공간 데이터, 다채널 함수, \(n\)-차 적률 등.
이는 framework 의 보편성 — 한 개념이 여러 응용에 자동 작동.
8.4 비유: 직육면체의 일반화
2 차원 직사각형 → 3 차원 직육면체 → \(n\)-차원 hyperrectangle. 같은 정의 (각 차원의 곱) 의 일반화.
텐서 곱도 같은 사고 — Hilbert 공간들의 곱의 자연스러운 일반화.
9 Ch.4~9 와의 연결 (통합 시각)
9.1 텐서 framework 의 응용 매핑
| 챕터 | 객체 | 텐서 framework |
|---|---|---|
| Ch.3 | 공분산 함수 \(c(t, s)\) | \(E[X \otimes X] - \mu \otimes \mu\) |
| Ch.5.3 | 회귀 핵 \(\beta(t, s)\) | \(L^2 \otimes L^2 = L^2(T^2)\) 의 원소 |
| Ch.5.3 | 양방향 기저 \(B_g^*(t, s)\) | \(B_g^t \otimes B_g^s\) |
| Ch.5.5 | 핵 분해 \(\psi_{k\ell} u_k v_\ell\) | 텐서 기저의 가중 합 |
| Ch.6.3 | 함수-on-함수 GLM 핵 | 텐서 공간 + 링크 함수 |
| Ch.8.2 | FAR(1) 핵 \(\varphi(t, s)\) | 같은 텐서 공간 |
| Ch.9.2 | 공간 공분산 \(C(h; t, u)\) | \(L^2(\mathcal{S}) \otimes L^2(\mathcal{T})^{\otimes 2}\) |
모든 이변량/다변량 함수 객체가 텐서 framework 로 통합.
9.2 직관: 통합의 가치
각 객체를 독립적으로 다루면 분석 도구 중복 — 비효율 + 직관 부족.
텐서 framework 로 통합:
- 한 도구 (Hilbert 공간 결과) 가 모든 객체에 자동 적용.
- 새 응용에서도 framework 만 인식하면 즉시 도구 활용 가능.
- 이론적 결과의 출처가 명확 (텐서 + Hilbert 의 결합).
9.3 비유: 추상 대수의 가치
군론 (group theory) 가 다양한 수학 구조 (정수, 회전, 행렬군 등) 를 통합 — 한 framework 로 모든 응용 처리.
텐서 framework 가 같은 사고 — 다양한 이변량 객체를 통합.
9.4 Ch.11 와의 연결
Ch.11 의 random functions 와 가우스 과정에서 텐서 framework 를 더 깊이 활용:
- \(X \otimes X\) 의 기댓값이 공분산 연산자 (자세한 정의).
- 가우스 measure 의 텐서 곱 = product gaussian.
- 다변량 gaussian 의 함수 일반화.
10 핵심 정리와 요약
10.1 한 줄 요약
Ch.10.5 의 텐서 곱은 행렬의 외적 (\(\mathbb{R}^N \otimes \mathbb{R}^M = \mathbb{R}^{N \times M}\)) 의 무한차원 일반화 — 두 Hilbert 공간 원소의 텐서 곱이 이중선형 사상 (Definition 10.5.1) \(((x_1 \otimes x_2)(y_1, y_2) = \langle x_1, y_1 \rangle \langle x_2, y_2 \rangle)\) 으로 정의되며, 핵심 결과 \(L^2(T) \otimes L^2(T) = L^2(T \times T)\) (Example 10.5.1) 가 텐서 공간 = 이변량 함수 공간임을 명시. 정규직교 기저의 텐서 곱 (Theorem 10.5.2) 으로 이변량 함수의 기저 전개가 자동 — Ch.4~9 의 모든 이변량/다변량 객체 (공분산 함수, 회귀 핵 \(\beta(t, s)\), FAR(1) 핵 \(\varphi(t, s)\), 공간 공분산 \(C(s, s'; t, u)\)) 가 통합 framework 로 처리된다. 텐서의 연산자 표현 (\(L_{x_1, x_2}(y_1) = \langle x_1, y_1 \rangle x_2\)) 이 공분산 연산자의 정의 (\(X \otimes X\) 의 기댓값) 의 토대.
10.2 학습 가이드
- 행렬의 외적 + 3 가지 view — 행렬을 이중선형 사상으로 보기 (가장 중요한 mental shift).
- Definition 10.5.1 — 텐서 곱의 형식적 정의 (두 내적의 곱).
- \(L^2(T) \otimes L^2(T) = L^2(T \times T)\) — Ch.10.5 의 가장 중요한 결과.
- Theorem 10.5.2 — 텐서 기저의 자동 구성.
- 연산자 표현 — 공분산 연산자와 직접 연결.
- Ch.4~9 응용 매핑 — 학습한 framework 가 어디서 활용되는지 인식.
10.3 Ch.10 의 통합
Ch.10 전체의 흐름:
10.1: Hilbert 공간 (정의)
10.2: 사영 + 정규직교 + Parseval
10.3: 선형 연산자 + Hilbert-Schmidt (별도 포스트)
10.4: 스펙트럼 정리 + Mercer (별도 포스트)
10.5: 텐서 곱 (이 포스트) ← 이변량 객체의 framework10.5 가 Ch.10 의 마지막 본문 — Hilbert 공간 framework 의 가장 추상적 일반화.
11 관련 주제
선행 지식
- FDA 1.0 — 개요
- FDA 3.1~3.2 — L² 공간과 확률 함수, Karhunen-Loève 전개
- FDA 5.3~5.4 — 함수-on-함수 회귀와 refund 통합 구현 — Ch.10.5 의 직접 응용
- FDA 8.1~8.2 — 시계열 기초와 FAR(1) — Ch.10.5 의 직접 응용
- FDA 9.1~9.2 — 스칼라 공간 통계와 함수 공간장
- FDA 10.0 — 힐베르트 공간 이론 개관
- FDA 10.1~10.2 — Hilbert 공간의 정의와 사영·정규직교 기저
- 선형 대수의 외적 (outer product)
후속 주제
- FDA 10.3~10.4 — 선형 연산자, Hilbert-Schmidt, 스펙트럼 정리, Mercer
- FDA 10.6 — Chapter 10 연습문제 풀이
- FDA Ch.11 — 확률 함수와 가우스 과정 — 텐서의 응용 (공분산 연산자)
- FDA Ch.12 — 평균·공분산 함수의 추론
관련 개념
- Tensor Product (Linear Algebra) — 텐서 곱의 일반 이론
- Outer Product 와 SVD — 행렬의 텐서 분해
- Schmidt Decomposition — 양자역학의 표준 도구
- Multilinear Algebra — 다중 텐서의 framework
- Hackbusch (2012) Tensor Spaces and Numerical Tensor Calculus — 텐서 이론의 표준 참고서
- Hsing & Eubank (2015) Theoretical Foundations of FDA — FDA 특화 텐서 + Hilbert