FDA 6.7 — Chapter 6 연습문제 풀이

1 이 포스트의 위치

./6-0-functional-glm-overview.qmd 부터 ./6-3-dti-densities.qmd 까지 Ch.6 의 본문 6 개 절을 다뤘다. 이 포스트는 마지막 §6.7 의 6 개 연습문제를 풀이한다.

Ch.6 본문 (§6.1~§6.6)
    ↓
Ch.6 연습문제 (§6.7, 6 문제)
    ├ 6.1: 지수 기울이기 밀도의 정규화
    ├ 6.2: 평균/분산 식 (6.3) 의 적률 유도
    ├ 6.3: 연쇄 법칙으로 식 (6.5) 도출
    ├ 6.4: 정규 분포 GLM 의 추정 방정식 = OLS 정규방정식
    ├ 6.5: 베르누이 GLM 의 추정 방정식 = 가중 잔차 합
    └ 6.6: 4-part RKHS 와 가우스 측도의 직교/등가 (Cameron-Martin)

핵심 메시지: 연습문제 6.1~6.5 는 본문의 GLM 식을 검증하고 두 표준 분포(정규·베르누이) 에서 구체화한다. Problem 6.6 은 6.6 절의 무한차원 밀도 한계의 이론적 토대 — RKHS 와 Cameron-Martin 공식을 4 단계로 도출하며, 함수 GLM 의 가능도 부재의 정확한 조건을 보여준다.

---

2 Problem 6.1: 지수 기울이기 밀도의 정규화

2.1 문제

식 (6.1) 의 밀도 \(f(y \mid \theta) = f_0(y) \exp\{\theta y - b(\theta)\}\) 가 적절한 확률 밀도임을 보이시오.

2.2 직관

지수 기울이기로 정의된 밀도가 의미 있으려면 두 조건:

1. 비음수: \(f(y|\theta) \geq 0\) — 자명 (\(f_0 \geq 0\), exp \(> 0\)).
2. 적분 = 1: \(\int f(y|\theta) \, d\mu(y) = 1\) — 핵심.

두 번째 조건은 정규화 상수 \(b(\theta)\) 의 정의에서 직접 따라온다.

2.3 풀이

\(b(\theta) = \log M(\theta) = \log \int e^{\theta y} f_0(y) \, d\mu(y)\) 의 정의로부터:

\[ \int f(y \mid \theta) \, d\mu(y) = \int f_0(y) \exp\{\theta y - b(\theta)\} \, d\mu(y) = e^{-b(\theta)} \int f_0(y) e^{\theta y} \, d\mu(y). \]

마지막 적분은 적률 생성 함수 \(M(\theta)\) 의 정의 그대로:

\[ = e^{-b(\theta)} M(\theta) = e^{-b(\theta)} e^{b(\theta)} = 1. \]

따라서 \(f(y|\theta)\) 가 적절한 확률 밀도. \(\blacksquare\)

2.4 비유

\(b(\theta)\) 는 “기울이기로 부풀어 오른 적분을 1 로 다시 압축하는 스케일” — 기울이기 가중치 \(e^{\theta y}\) 가 만든 추가 부피를 \(e^{-b(\theta)}\) 로 정확히 상쇄한다.

이는 통계학의 정규화 상수의 보편적 패턴 — 어떤 가중치 함수든 그것의 적분의 역수를 곱하면 확률 분포가 된다.

---

3 Problem 6.2: 평균과 분산 식 (6.3) 의 검증

3.1 문제

지수족 (6.2) 의 분포 \(f(y \mid \theta, \phi)\) 에 대해

\[ E[Y] = b'(\theta), \quad \text{Var}[Y] = a(\phi) b''(\theta) \]

임을 검증하시오.

3.2 직관

지수족의 가장 우아한 결과 — 누적률 생성 함수 \(b\) 의 미분만으로 평균과 분산이 결정. 유도는 “밀도의 적분이 1” 이라는 단순한 사실을 두 번 미분하는 것.

3.3 평균의 유도

밀도의 적분 = 1 의 양변을 \(\theta\) 로 미분 (적분과 미분의 교환 가정):

\[ 0 = \frac{d}{d\theta} \int f(y \mid \theta, \phi) \, d\mu(y) = \int \frac{\partial}{\partial \theta} f(y \mid \theta, \phi) \, d\mu(y). \]

밀도의 로그 미분:

\[ \frac{\partial \log f}{\partial \theta} = \frac{y - b'(\theta)}{a(\phi)}, \]

따라서 \(\partial f / \partial \theta = f \cdot \frac{y - b'(\theta)}{a(\phi)}\). 대입:

\[ 0 = \int \frac{y - b'(\theta)}{a(\phi)} f(y \mid \theta, \phi) \, d\mu(y) = \frac{E[Y] - b'(\theta)}{a(\phi)}. \]

\(a(\phi) > 0\) 이므로 \(E[Y] = b'(\theta)\). \(\blacksquare\)

3.4 분산의 유도

다시 한번 양변을 \(\theta\) 로 미분:

\[ 0 = \frac{d}{d\theta} \int \frac{y - b'(\theta)}{a(\phi)} f(y \mid \theta, \phi) \, d\mu(y). \]

곱 미분 (Leibniz):

\[ 0 = \int \left[ -\frac{b''(\theta)}{a(\phi)} f + \frac{y - b'(\theta)}{a(\phi)} \cdot \frac{y - b'(\theta)}{a(\phi)} f \right] d\mu(y). \]

\(\int f = 1\) 와 \(E[Y] = b'(\theta)\) 사용:

\[ 0 = -\frac{b''(\theta)}{a(\phi)} + \frac{E[(Y - b'(\theta))^2]}{a(\phi)^2} = -\frac{b''(\theta)}{a(\phi)} + \frac{\text{Var}[Y]}{a(\phi)^2}. \]

따라서 \(\text{Var}[Y] = a(\phi) b''(\theta)\). \(\blacksquare\)

3.5 직관: 적률 생성 함수의 누적률 해석

이 결과의 우아함:

• \(b'(\theta) = (\log M(\theta))' = M'(\theta)/M(\theta)\) — 표준 적률 생성 함수의 1 차 누적률 (cumulant) = 평균.
• \(b''(\theta)\) — 2 차 누적률 = 분산.

즉 \(b(\theta) = \log M(\theta)\) 가 누적률 생성 함수 (cumulant generating function) 라 불리는 이유 — 그 미분이 누적률을 직접 준다.

3.6 비유: 모멘트 vs 누적률

평균/분산을 적률 생성 함수 \(M\) 의 미분으로도 얻을 수 있지만, 누적률 생성 함수 \(b = \log M\) 의 미분이 더 직접적 — \(M\) 의 미분은 \(E[Y^n]\) 의 형태, \(b\) 의 미분은 누적률 (평균·분산·왜도 등) 의 형태.

지수족이 자연스럽게 \(b\) 와 함께 정의되는 이유 — 모형의 평균-분산 구조가 즉시 드러난다.

---

4 Problem 6.3: 식 (6.5) 의 검증

4.1 문제

식 (6.5) \(\partial \theta_n / \partial \boldsymbol{\beta} = \frac{\mu'(\mathbf{X}_n^T \boldsymbol{\beta})}{V(\mu(\mathbf{X}_n^T \boldsymbol{\beta}))} \mathbf{X}_n\) 를 검증하시오.

4.2 직관

GLM 의 세 모수 (\(\theta, \mu, \eta\)) 가 두 변환으로 연결된 사슬 — \(\eta = g(\mu) = g(b'(\theta))\). \(\eta\) 가 \(\boldsymbol{\beta}\) 의 선형 함수이므로 \(\theta\) 의 \(\boldsymbol{\beta}\) 미분은 사슬을 거꾸로 따라간다.

4.3 풀이 (연쇄 법칙)

\(\theta_n\) 을 \(\boldsymbol{\beta}\) 의 함수로 명시:

\[ \theta_n = (b')^{-1}(\mu_n) = (b')^{-1}(g^{-1}(\eta_n)) = (b')^{-1}(g^{-1}(\mathbf{X}_n^T \boldsymbol{\beta})). \]

연쇄 법칙:

\[ \frac{\partial \theta_n}{\partial \boldsymbol{\beta}} = \frac{d (b')^{-1}}{d\mu}\bigg|_{\mu_n} \cdot \frac{d g^{-1}}{d\eta}\bigg|_{\eta_n} \cdot \frac{\partial (\mathbf{X}_n^T \boldsymbol{\beta})}{\partial \boldsymbol{\beta}}. \]

각 항:

• \(\frac{d (b')^{-1}}{d\mu} = \frac{1}{b''(\theta)}\) (역함수의 미분).
• \(\frac{d g^{-1}}{d\eta}\) — 평균 함수의 정의 \(\mu(\eta) = g^{-1}(\eta)\) 로 \(= \mu'(\eta_n)\).
• \(\frac{\partial \mathbf{X}_n^T \boldsymbol{\beta}}{\partial \boldsymbol{\beta}} = \mathbf{X}_n\).

곱하면:

\[ \frac{\partial \theta_n}{\partial \boldsymbol{\beta}} = \frac{1}{b''(\theta_n)} \cdot \mu'(\eta_n) \cdot \mathbf{X}_n = \frac{\mu'(\mathbf{X}_n^T \boldsymbol{\beta})}{a(\phi) b''(\theta_n) / a(\phi)} \cdot \mathbf{X}_n. \]

분산 함수의 정의 \(V(\mu) = a(\phi) b''(\theta) = a(\phi) b''(b'^{-1}(\mu))\) 를 대입:

\[ \frac{\partial \theta_n}{\partial \boldsymbol{\beta}} = \frac{\mu'(\mathbf{X}_n^T \boldsymbol{\beta})}{V(\mu(\mathbf{X}_n^T \boldsymbol{\beta})) / a(\phi)} \cdot \mathbf{X}_n / a(\phi). \]

(미세한 정리 후) 식 (6.5):

\[ \frac{\partial \theta_n}{\partial \boldsymbol{\beta}} = \frac{\mu'(\mathbf{X}_n^T \boldsymbol{\beta})}{V(\mu(\mathbf{X}_n^T \boldsymbol{\beta}))} \mathbf{X}_n. \quad \blacksquare \]

(주: 분산 함수 정의에 따라 \(a(\phi)\) 를 흡수하느냐 분리하느냐의 표기 차이 — 본문 (6.5) 의 형태로 정리.)

4.4 직관: 분모의 의미

분모 \(V(\mu)\) 는 평균에서의 분산. 분산이 큰 영역에서는 추정의 영향력이 작아짐 — 이 자연스러운 가중이 연쇄 법칙의 결과로 자동 등장.

---

5 Problem 6.4: 정규 GLM 의 추정 방정식

5.1 문제

\(Y_n\) 이 독립 정규 (\(E[Y_n] = \mathbf{X}_n^T \boldsymbol{\beta}\), \(\text{Var}(Y_n) = \sigma^2\)) 일 때 추정 방정식 (6.6) 을 구하시오.

5.2 풀이

정규 분포 (Example 6.1.1) 의 GLM 정보:

양	값
링크	identity (\(g(\mu) = \mu\))
\(\mu(\eta) = g^{-1}(\eta)\)	\(\eta\)
\(\mu'(\eta)\)	\(1\)
\(V(\mu)\)	\(\sigma^2\) (상수)

식 (6.6) 에 대입:

\[ S(\boldsymbol{\beta}) = \sum_{n=1}^N \frac{1}{\sigma^2} \mathbf{X}_n (Y_n - \mathbf{X}_n^T \boldsymbol{\beta}) = \mathbf{0}. \]

\(\sigma^2 > 0\) 으로 나누면:

\[ \sum_{n=1}^N \mathbf{X}_n (Y_n - \mathbf{X}_n^T \boldsymbol{\beta}) = \mathbf{0}, \]

이는 표준 OLS 정규방정식 \(\mathbf{X}^T \mathbf{Y} = \mathbf{X}^T \mathbf{X} \boldsymbol{\beta}\). \(\blacksquare\)

5.3 직관: OLS = 가장 단순한 GLM

이 결과가 보여주는 것:

정규 분포 + identity 링크 + 동분산 ⟹ GLM 추정 방정식 = OLS 정규방정식.

표준 OLS 가 GLM 의 가장 단순한 멤버임을 명시적으로 검증. 분산이 평균에 의존하지 않으므로 가중치 항이 사라지고, 링크가 identity 이므로 \(\mu' = 1\) — 두 비표준 요소(가중·링크 비선형) 가 모두 자명.

5.4 비유: “복잡한 도구의 가장 쉬운 모드”

스마트 카메라가 자동/반자동/수동의 다양한 모드를 지원하지만, “자동 모드 + 표준 조명 + 정상 거리” 면 결과가 단순한 셔터 작동과 같다. GLM 도 마찬가지 — 정규 분포 + identity 링크 의 “표준” 모드에서는 OLS 와 동일.

---

6 Problem 6.5: 베르누이 GLM 의 추정 방정식

6.1 문제

\(Y_n\) 이 독립 베르누이 (\(p_n = \text{logit}^{-1}(\mathbf{X}_n^T \boldsymbol{\beta})\), \(\text{Var}(Y_n) = p_n(1-p_n)\)) 일 때 추정 방정식 (6.6) 을 구하시오.

6.2 풀이

베르누이 + logit 링크의 GLM 정보:

양	값
링크	logit (\(g(p) = \log(p/(1-p))\))
\(\mu(\eta) = g^{-1}(\eta)\)	\(e^\eta / (1 + e^\eta)\)
\(\mu'(\eta)\)	\(e^\eta / (1+e^\eta)^2 = p(1-p)\)
\(V(\mu) = V(p)\)	\(p(1-p)\)

핵심 관찰 — logit 가 정규 (canonical) 링크 이므로 \(\mu'(\eta) = V(\mu)\):

\[ \frac{\mu'(\mathbf{X}_n^T \boldsymbol{\beta})}{V(\mu(\mathbf{X}_n^T \boldsymbol{\beta}))} = \frac{p_n(1-p_n)}{p_n(1-p_n)} = 1. \]

따라서 식 (6.6) 이 단순한 형태로 환원:

\[ S(\boldsymbol{\beta}) = \sum_{n=1}^N \mathbf{X}_n (Y_n - p_n) = \mathbf{0}, \]

여기서 \(p_n = \text{logit}^{-1}(\mathbf{X}_n^T \boldsymbol{\beta})\). \(\blacksquare\)

6.3 직관: 정규 링크의 우아함

정규 링크 (canonical link) 사용 시 추정 방정식이 OLS 와 같은 형태 — \(\sum \mathbf{X}_n (Y_n - \widehat{\mu}_n) = \mathbf{0}\).

이는 정규 링크의 정의로부터의 직접 결과:

\[ g = (b')^{-1} \implies \eta = \theta \implies \mu'(\eta) / V(\mu) = 1 \text{ (대수적 사실)}. \]

따라서 모든 분포에서 정규 링크를 쓰면 추정 방정식의 형태가 동일 — 다른 점은 \(\mu_n = g^{-1}(\mathbf{X}_n^T \boldsymbol{\beta})\) 의 형태뿐.

6.4 풀이 (logit 가 정규 링크가 아닌 경우)

만약 probit 링크 \(g(p) = \Phi^{-1}(p)\) 를 썼다면 \(\mu'(\eta) = \phi(\eta)\) (표준 정규 pdf), \(V(p) = p(1-p)\) — 비율이 1 이 아니므로 가중 항이 등장.

\[ S(\boldsymbol{\beta}) = \sum_{n=1}^N \frac{\phi(\mathbf{X}_n^T \boldsymbol{\beta})}{p_n(1-p_n)} \mathbf{X}_n (Y_n - p_n) = \mathbf{0}. \]

이 형태가 더 복잡하지만 IRLS 로 같은 방식으로 해결 가능. logit 의 단순함이 정규 링크인 이유.

6.5 비유: 자연 좌표계의 효과

지구의 한 점을 위도/경도 (자연 좌표) 또는 직교 (x, y, z) 로 표현 가능하지만, 위도/경도 거리 계산이 더 단순. 같은 데이터에 대해 logit 와 probit 의 모형은 비슷한 결과를 주지만, logit 의 추정 방정식이 더 단순 — 자연 좌표계가 계산을 우아하게 만든다.

---

7 Problem 6.6: RKHS 와 가우스 측도의 직교/등가

7.1 문제 설정

\(L^2[0, 1]\) 위의 평균 0, 공분산 \(C\) 인 가우스 과정 \(Z(t)\) 와 두 번째 과정 \(X(t) = \mu(t) + Z(t)\). \(C\) 의 고유함수 \(v_j(t)\), 고유값 \(\lambda_j\).

7.2 Part (a): 결합 밀도

\(\{\langle Z, v_j \rangle: j = 1, \ldots, m\}\) 의 결합 밀도 \(g\), \(\{\langle X, v_j \rangle\}\) 의 결합 밀도 \(f\) 를 구하시오.

7.3 Part (a) 풀이

Z 의 점수: \(\xi_j^Z := \langle Z, v_j \rangle\). KL 전개의 표준 결과:

• 평균: \(E[\xi_j^Z] = \langle E[Z], v_j \rangle = 0\).
• 분산: \(\text{Var}(\xi_j^Z) = \lambda_j\) (공분산 연산자 \(C\) 의 고유값).
• 비상관성: \(E[\xi_j^Z \xi_k^Z] = \delta_{jk} \lambda_j\).
• 가우스 가정 + 비상관 = 독립.

따라서 \((\xi_1^Z, \ldots, \xi_m^Z) \sim \prod_{j=1}^m N(0, \lambda_j)\). 결합 밀도:

\[ g(x_1, \ldots, x_m) = \prod_{j=1}^m \frac{1}{\sqrt{2\pi \lambda_j}} \exp\left(-\frac{x_j^2}{2 \lambda_j}\right). \]

X 의 점수: \(\xi_j^X := \langle X, v_j \rangle = \langle \mu, v_j \rangle + \xi_j^Z\). \(\mu_j := \langle \mu, v_j \rangle\) 라 하면:

\((\xi_1^X, \ldots, \xi_m^X) \sim \prod_{j=1}^m N(\mu_j, \lambda_j)\). 결합 밀도:

\[ f(x_1, \ldots, x_m) = \prod_{j=1}^m \frac{1}{\sqrt{2\pi \lambda_j}} \exp\left(-\frac{(x_j - \mu_j)^2}{2 \lambda_j}\right). \]

7.4 Part (a) 직관

KL 점수의 가우스성·독립성·고유값 분산 — 이 세 사실이 두 결합 밀도가 정확히 독립 정규의 곱 임을 결정. \(X\) 와 \(Z\) 의 차이는 단지 평균의 이동 (\(\mu_j\)).

7.5 Part (b): 비율

\(f/g\) 를 구해 단순화하시오.

7.6 Part (b) 풀이

비율 계산:

\[ \frac{f(x_1, \ldots, x_m)}{g(x_1, \ldots, x_m)} = \prod_{j=1}^m \frac{\exp\left(-\frac{(x_j - \mu_j)^2}{2 \lambda_j}\right)}{\exp\left(-\frac{x_j^2}{2 \lambda_j}\right)} = \prod_{j=1}^m \exp\left(\frac{-(x_j - \mu_j)^2 + x_j^2}{2 \lambda_j}\right). \]

분자 단순화:

\[ -(x_j - \mu_j)^2 + x_j^2 = -x_j^2 + 2 x_j \mu_j - \mu_j^2 + x_j^2 = 2 x_j \mu_j - \mu_j^2. \]

따라서:

\[ \frac{f}{g} = \prod_{j=1}^m \exp\left(\frac{2 x_j \mu_j - \mu_j^2}{2 \lambda_j}\right) = \exp\left( \sum_{j=1}^m \frac{x_j \mu_j}{\lambda_j} - \frac{1}{2} \sum_{j=1}^m \frac{\mu_j^2}{\lambda_j} \right). \]

7.7 Part (b) 직관: 두 합의 의미

\(f/g\) 의 로그가 두 항으로 분해.

• 선형 항 \(\sum x_j \mu_j / \lambda_j\) — 데이터 \(\mathbf{x}\) 와 평균 \(\boldsymbol{\mu}\) 의 가중 내적 (가중치 \(1/\lambda_j\)).
• 상수 항 \(-\frac{1}{2} \sum \mu_j^2 / \lambda_j\) — 평균 자체의 가중 노름의 절반.

두 양 모두 고유값 \(\lambda_j\) 로 가중된 양 — 이는 RKHS 내적과 직접 연결 (Part c 에서 다룸).

7.8 Part (c): 극한 \(m \to \infty\)

\(f/g\) 의 \(m \to \infty\) 극한이 유한하게 존재하기 위한 \(\mu\) 에 대한 조건은 무엇인가? (힌트: RKHS 내적)

7.9 Part (c) 풀이

극한 존재 조건을 두 합을 분리해 분석.

상수 항 \(-\frac{1}{2} \sum_{j=1}^\infty \mu_j^2 / \lambda_j\):

이 무한합이 수렴해야 한다. 즉:

\[ \sum_{j=1}^\infty \frac{\mu_j^2}{\lambda_j} < \infty. \tag{*} \]

선형 항 \(\sum_{j=1}^\infty x_j \mu_j / \lambda_j\):

\(x_j\) 는 \(Z\)-측도 하 random (\(N(0, \lambda_j)\)). 이 합이 a.s. 수렴하려면 (Kolmogorov 의 3-급수 정리):

\[ \sum_{j=1}^\infty \frac{\mu_j^2 \cdot \lambda_j}{\lambda_j^2} = \sum_{j=1}^\infty \frac{\mu_j^2}{\lambda_j} < \infty, \]

이는 (*) 와 같은 조건.

따라서 유일한 조건: \(\sum_{j=1}^\infty \mu_j^2 / \lambda_j < \infty\).

7.10 Part (c) 직관: RKHS 내적

조건 (*) 가 의미하는 것 — \(\mu\) 가 공분산 \(C\) 와 연관된 재생 핵 힐베르트 공간 (Reproducing Kernel Hilbert Space, RKHS) \(\mathcal{H}_C\) 의 원소.

RKHS 의 내적:

\[ \langle \mu, \nu \rangle_{\mathcal{H}_C} = \sum_{j=1}^\infty \frac{\langle \mu, v_j \rangle \langle \nu, v_j \rangle}{\lambda_j} = \sum_{j=1}^\infty \frac{\mu_j \nu_j}{\lambda_j}. \]

자기 노름:

\[ \|\mu\|_{\mathcal{H}_C}^2 = \sum_{j=1}^\infty \frac{\mu_j^2}{\lambda_j}. \]

따라서 (*) ⟺ \(\|\mu\|_{\mathcal{H}_C}^2 < \infty\) ⟺ \(\mu \in \mathcal{H}_C\).

7.11 Part (c) 비유: “중력장의 일관성”

가우스 과정의 공분산 \(C\) 가 함수 공간의 “중력장” 이라면, RKHS \(\mathcal{H}_C\) 는 그 중력장과 일관된 매끄러움 을 가진 함수들의 집합. \(\mu \notin \mathcal{H}_C\) 면 \(\mu\) 가 중력장의 매끄러움 구조와 어긋남 — 그 결과 측도가 불안정.

특히 \(\mu\) 가 너무 거칠면 (작은 \(\lambda_j\) 의 PC 방향에 큰 \(\mu_j\) 성분) RKHS 노름이 발산 — 두 가우스 측도가 직교.

7.12 Part (d): 직교/등가의 조건

가설 형성: \(X\) 의 분포가 \(Z\) 의 분포에 대해 직교/등가는 언제인가?

7.13 Part (d) 풀이 (Cameron-Martin 정리)

3. 의 조건을 측도 등가의 정의와 연결:

Cameron-Martin 정리 (가우스 측도)

평균 0, 공분산 \(C\) 의 가우스 측도 \(P_Z\) 와 평균 \(\mu\), 공분산 \(C\) 의 가우스 측도 \(P_X\) 에 대해:

\[ P_X \text{ 와 } P_Z \text{ 가 등가} \iff \mu \in \mathcal{H}_C. \]

등가일 때 라돈-니코딤 도함수:

\[ \frac{dP_X}{dP_Z}(z) = \exp\left(\langle z, \mu \rangle_{\mathcal{H}_C} - \frac{1}{2} \|\mu\|_{\mathcal{H}_C}^2\right). \]

직교일 때 (\(\mu \notin \mathcal{H}_C\)): \(P_X\) 와 \(P_Z\) 가 서로 직교 — 한 측도에 대한 다른 측도의 밀도 정의 불가.

7.14 Part (d) 직관: Brownian motion vs Brownian bridge

6.6 의 시각적 예시 (Brownian motion \(W\) vs Brownian bridge \(B = W - tW(1)\)) 가 정확히 이 정리의 응용.

• \(W\): 평균 0, 공분산 \(C_W(s, t) = \min(s, t)\).
• \(B\): 평균 0, 공분산 \(C_B(s, t) = \min(s, t) - st\).

두 공분산이 다르므로 RKHS 도 다르며, 두 측도는 직교. 이는 Cameron-Martin 정리의 일반화 (다른 공분산 가우스 측도 사이) 에서 따라온다.

7.15 Part (d) 시각적 정리

μ = 0 (Z 와 X 같음)
    → P_X = P_Z (자명)

μ ∈ H_C (RKHS)
    → P_X 와 P_Z 등가
    → 라돈-니코딤 도함수가 명시적으로 존재 (Cameron-Martin)
    → 우도 비율로 가설 검정 가능

μ ∉ H_C (RKHS 밖)
    → P_X 와 P_Z 직교
    → 우도 자체가 정의 불가
    → 함수 GLM 의 가능도 framework 깨짐 (6.6 절의 핵심)

7.16 Part (d) 비유: 음악의 일치성

음악의 한 선율이 \(Z\) 의 분포라면, \(X = Z + \mu\) 는 그 선율에 추가 멜로디 \(\mu\) 를 더한 것. \(\mu\) 가 선율의 매끄러움 구조와 일치 하면 (RKHS 안) 두 음악이 같은 “장르” — 한 음악을 다른 음악으로 변환하는 명확한 규칙(라돈-니코딤 도함수) 이 존재.

\(\mu\) 가 거칠어 매끄러움 구조와 맞지 않으면 (RKHS 밖) 두 음악이 완전히 다른 장르 — 한 음악에서 다른 음악으로의 명확한 변환 규칙이 없다.

함수 GLM 에서 각 회귀자 값에 대응하는 다른 평균 함수 가 RKHS 밖이면, 모든 회귀자 값에서 측도가 직교 — 우도 자체가 의미 없다. 이것이 6.6 절의 무한차원 밀도 부재의 정확한 형식.

7.17 통합: 6.6 절과의 연결

Problem 6.6 의 풀이가 6.6 절의 추상적 진술 (“무한차원에서는 측도가 일반적으로 직교”) 의 정확한 조건을 제시:

두 가우스 측도 \(P_X, P_Z\) 가 같은 공분산을 가지면 → 평균 차 \(\mu\) 가 RKHS 안일 때만 등가, 아니면 직교. 다른 공분산을 가지면 → 일반적으로 직교 (더 강한 조건).

이는 함수 GLM 의 우도가 일반적으로 정의되지 않는 정확한 이유 — 회귀 문제에서 회귀자 값마다 다른 측도가 필요한데, 이들 사이가 직교일 가능성이 높다.

---

8 6 문제의 통합 시각

8.1 한 줄 요약

Ch.6 의 6 개 문제는 6.1~6.5 의 GLM 식의 검증 (지수족 정규화·평균/분산·연쇄 법칙·정규/베르누이 추정 방정식) 과 6.6 의 4-part RKHS·Cameron-Martin 문제로 구성된다. 마지막 문제 6.6 은 6.6 절의 무한차원 밀도 한계의 정확한 조건 — 가우스 측도가 등가일 조건은 평균 차가 RKHS 의 원소 — 를 도출하며, 이는 함수 GLM 이 가능도가 아닌 추정 방정식에 의존해야 하는 이론적 근거이다.

8.2 그룹별 정리

그룹	문제	핵심 도구
지수족 토대	6.1, 6.2	\(b(\theta) = \log M(\theta)\) 의 정규화 + 미분
GLM 추정 도구	6.3	연쇄 법칙 (3-층 변환)
표준 분포 구체화	6.4, 6.5	OLS = 정규 GLM, 가중 잔차 = 베르누이 GLM
무한차원 한계	6.6 (a~d)	KL 점수 결합 밀도 → 비율 → RKHS 노름 → Cameron-Martin

8.3 본문과의 매핑

본문 절	관련 문제
6.1 (GLM 배경)	6.1 (정규화), 6.2 (평균/분산), 6.3 (연쇄 법칙)
6.2 (스칼라-on-함수 GLM)	6.4 (정규 환원), 6.5 (베르누이 환원)
6.3 (함수 반응 GLM)	(간접) — 6.4·6.5 의 점별 적용
6.4 (refund 구현)	(없음) — 코드는 본문
6.5 (DTI 응용)	(없음) — 데이터 분석은 본문
6.6 (무한차원 밀도 한계)	6.6 a~d (RKHS 와 Cameron-Martin)

연습문제 6.6 이 본문 6.6 절의 정확한 형식화 — RKHS 가 가우스 측도 등가의 정확한 조건. 이 결과가 함수 GLM 이론의 모든 후속 발전 (베이지안 함수 회귀, 정확한 추론) 의 토대.

---

9 관련 주제

선행 지식

• FDA 6.0 — 함수 일반화 선형 모형 개관
• FDA 6.1~6.2 — GLM 배경과 스칼라-on-함수 GLM
• FDA 6.3~6.4 — 함수 반응 GLM 과 refund 구현
• FDA 6.5~6.6 — DTI 다발성 경화증 분류와 무한차원 밀도의 한계
• FDA 4.9 — Chapter 4 연습문제 풀이
• FDA 5.9 — Chapter 5 연습문제 풀이

후속 주제

• FDA Ch.7 — 희소 함수 데이터와 PACE

관련 개념

• 지수족 분포 — Problem 6.1, 6.2 의 배경
• GLM 의 IRLS 알고리즘 — Problem 6.3, 6.4, 6.5 의 응용
• 재생 핵 힐베르트 공간 (RKHS) — Problem 6.6 의 핵심 개념
• Cameron-Martin 정리 — Problem 6.6 의 결과
• Karhunen-Loève 전개 — Problem 6.6 의 결합 밀도 도출 도구
• 가우스 과정의 등가성·직교성 — 6.6 절과 Problem 6.6 의 통합