FDA 4.9 — Chapter 4 연습문제 풀이

1 이 포스트의 위치

./4-0-scalar-on-function-overview.qmd 부터 ./4-4-refund-nonlinear.qmd 까지 Ch.4의 본문 8개 절을 다뤘다. 이 포스트는 마지막 §4.9의 9개 연습문제를 상세 풀이한다.

Ch.4 본문 (§4.1~§4.8)
    ↓
Ch.4 연습문제 (§4.9, 9문제)
    ├ 4.1~4.4: 표준 LS의 토대 (rank · 불편성 · 분산 · 정규방정식)
    ├ 4.5~4.7: 함수 회귀의 핵심 (연산자 역 · 적분 방정식 · 거칠기 벌점 명시 해)
    └ 4.8~4.9: 데이터 시각화 R 코드 (가솔린 · Tecator)

핵심 메시지: 연습문제는 본문에서 인용한 결과의 검증이다. 풀이를 통해 본문 식의 출처와 가정을 정확히 이해할 수 있다.

---

2 Problem 4.1: 디자인 행렬의 rank 와 \(\mathbf{X}^T \mathbf{X}\) 의 비특이성

2.1 문제

\(N \times p\) 디자인 행렬 \(\mathbf{X}\) 가 \(\text{rank}(\mathbf{X}) = p\) 라면, \(p \times p\) 행렬 \(\mathbf{X}^T \mathbf{X}\) 가 비특이(가역)임을 보이시오.

2.2 직관

LS 추정량 \(\widehat{\boldsymbol{\beta}} = (\mathbf{X}^T\mathbf{X})^{-1} \mathbf{X}^T\mathbf{Y}\) 가 잘 정의되려면 \(\mathbf{X}^T\mathbf{X}\) 가 가역이어야 한다. 디자인 행렬의 rank 조건이 이를 보장하는 가장 자연스러운 가정이다.

비유: \(p\) 개 변수가 모두 독립적인 정보를 담고 있어야 (\(\text{rank} = p\)), \(p\) 개의 회귀 계수를 유일하게 결정할 수 있다.

2.3 풀이

\(\mathbf{X}^T\mathbf{X}\) 가 비특이임을 보이려면 영공간(null space) 이 \(\{\mathbf{0}\}\) 임을 보이면 된다. 즉:

\[ \mathbf{X}^T\mathbf{X} \mathbf{v} = \mathbf{0} \implies \mathbf{v} = \mathbf{0}. \]

\(\mathbf{X}^T\mathbf{X} \mathbf{v} = \mathbf{0}\) 의 양변에 \(\mathbf{v}^T\) 를 왼쪽에서 곱하면:

\[ \mathbf{v}^T \mathbf{X}^T \mathbf{X} \mathbf{v} = (\mathbf{X}\mathbf{v})^T (\mathbf{X}\mathbf{v}) = \|\mathbf{X}\mathbf{v}\|^2 = 0. \]

벡터의 노름이 0 이면 그 벡터 자체가 0:

\[ \mathbf{X}\mathbf{v} = \mathbf{0}. \]

\(\mathbf{X}\mathbf{v}\) 는 \(\mathbf{X}\) 의 열들의 \(\mathbf{v}\) 가중 선형 결합이다. 이 결합이 0 이려면, \(\mathbf{X}\) 의 열들이 선형 종속이거나 \(\mathbf{v} = \mathbf{0}\) 이어야 한다.

\(\text{rank}(\mathbf{X}) = p\) 가정에 의해 \(\mathbf{X}\) 의 열들이 선형 독립이다. 따라서 \(\mathbf{X}\mathbf{v} = \mathbf{0}\) 의 유일한 해는 \(\mathbf{v} = \mathbf{0}\).

결론: \(\mathbf{X}^T\mathbf{X} \mathbf{v} = \mathbf{0} \implies \mathbf{v} = \mathbf{0}\), 즉 \(\mathbf{X}^T\mathbf{X}\) 는 비특이. \(\blacksquare\)

2.4 함수 회귀에서의 의미

이 결과가 표준 회귀에서는 자명한 가정이지만, 함수 회귀에서는 자동으로 깨진다. \(\mathbf{X}\) 의 열이 인접 시점 측정값일 때 \(X_i(t_j) \approx X_i(t_{j+1})\) 으로 인접 열이 거의 같아 \(\text{rank}(\mathbf{X}) < p\). 이것이 §4.3에서 본 무한차원 다공선성의 본질이다.

---

3 Problem 4.2: LS 추정량의 불편성과 분산

3.1 문제

선형 모형 \(\mathbf{Y} = \mathbf{X}\boldsymbol{\beta} + \boldsymbol{\varepsilon}\) 과 LS 추정량 \(\widehat{\boldsymbol{\beta}} = (\mathbf{X}^T\mathbf{X})^{-1} \mathbf{X}^T \mathbf{Y}\) 를 고려한다. \(\mathbf{X}\) 가 결정적이고 rank \(p\), 잡음 \(\varepsilon_i\) 는 비상관이며 분산 \(\sigma_\varepsilon^2\) 일 때:

1. \(E[\widehat{\boldsymbol{\beta}}] = \boldsymbol{\beta}\) (불편성).

2. \(\text{Var}[\widehat{\boldsymbol{\beta}}] = \sigma_\varepsilon^2 (\mathbf{X}^T\mathbf{X})^{-1}\).

3.2 직관

LS 추정량이 가우스-마르코프 정리에서 BLUE 인 이유 — 평균적으로 진짜 값에 맞고 (불편), 분산이 명확한 닫힌 형태로 주어진다. 이 두 결과가 표준 회귀 추론의 토대이다.

3.3 (a) 불편성 풀이

\(\widehat{\boldsymbol{\beta}}\) 에 모형을 대입:

\[ \widehat{\boldsymbol{\beta}} = (\mathbf{X}^T\mathbf{X})^{-1} \mathbf{X}^T (\mathbf{X}\boldsymbol{\beta} + \boldsymbol{\varepsilon}) = \boldsymbol{\beta} + (\mathbf{X}^T\mathbf{X})^{-1} \mathbf{X}^T \boldsymbol{\varepsilon}. \]

\(\mathbf{X}\) 가 결정적이므로 \(E[\boldsymbol{\varepsilon}] = \mathbf{0}\) 적용:

\[ E[\widehat{\boldsymbol{\beta}}] = \boldsymbol{\beta} + (\mathbf{X}^T\mathbf{X})^{-1} \mathbf{X}^T E[\boldsymbol{\varepsilon}] = \boldsymbol{\beta} + \mathbf{0} = \boldsymbol{\beta}. \quad \blacksquare \]

3.4 (b) 분산 풀이

\(\widehat{\boldsymbol{\beta}} - \boldsymbol{\beta} = (\mathbf{X}^T\mathbf{X})^{-1} \mathbf{X}^T \boldsymbol{\varepsilon}\) 이므로 \(\mathbf{A} := (\mathbf{X}^T\mathbf{X})^{-1} \mathbf{X}^T\) 로 놓으면 \(\widehat{\boldsymbol{\beta}} - \boldsymbol{\beta} = \mathbf{A}\boldsymbol{\varepsilon}\).

분산 공식:

\[ \text{Var}[\widehat{\boldsymbol{\beta}}] = \mathbf{A} \text{Var}[\boldsymbol{\varepsilon}] \mathbf{A}^T. \]

비상관·동분산 가정으로 \(\text{Var}[\boldsymbol{\varepsilon}] = \sigma_\varepsilon^2 \mathbf{I}_N\). 따라서:

\[ \text{Var}[\widehat{\boldsymbol{\beta}}] = \sigma_\varepsilon^2 \mathbf{A} \mathbf{A}^T = \sigma_\varepsilon^2 (\mathbf{X}^T\mathbf{X})^{-1} \mathbf{X}^T \mathbf{X} (\mathbf{X}^T\mathbf{X})^{-1}. \]

\(\mathbf{X}^T\mathbf{X}\) 가 대칭이므로 \(((\mathbf{X}^T\mathbf{X})^{-1})^T = (\mathbf{X}^T\mathbf{X})^{-1}\) 이고, 가운데가 항등행렬:

\[ \text{Var}[\widehat{\boldsymbol{\beta}}] = \sigma_\varepsilon^2 (\mathbf{X}^T\mathbf{X})^{-1}. \quad \blacksquare \]

3.5 함수 회귀에서의 의미

§4.4 기저 전개 추정에서 \((\mathbf{X}^T\mathbf{X})^{-1}\) 가 점별 신뢰구간의 분산 행렬로 사용된다. 그러나 §4.4 후반부에서 본 절단 오차로 인해 \(\widehat{\mathbf{c}}\) 는 편향되며, 이 분산 공식이 정확한 신뢰 진술을 주지 않는다 — 탐색적 도구로만 사용해야 한다.

---

4 Problem 4.3: 모집단 정규방정식의 검증

4.1 문제

식 (4.9): \(\boldsymbol{\beta} = \mathbf{C}_X^{-1} \mathbf{C}_{XY}\) 가 모집단 평균제곱오차

\[ R(\boldsymbol{\beta}) = E\left(Y - \sum_{i=1}^p \beta_i X_i\right)^2 \]

를 최소화하는 해임을 보이시오.

4.2 직관

표본 LS 추정량 \(\widehat{\boldsymbol{\beta}} = (\mathbf{X}^T\mathbf{X})^{-1} \mathbf{X}^T \mathbf{Y}\) 의 모집단 대응이다. 행렬 \(\mathbf{X}^T\mathbf{X}/N\) 이 표본 공분산, \(\mathbf{X}^T\mathbf{Y}/N\) 이 표본 cross-covariance — 이들의 모집단 한계가 \(\mathbf{C}_X, \mathbf{C}_{XY}\) 이다.

4.3 풀이

각 \(\beta_\ell\) 에 대한 편미분을 0 으로 둔다:

\[ \frac{\partial R}{\partial \beta_\ell} = -2 E\left[X_\ell \left(Y - \sum_i \beta_i X_i\right)\right] = 0. \]

정리하면:

\[ E[X_\ell Y] = \sum_i \beta_i E[X_\ell X_i], \quad \ell = 1, \ldots, p. \]

행렬 표기:

\[ \mathbf{C}_{XY} = \mathbf{C}_X \boldsymbol{\beta}, \]

여기서 \(\mathbf{C}_X = [E[X_i X_j]]_{i,j=1}^p\), \(\mathbf{C}_{XY} = [E[X_i Y]]_{i=1}^p\).

\(\mathbf{C}_X\) 가 가역이라는 가정 하에 양변에 \(\mathbf{C}_X^{-1}\) 를 왼쪽에서 곱하면:

\[ \boldsymbol{\beta} = \mathbf{C}_X^{-1} \mathbf{C}_{XY}. \quad \blacksquare \]

4.4 함수 회귀에서의 의미

이 식을 함수 환경으로 확장하면 §4.3 의 적분 방정식 \(C_X(\beta) = c_{XY}\), 형식적으로 \(\beta = C_X^{-1}(c_{XY})\) 가 된다. 함수 회귀의 모든 어려움이 “\(C_X^{-1}\) 가 존재하지 않는다” 는 한 사실에서 비롯된다 (Problem 4.5 참조).

---

5 Problem 4.4: 행렬 가역성과 회귀자 선형 독립의 동치

5.1 문제

행렬 \(\mathbf{C}_X = [E[X_i X_j]]\) 가 가역인 것과 다음이 동치임을 보이시오:

\[ \sum_{i=1}^p \alpha_i X_i = 0 \quad \implies \quad \alpha_1 = \alpha_2 = \cdots = \alpha_p = 0. \quad (4.10) \]

5.2 직관

다공선성의 정확한 통계적 정의이다 — “회귀자들의 어떤 선형 결합도 거의 확실히 0 이 되지 않는다.” 이 조건이 깨지면 회귀 계수가 유일하게 결정되지 않는다.

5.3 풀이

(\(\Leftarrow\)) (4.10) ⇒ \(\mathbf{C}_X\) 가역.

\(\mathbf{C}_X \boldsymbol{\alpha} = \mathbf{0}\) 의 양변에 \(\boldsymbol{\alpha}^T\) 를 왼쪽에서 곱하면:

\[ 0 = \boldsymbol{\alpha}^T \mathbf{C}_X \boldsymbol{\alpha} = \boldsymbol{\alpha}^T E[\mathbf{X}\mathbf{X}^T] \boldsymbol{\alpha} = E[(\boldsymbol{\alpha}^T \mathbf{X})^2] = E\left[\left(\sum_i \alpha_i X_i\right)^2\right]. \]

기댓값이 0 인 비음 확률변수는 거의 확실히 0:

\[ \sum_i \alpha_i X_i = 0 \quad \text{(a.s.)}. \]

(4.10) 가정에 의해 \(\alpha_1 = \cdots = \alpha_p = 0\). 따라서 \(\mathbf{C}_X \boldsymbol{\alpha} = \mathbf{0} \implies \boldsymbol{\alpha} = \mathbf{0}\), 즉 \(\mathbf{C}_X\) 비특이.

(\(\Rightarrow\)) \(\mathbf{C}_X\) 가역 ⇒ (4.10).

대우로 증명한다. (4.10) 이 거짓이면, 어떤 \(\boldsymbol{\alpha} \neq \mathbf{0}\) 가 존재하여 \(\sum_i \alpha_i X_i = 0\). 그러면:

\[ \boldsymbol{\alpha}^T \mathbf{C}_X \boldsymbol{\alpha} = E\left[\left(\sum_i \alpha_i X_i\right)^2\right] = 0. \]

\(\mathbf{C}_X\) 양정치 (positive semidefinite) 이고 위 quadratic form 이 0 이므로 \(\mathbf{C}_X \boldsymbol{\alpha} = \mathbf{0}\). \(\boldsymbol{\alpha} \neq \mathbf{0}\) 이므로 \(\mathbf{C}_X\) 비가역. \(\blacksquare\)

5.4 함수 회귀에서의 의미

함수 환경에서 (4.10) 의 자연 확장은 “\(\sum_t \alpha(t) X(t) = 0\) ⇒ \(\alpha \equiv 0\)” 이다. 그러나 매끄러운 곡선은 인접 시점 사이에 거의 항등 관계가 성립하므로, 이 조건이 자동 깨진다 — \(C_X\) 가 가역이 아닌 본질적 이유.

---

6 Problem 4.5: 공분산 연산자 역의 부재

6.1 문제

공분산 연산자 \(C\) 가 식 (3.8) 의 스펙트럼 분해 \(C(x) = \sum_j \lambda_j \langle x, v_j \rangle v_j\) 로 정의된다. Ch.11 에서 보일 결과 \(\sum_j \lambda_j < \infty\) 를 가정한다.

함수 \(f, g \in L^2\) 가 정규직교 기저 \(\{v_j\}\) 에 대한 전개

\[ f(t) = \sum_{j=1}^\infty f_j v_j(t), \quad g(t) = \sum_{j=1}^\infty g_j v_j(t) \]

를 가질 때:

1. \(C(g) = f\) 이면 \(\lambda_j g_j = f_j\) 임을 보이시오.

2. \(f \in L^2\) 이지만 \(g \notin L^2\) 인 (\(C(g) = f\) 의 해 \(g\) 가 \(L^2\) 에 없는) 고유값 \(\lambda_j\) 와 계수 \(f_j\) 의 예를 찾으시오.

6.2 직관

1. 는 스펙트럼 분해가 모든 변환을 고유 좌표에서 대각으로 만든다는 점을 직접 보여준다. (b) 는 \(C^{-1}\) 가 무한차원에서 일반적으로 존재하지 않는 이유의 구체적 예이다.

6.3 (a) 풀이

스펙트럼 분해를 \(g\) 에 적용:

\[ C(g) = \sum_j \lambda_j \langle g, v_j \rangle v_j = \sum_j \lambda_j g_j v_j, \]

여기서 \(\langle g, v_j \rangle = g_j\) (정규직교성 + Parseval).

\(C(g) = f = \sum_j f_j v_j\) 와 비교, \(\{v_j\}\) 가 기저이므로 좌표가 일치:

\[ \lambda_j g_j = f_j, \quad j = 1, 2, \ldots. \quad \blacksquare \]

6.4 (b) 예시

1. 의 결과로부터 \(g_j = f_j / \lambda_j\) (\(\lambda_j > 0\) 가정). \(g \in L^2\) 이려면 Parseval 에 의해:

\[ \|g\|^2 = \sum_j g_j^2 = \sum_j \frac{f_j^2}{\lambda_j^2} < \infty. \]

\(f \in L^2\) 만으로는 (\(\sum_j f_j^2 < \infty\)) 위 합의 유한성이 보장되지 않는다. \(\lambda_j\) 가 빠르게 감소하면 \(1/\lambda_j^2\) 가 폭발한다.

구체적 예시:

• \(\lambda_j = 1/j^2\) (\(\sum_j \lambda_j = \pi^2/6 < \infty\) — 주어진 조건 만족).
• \(f_j = 1/j\) ⇒ \(\sum_j f_j^2 = \pi^2/6 < \infty\), 즉 \(f \in L^2\).
• 그러나 \(g_j = f_j / \lambda_j = 1/j \cdot j^2 = j\), 그러면 \(\sum_j g_j^2 = \sum_j j^2 = \infty\), 즉 \(g \notin L^2\).

따라서 \(C(g) = f\) 의 해가 \(L^2\) 안에 존재하지 않는다. \(\blacksquare\)

6.5 함수 회귀에서의 결정적 의미

이 예가 함수 회귀의 본질적 어려움을 정확히 보여준다. 모집단 정규방정식 \(C_X(\beta) = c_{XY}\) 에서 \(c_{XY} \in L^2\) 이어도 \(\beta\) 가 \(L^2\) 에 존재하지 않을 수 있다 — 즉 모형이 모집단 수준에서도 잘 정의되지 않는다.

이 때문에 §4.4~§4.6 의 모든 추정 접근이 추가 가정 (\(\beta\) 의 매끄러움 또는 차원 절단) 으로 문제를 정칙화한다.

---

7 Problem 4.6: 함수 회귀의 모집단 정규방정식

7.1 문제

식 (4.11): \(c_{XY}(t) = \int c_X(t, s) \beta(s) \, ds\) 를 검증하시오. 여기서:

\[ c_X(t, s) = E[X(t) X(s)], \quad c_{XY}(t) = E[X(t) Y]. \]

가정: \(X\) 와 \(\varepsilon\) 가 독립, \(Y = \int \beta(s) X(s) \, ds + \varepsilon\).

7.2 직관

다변량 모집단 정규방정식 \(\mathbf{C}_{XY} = \mathbf{C}_X \boldsymbol{\beta}\) (Problem 4.3) 의 함수 일반화. 행렬 곱 → 적분 변환.

7.3 풀이

\(Y\) 의 정의를 \(c_{XY}(t)\) 에 대입:

\[ c_{XY}(t) = E[X(t) Y] = E\left[X(t) \left(\int \beta(s) X(s) \, ds + \varepsilon\right)\right]. \]

선형성과 독립성 (\(E[X(t) \varepsilon] = E[X(t)] E[\varepsilon] = 0\) — \(E[\varepsilon] = 0\) 가정 또는 \(E[X] = 0\) 가정 하에):

\[ c_{XY}(t) = E\left[X(t) \int \beta(s) X(s) \, ds\right] + 0. \]

기댓값과 적분의 교환 (Fubini):

\[ c_{XY}(t) = \int \beta(s) E[X(t) X(s)] \, ds = \int \beta(s) c_X(t, s) \, ds. \quad \blacksquare \]

7.4 함수 회귀에서의 의미

이 식이 §4.3 에서 본 모집단 정규방정식의 정확한 도출이다. \(\beta\) 를 풀려면 \(C_X^{-1}\) 가 필요하지만, Problem 4.5 가 보였듯 무한차원에서 이 역이 존재하지 않는다 — 정칙화의 동기.

---

8 Problem 4.7: 거칠기 벌점 LS 추정량의 닫힌 형태

8.1 문제

벌점화 손실

\[ P_\lambda(\mathbf{c}) = \|\mathbf{Y} - \mathbf{X}\mathbf{c}\|^2 + \lambda \mathbf{c}^T \widetilde{\mathbf{R}} \mathbf{c} \]

를 \(\mathbf{c}\) 에 대해 최소화하는 추정량이 식 (4.16):

\[ \widehat{\mathbf{c}} = (\mathbf{X}^T\mathbf{X} + \lambda \widetilde{\mathbf{R}})^{-1} \mathbf{X}^T \mathbf{Y} \]

임을 보이시오. (편미분을 0 으로 두고 선형 시스템을 푼다.)

8.2 직관

표준 LS 의 정규방정식 \(\mathbf{X}^T\mathbf{X} \widehat{\boldsymbol{\beta}} = \mathbf{X}^T \mathbf{Y}\) 에 거칠기 항 \(\lambda \widetilde{\mathbf{R}}\) 가 추가된 형태. Ridge 회귀의 일반화 — 항등행렬 \(\mathbf{I}\) 대신 거칠기 행렬 \(\widetilde{\mathbf{R}}\).

8.3 풀이

벌점화 손실을 전개:

\[ P_\lambda(\mathbf{c}) = (\mathbf{Y} - \mathbf{X}\mathbf{c})^T (\mathbf{Y} - \mathbf{X}\mathbf{c}) + \lambda \mathbf{c}^T \widetilde{\mathbf{R}} \mathbf{c}. \]

\[ = \mathbf{Y}^T\mathbf{Y} - 2 \mathbf{Y}^T \mathbf{X}\mathbf{c} + \mathbf{c}^T \mathbf{X}^T \mathbf{X} \mathbf{c} + \lambda \mathbf{c}^T \widetilde{\mathbf{R}} \mathbf{c}. \]

\(\mathbf{c}\) 에 대한 gradient (행렬 미분 공식):

\[ \nabla_\mathbf{c} P_\lambda = -2 \mathbf{X}^T \mathbf{Y} + 2 \mathbf{X}^T \mathbf{X} \mathbf{c} + 2 \lambda \widetilde{\mathbf{R}} \mathbf{c}. \]

(여기서 \(\widetilde{\mathbf{R}}\) 가 대칭이라는 사실을 사용 — 거칠기 행렬은 항상 대칭.)

Gradient 를 0 으로 두면:

\[ \mathbf{X}^T \mathbf{X} \mathbf{c} + \lambda \widetilde{\mathbf{R}} \mathbf{c} = \mathbf{X}^T \mathbf{Y}. \]

\[ (\mathbf{X}^T\mathbf{X} + \lambda \widetilde{\mathbf{R}}) \mathbf{c} = \mathbf{X}^T \mathbf{Y}. \]

\(\lambda > 0\) 이고 \(\widetilde{\mathbf{R}}\) 양정치이면 \(\mathbf{X}^T\mathbf{X} + \lambda \widetilde{\mathbf{R}}\) 가역 (\(\mathbf{X}^T\mathbf{X}\) 가 ill-conditioned 또는 특이여도). 따라서:

\[ \widehat{\mathbf{c}} = (\mathbf{X}^T\mathbf{X} + \lambda \widetilde{\mathbf{R}})^{-1} \mathbf{X}^T \mathbf{Y}. \quad \blacksquare \]

8.4 Hessian 검증 (최소점 확인)

2차 도함수:

\[ \nabla^2 P_\lambda = 2 \mathbf{X}^T\mathbf{X} + 2 \lambda \widetilde{\mathbf{R}}. \]

이는 양정치 (positive definite) 이므로 stationary point 가 유일한 minimum 임이 확인된다.

8.5 함수 회귀에서의 의미

이 결과가 §4.5 거칠기 벌점 추정의 핵심이다. \(\widetilde{\mathbf{R}}\) 가 ill-conditioned \(\mathbf{X}^T\mathbf{X}\) 를 안정화 — 함수 회귀의 다공선성을 직접 처리한다.

---

9 Problem 4.8: 가솔린 데이터 시각화 재현

9.1 문제

refund 패키지의 gasoline 데이터에 대한 Figure 4.1 (옥탄가 분포) 과 Figure 4.2 (NIR 스펙트럼) 를 재현하시오.

9.2 직관

함수 회귀의 입력 (스펙트럼 곡선) 과 출력 (옥탄가) 의 시각적 관찰. 곡선 간 차이가 작지만 그 차이가 회귀 정보의 핵심임을 본다.

9.3 R 코드: Figure 4.1 (옥탄가 분포)

library(refund)

# 데이터 로드
data(gasoline)

# Figure 4.1: 옥탄가 분포
plot(gasoline$octane,
     xlab = "Gasoline sample", ylab = "Octane rating",
     pch = 15, main = "Figure 4.1: Octane ratings of 60 samples")

관찰: 60 개 샘플의 옥탄가가 약 84~89 사이에 분포. 분산이 크지 않음 — 좁은 범위 안에서 구별 정보를 추출해야 한다.

9.4 R 코드: Figure 4.2 (NIR 스펙트럼)

# 그래픽 파라미터 설정 (책의 Figure 4.2 와 비슷하게)
dev.new(height = 6, width = 7)
par(ps = 12, cex = 1, cex.lab = 1.7, cex.axis = 1.4,
    cex.main = 1.7, cex.sub = 1, mar = c(4.25, 4.5, 1, 1))

# 첫 번째 샘플의 스펙트럼
plot.ts(gasoline$NIR[1, ], lw = 2,
        xlab = "Wavelength", ylab = "Spectrum",
        main = "Figure 4.2 (left): Sample 1 spectrum")

# 차이 곡선: (sample 2 - sample 1) 과 (sample 5 - sample 1)
plot.ts(gasoline$NIR[2, ] - gasoline$NIR[1, ],
        lw = 2, lty = 1,
        xlab = "Wavelength", ylab = "Difference",
        main = "Figure 4.2 (right): Spectrum differences")
lines(gasoline$NIR[5, ] - gasoline$NIR[1, ],
      lw = 2, lty = 2)
legend("topright",
       legend = c("Sample 2 - Sample 1", "Sample 5 - Sample 1"),
       lty = c(1, 2), lwd = 2)

9.5 시각화의 핵심 관찰

1. 스펙트럼 곡선: 약 400 개 파장 시점에서 측정. 곡선의 절대값은 흡광도(absorbance) 의 단위.
2. 차이의 크기: 두 샘플의 차이가 절대값의 5% 미만 — 작지만 옥탄가 예측에 결정적.
3. 차이의 패턴: 모든 파장에서 균일하지 않고, 특정 구간에 집중. 회귀 함수 \(\beta(t)\) 가 이 구간에서 큰 값을 가져야 한다.

9.6 함수 회귀의 동기 재확인

이 시각화가 §4.1 의 핵심 메시지를 드러낸다 — “전체 곡선이 비슷해도 특정 구간의 미세 차이가 결정적.” 함수 회귀의 모든 도구는 이 결정적 구간을 자동으로 식별하는 메커니즘이다.

---

10 Problem 4.9: Tecator 데이터 시각화 재현

10.1 문제

fda.usc 패키지의 tecator 데이터에 대한 Figure 4.3 (흡광도 곡선과 그 도함수) 를 재현하시오. 지방 함량 20% 기준으로 곡선을 색상 구분.

10.2 직관

원시 곡선과 도함수가 서로 다른 정보를 담는다는 §2.1 의 메시지를 시각적으로 확인. 도함수가 원시 곡선보다 더 명확한 그룹 구분 정보를 줄 수 있다.

10.3 R 코드

library(fda.usc)

# 데이터 로드
data("tecator")
names(tecator)
# [1] "absorp.fdata" "y" "data"

# 흡광도 곡선
absorp <- tecator$absorp.fdata

# 색상 코딩: 지방 함량 < 20% 이면 group 0, 아니면 group 1
# 실제 색상은 2 또는 4 (R 기본 색상 인덱스)
Fat20 <- ifelse(tecator$y$Fat < 20, 0, 1) * 2 + 2
# Fat < 20 → 색상 2 (red)
# Fat >= 20 → 색상 4 (blue)

# Figure 4.3 (left): 원시 흡광도 곡선
plot(tecator$absorp.fdata,
     col = Fat20,
     ylab = " ", xlab = "Wavelength",
     main = "Figure 4.3 (left): Absorbances")

# 1차 도함수 계산 (fda.usc 내장 함수)
absorp.d1 <- fdata.deriv(absorp, nderiv = 1)

# Figure 4.3 (right): 1차 도함수
plot(absorp.d1,
     col = Fat20,
     ylab = " ", xlab = "Wavelength",
     main = "Figure 4.3 (right): First derivatives")

# 범례 추가 (옵션)
legend("topright",
       legend = c("Fat < 20%", "Fat >= 20%"),
       col = c(2, 4), lty = 1, lwd = 2)

10.4 시각화의 핵심 관찰

1. 원시 흡광도 곡선 (왼쪽 패널):
   • 두 그룹의 곡선이 거의 겹쳐 보임.
   • 그룹 구분이 시각적으로 어려움.
2. 1 차 도함수 (오른쪽 패널):
   • 두 그룹의 패턴이 더 분리되어 보임.
   • 특정 파장 구간에서 도함수의 부호·크기가 그룹 간 명확히 다름.

10.5 도함수의 정보 우월성

이 비교가 §2.1 의 핵심 — “도함수가 원시 곡선보다 더 차별 정보를 담을 수 있다” — 를 직접 시연한다. 함수 회귀에서:

• \(X_i(t)\) 자체로 회귀: \(Y = \int \beta(t) X(t) \, dt + \varepsilon\).
• \(X_i'(t)\) 로 회귀: \(Y = \int \widetilde{\beta}(t) X'(t) \, dt + \varepsilon\).

후자가 더 좋은 예측 성능을 줄 때가 흔하다. Tecator 데이터의 실증적 결과이다.

10.6 비유: 자동차 GPS vs 가속도

자동차의 GPS 위치 곡선만으로는 차종 구분이 어렵다 — 모든 차가 도로를 따라 이동. 그러나 가속도 패턴은 차종마다 명확히 다르다 (스포츠카의 빠른 가속, 트럭의 완만한 가속). 도함수가 더 많은 분류 정보를 담는 것이다.

---

11 정리: Ch.4 연습문제의 통합 시각

11.1 9 문제의 분류

문제	주제	의미
4.1	rank ⇒ \(\mathbf{X}^T\mathbf{X}\) 비특이	표준 LS 의 가정
4.2	LS 불편성·분산	표준 LS 의 점근 성질
4.3	모집단 정규방정식	함수 회귀의 출발점
4.4	행렬 가역성 ⇔ 회귀자 독립	다공선성의 정확한 정의
4.5	공분산 연산자 역의 부재	함수 회귀의 본질적 어려움
4.6	함수 정규방정식 검증	(4.11) 의 도출
4.7	거칠기 벌점 LS 닫힌 형태	(4.16) 의 유도
4.8	가솔린 시각화	함수 회귀의 동기
4.9	Tecator 시각화	도함수의 정보 우월성

11.2 한 줄 통찰

4.1~4.4 (다변량) → 4.5~4.7 (함수 일반화) → 4.8~4.9 (시각화) 의 순서가 Ch.4 본문의 사고 구조를 그대로 반영한다.

다변량 LS 의 표준 가정과 결과 (4.1~4.4) 가 함수 환경에서 어떻게 일반화되고 어떻게 깨지는지 (4.5~4.7), 그리고 실제 데이터가 이 이론을 어떻게 입증하는지 (4.8~4.9) 의 흐름이다.

11.3 Ch.4 시리즈 마무리

이 연습문제 풀이로 Kokoszka & Reimherr (2017) Ch.4 (스칼라-on-함수 회귀) 의 모든 절을 다뤘다.

§4.1~4.2 (응용·표준 회귀) ─┐
§4.3~4.4 (어려움·기저 전개) ─┤
§4.5~4.6 (벌점·FPCA)        ├─ 본문 8개 절 (4편)
§4.7~4.8 (refund·비선형) ───┘
§4.9 (연습문제 9개) ───── 본 포스트 (1편)
                         ─────
                         Ch.4 총 5편 완결

다음 챕터:

• Ch.5 (함수 반응 모형): 출력도 함수인 경우. 함수-on-스칼라, 함수-on-함수 회귀.
• Ch.6 (함수 GLM): 비정규 반응 (이진·카운트). 다발성 경화증 분류.
• Ch.7 (희소 FDA): 곡선이 불규칙·희소 시점에서만 관측되는 경우.

---

12 관련 주제

선행 지식

• FDA 3.1~3.2 — L² 공간과 확률 함수, Karhunen-Loève 전개
• FDA 3.3 — 선형 변환과 공분산 연산자
• FDA 4.0 — 스칼라-on-함수 회귀 개관
• FDA 4.1~4.2 — 응용 사례와 표준 다중 회귀 복습
• FDA 4.3~4.4 — 함수 회귀의 어려움과 기저 전개 추정
• FDA 4.5~4.6 — 거칠기 벌점 추정과 FPCA 회귀
• FDA 4.7~4.8 — refund 패키지 통합 구현과 비선형 함수 회귀

후속 주제

• FDA 5.0 — 함수 반응 모형 개관
• FDA 6.0 — 함수 일반화 선형 모형 개관
• FDA 7.0 — 희소 함수 데이터

관련 개념

• 선형 회귀 분석 기초 — 4.1~4.2 의 다변량 표준 결과
• 정사영과 최소제곱 — LS 의 기하학적 토대
• Ridge 회귀와 Tikhonov 정칙화 — 4.7 의 다변량 사례
• B-spline 기저와 거칠기 벌점 — 4.7 의 거칠기 행렬 구성