1 핵심 차이: 오차항의 독립성 가정
일반 OLS 회귀와 시계열 회귀의 가장 근본적인 차이는 오차항(error term)의 독립성 가정이다.
- 일반 회귀: 오차항이 서로 독립(i.i.d.) 이라고 가정한다
- 시계열 회귀: 오차항이 자기상관(autocorrelation)을 가진다 — \(\epsilon_t\)와 \(\epsilon_{t-1}\)이 상관되어 있다
이 차이는 단순한 기술적 세부 사항이 아니다. 오차항의 구조를 잘못 가정하면 추정량의 효율성이 떨어지고, 표준오차가 편향되어 가설 검정의 결론이 완전히 달라진다.
| 용어 | 정의 | 관측 가능 여부 |
|---|---|---|
| 오차항 \(\epsilon_i\) | \(Y_i - E[Y_i \mid X_i]\) (모집단의 진짜 오차) | 불가 |
| 잔차 \(e_i\) | \(Y_i - \hat{Y}_i\) (데이터 - 적합값) | 가능 |
실무에서는 오차항을 직접 볼 수 없으므로 잔차로 오차항을 추정한다. 시계열에서 “오차항이 자기상관을 가진다”는 말은 \(t\)시점 잔차와 \(t-1\)시점 잔차가 상관됨을 의미한다. 오늘 예측이 크게 빗나가면 내일도 같은 방향으로 빗나갈 가능성이 높다는 뜻이다.
2 주요 비교
| 구분 | 일반 Regression | Time Series Regression |
|---|---|---|
| 관측치 순서 | 무관 | 순서가 중요 (시간 의존) |
| 오차항 구조 | 독립 (i.i.d.) | 자기상관 존재 |
| 예측변수 | 고정 또는 확률적 | 과거값 자체가 예측변수 가능 |
| 대표 모델 | OLS, GLM | ARMA, VAR, ARIMAX |
| 가정 위반 시 | 해당 없음 | OLS 추정량은 불편이지만 비효율적, 표준오차 편향 |
3 시계열 회귀의 핵심 개념
3.1 자기상관 (Autocorrelation)
\[\text{Cov}(\epsilon_t, \epsilon_{t-k}) \neq 0\]
자기상관이 존재하면 OLS 표준오차가 과소추정되어 t-통계량이 부풀려진다. 실제로는 유의하지 않은 변수가 유의한 것처럼 보이는 Type I 오류가 증가한다.
3.2 정상성 (Stationarity)
시계열 회귀는 변수가 정상(stationary) 이어야 한다. 정상 시계열은 평균과 분산이 시간에 따라 변하지 않는다.
비정상 시계열 간 회귀를 그냥 돌리면 spurious regression 문제가 발생한다. 두 시계열이 아무 관련이 없어도 높은 \(R^2\)와 유의한 t-통계량이 나올 수 있다. 이는 두 시계열이 모두 추세를 가지고 있기 때문에 생기는 허위 상관이다.
3.3 Lagged Variables
과거 자신의 값을 예측변수로 쓰는 구조가 시계열 회귀의 핵심이다.
\[Y_t = \beta_0 + \beta_1 X_t + \beta_2 Y_{t-1} + \epsilon_t\]
\(Y_{t-1}\)이 예측변수로 포함되면 Autoregressive(AR) 구조가 된다.
3.4 공적분 (Cointegration)
비정상 시계열이라도 두 시계열의 선형 결합이 정상이면 공적분 관계가 있다고 한다. 이 경우 장기 균형 관계를 추정할 수 있다. ECM(Error Correction Model)이 이 구조를 명시적으로 다룬다.
4 X→Y 효과 해석
4.1 일반 회귀에서의 효과
\[Y = \beta_0 + \beta_1 X + \epsilon\]
\(\beta_1\)은 X가 1 증가할 때 Y의 즉각적인(contemporaneous) 변화량이다. 해석이 단순하다.
4.2 시계열 회귀에서의 효과
X의 효과가 시간에 걸쳐 분산(distributed lag) 된다.
\[Y_t = \beta_0 + \beta_0 X_t + \beta_1 X_{t-1} + \beta_2 X_{t-2} + \cdots + \epsilon_t\]
| 개념 | 의미 |
|---|---|
| Impact effect \(\beta_0\) | X 변화의 즉각적 효과 (lag 0) |
| Lag effect \(\beta_1, \beta_2, \ldots\) | 1기, 2기 후 지연 효과 |
| Long-run effect | \(\sum_k \beta_k\) = 모든 시차 효과의 합계 |
| IRF (Impulse Response Function) | X 충격 이후 Y가 시간에 따라 어떻게 반응하는지 시각화 |
일반 회귀: “지금 X가 오르면 지금 Y가 얼마나 오르나”
시계열 회귀: “지금 X가 오르면 향후 몇 기에 걸쳐 Y가 얼마나, 어떻게 반응하나”
따라서 시계열에서는 단기 효과 vs 장기 효과를 구분해서 분석하는 것이 중요하다.
5 ARIMA와 외부 변수
5.1 ARIMA는 X→Y 효과 분석이 불가능하다
ARIMA(AutoRegressive Integrated Moving Average)는 외부 변수 \(X\)가 없다. \(Y_t\)의 과거값과 오차만으로 \(Y_t\)를 설명한다.
\[Y_t = \phi_1 Y_{t-1} + \phi_2 Y_{t-2} + \theta_1 \epsilon_{t-1} + \epsilon_t\]
이 구조는 “Y의 과거가 Y의 현재에 미치는 영향”만 모델링한다. 외부 변수 X의 효과는 모델에 없으므로 인과/효과 분석이 불가능하다.
5.2 외부 변수를 포함하려면 별도 모델이 필요하다
| 모델 | 구조 | X 효과 해석 |
|---|---|---|
| ARIMA | \(Y_t\)의 과거값 + 오차만 | 불가 |
| ARIMAX | ARIMA + 외부 변수 \(X_t\) | 가능 |
| VAR | 여러 Y들이 서로 영향 | 가능 (IRF로) |
6 외부 변수 포함 시계열 모델 체계
X→Y 효과 분석이 필요한 상황에서 선택할 수 있는 모델들이다.
| 모델 | 특징 | 적합한 상황 |
|---|---|---|
| ARIMAX | ARIMA + 외부 변수 \(X_t\) | 단일 Y, X의 즉각 효과 |
| VAR (Vector AR) | 여러 Y들이 서로 영향 | 다변량, Y들 간 상호 인과 |
| VARX | VAR + 외부 변수 | 다변량 + 외부 충격 |
| Distributed Lag (DL) | X의 시차 효과 명시적 모델링 | X→Y 지연 효과 분석 |
| ADL (Autoregressive DL) | AR + Distributed Lag 결합 | 단기/장기 효과 동시 추정 |
| ECM (Error Correction) | 공적분 관계 기반 | 장기 균형 + 단기 조정 |
| BSTS | 베이지안 구조적 시계열 | 유연한 외부 변수 + 불확실성 정량화 |
| Prophet | 트렌드 + 계절성 + 외부 변수 | 실무 예측, 빠른 적용 |
6.1 모델 선택 기준
Y가 하나인가?
├── 예측 목적 → ARIMAX
├── X 효과 분석 → ADL / Distributed Lag
└── 장기 균형 관계 → ECM
Y가 여러 개인가?
├── 상호 인과 분석 → VAR / VARX
└── 구조적 충격 분석 → SVAR + IRF실무에서 가장 많이 쓰이는 조합은 ARIMAX(단변량 예측 + 외부 효과)와 VAR + IRF(다변량 인과 분석)이다.
7 ARIMAX 구조
ARIMAX는 ARIMA 오차 구조 위에 외부 변수의 즉각 효과를 추가한다.
\[Y_t = \beta X_t + \underbrace{\phi_1 Y_{t-1} + \theta_1 \epsilon_{t-1} + \epsilon_t}_{\text{ARIMA 구조}}\]
\(\beta\)는 \(X_t\)의 즉각 효과이고, ARIMA 부분은 그 외 시간 의존 구조를 흡수한다.
| 질문 | ARIMA | ARIMAX |
|---|---|---|
| X 변수가 있는가? | 없음 | 있음 |
| X가 Y에 미치는 효과를 알고 싶은가? | 해당 없음 | 핵심 목적 |
| 예측 정확도만 높이고 싶은가? | 충분할 수 있음 | X 추가 시 개선 가능 |
X가 있어도 예측 목적이면 ARIMA로 시작하고, 설명(inference) 목적이면 ARIMAX를 쓴다.
8 관련 주제
선행 지식
후속 주제