항히스타민의 위키

시계열 모형 기초(작성 중)

10 min read

정의

약안정성과 강안정성

약안정성

시계열 가 다음을 만족하면 약안정적, 혹은 covariance-stationary하다고 한다.

강안정성

시계열 다음을 만족하면 강안정적이라고 한다.

MA()

차 이동평균과정(moving average process), MA()는 다음과 같이 표현된다.

단 여기서 는 백색잡음이고 는 실수이다.

이 MA과정의 평균이 임은 자명하고 분산과 자기상관함수는 다음과 같이 계산된다.

가역성(Invertibility)

MA과정의 가역성이란 백색잡음 를, 과거의 만으로 표현할 수 있을 때 만족하는 성질을 말하는 것이다. 예를 들어 MA(1) 과정

은, 이 만족될 때 다음과 같이 표현될 수 있음을 알 수 있다.

즉, MA(1)을 AR()로 표현할 수 있는 것이다.

일반적으로 MA() 가 가역성을 만족하는 것은, 다음 방정식의 해가 복소수 평면에서 단위원(unit circle) 바깥에 위치해야 한다.

AR()

차 자기회귀과정(autoregressive process), AR()은 다음과 같이 표현된다.

이다.

인과성(Causality)

만일 복소수 평면에서

의 해가 단위원 바깥에 위치한다면 이 자기회귀가정은

의 형태, 즉 MA()의 형태로 나타낼 수 있음을 알 수 있다. 가 의 함수로만 표현될 수 있다면, 즉 백색잡음의 현재 및 과거치만으로 표현될 수 있다면 그 시계열 은 인과적(causal) 또는 의 인과적 함수라고 일컫는다. 인과성은 가역성의 정반대의 개념인 것.

이 때 이고 이다. 뿐만 아니라 이다.

따라서, 자기상관함수는 다음과 같이

임을 얻을 수 있다.

Wold Decomposition Theorem

임의의 약안정적인 확률과정 는 다음과 같이 표현될 수 있다.

단, 여기서 이고 이다. 은 백색과정으로 다음과 같이 정의된다.

또한 는 임의의 에 대해 와 상관관계가 없는 항으로, 선형 확률 성분 또는 선형 비결정론적 성분(linearly indeterministic component)이다. 이 는 확률과정 의 선형 비확률 성분 혹은 선형 결정론적 성분(linearly deterministic component of )이라고 일컫는다. 즉, 이 는 과거의 값의 선형함수로 충분히 잘 예측될 수 있다.

이 정리에 따르면, 안정적인 시계열은 언제나 MA() 과정으로 표현될 수 있다. 그러나 유한 개의 관측치를 가지고 무한 개의 파라미터 들을 모두 추정할 수 없다.

이러한 안정적인 시계열을 ‘잘’ 묘사하려면 적절한 추가 가정1이 필요하다. 이 가정 하에서, 시차연산자(Lag operator) 에 대해

로 표현된다. 즉 모든 안정적인 시계열은 아래의 ARMA모형으로 표현될 수 있는 것이다. 이 결과는 매우 큰 의미가 있는데, 실무적으로, 동일한 데이터를 표현하는데 있어서 추정해야 하는 파라미터의 개수를 대폭 줄일 수 있기 때문이다.

ARMA()

Autoregressive-Moving-Average-Process, 즉 시계열 가 과정을 따른다는 것은 아래와 같이 정의된다.

단, 여기서 는 강하게 안정적(strictly stationary)인 백색잡음 과정이다. 본질적으로 이 모형은 안정적인 시계열 을 가정한다.

ARMA의 안정성은 오직 AR부분의 파라미터인 에만 의존한다. 즉 ARMA를 구성하는 AR부분이 안정적이면 이 ARMA과정 역시 안정적이다.

ARIMA()

ARMA와는 달리 ARIMA모형은 비정상(nonstationary)인 시계열에 대해 적용하는 모형이다. 만일 시계열 에 대해 차 차분 가 과정을 따르는 경우, 시계열 는 과정을 따른다고 말한다.

그럼 이 ARIMA모형은 ‘언제’ 사용하는 게 맞을까? 통상적으로, 예측 혹은 분석을 해야할 때 다루려는 데이터가 ‘반복적인 패턴’ 혹은 계절성이 있을 때 사용한다.

모형 선택

AR 모형 선택 기준

  • ACF가 0으로 서서히 감소하는 모습
  • PACF가 몇 시차 이후 0으로 떨어지는(cut off) 모습
  • 안정적 시계열의 ACF는 첫 시차(Lag 1)에서 양의 값을 가짐

MA 모형 선택 기준

  • 첫 시차에서 음의 자기상관이 존재할 때
  • ACF가 조금의 시차 이후에 빠르게 떨어지는 모습
  • PACF가 서서히 감소하는 모습

(Hamilton 책 발췌)

추세안정성

추세안정적 시계열

다음과 같은 시계열 을 보자.

여기서 는 강하게 안정적인 백색잡음 과정이다(즉, (2)와 (3)은 안정적인 시계열이다). 다시 말하면 추세를 제거했을 때 안정적인 시게열을 얻을 수 있다면, 추세안정적인 시계열이라고 부른다.

통상적으로 이런 시계열을 다룰 때 데이터의 추세를 제거(detrend)하는 방법을 많이 사용한다. 즉, 위의 식 (1)을 OLS로 추정한 다음 잔차(residual) 를 도출한 후, 그 다음 식(2)에서 종속변수를 방금 전 구한 잔차 로 둔 다음, 식 (2)를 OLS로 추정하면 된다.

아래는 추세와 계절성(seasonality)을 가진 시계열이다. 아래 모든 그래프는 아래 출처에서 가져온 것이다.

이 시계열의 계절성 주기는 전형적인 12개월이다. 이 시계열은 전년 동월 대비 수준 혹은 증감률을 계산해서 다룰 수 있다.

위와는 달리 좀 더 안정적인 시계열과 유사한 모습을 볼 수 있다. 그러나 이 시계열의 분산은 백색잡음이 아니라 어느정도 자기상관을 가지고 있음을 확인할 수 있다. 실제로 이 전년 동월 대비 증감률 데이터에 대해 자기상관함수(Autocorrelation Function)를 보면 아래와 같다. Lag가 1, 2일 때 자기상관이 매우 높은 것을 알 수 있는데, 이는 차분한 12개월마다 계절성이 있다는 것을 명백하게 나타내는 것이다.

이제 위의 ACF를 얻은 동일한 데이터로 부분자기상관함수(Partial Autocorrelation Function)를 구해 보면 아래와 같다. 여기서 Lag가 1까지는 매우 강한 상관관계를 보여주지만 이후에는 줄어드는 것을 확인할 수 있다.

참고자료

IBM의 ARIMA 모형 설명

Hamilton

Footnotes

  1. 가 어떤 유한 차수의 선형 재귀식을 만족한다는 가정. 이와 동치인 것은 의 rational spectrum 가정. ↩

Graph View