ARIMA 모델 완벽 마스터

시계열 데이터 분석의 핵심인 ARIMA 모델을 초급자도 이해할 수 있도록 쉽게 설명합니다. 주가 예측, 수요 예측 등 실무에서 자주 사용되는 ARIMA의 원리부터 Python 구현까지 단계별로 알아봅니다.

---

목차

1. 시계열_데이터의_이해
2. 정상성의_개념
3. AR_자기회귀_모델
4. MA_이동평균_모델
5. 차분과_I의_의미
6. ARIMA_모델_구축
7. 최적_파라미터_찾기
8. 모델_진단과_잔차_분석
9. 예측과_신뢰구간
10. SARIMA_계절성_모델
11. 실전_프로젝트_구축

---

1. 시계열 데이터의 이해

김개발 씨는 이커머스 회사에서 일하는 주니어 데이터 분석가입니다. 어느 날 팀장님이 다가와 이런 요청을 했습니다.

"다음 달 상품 판매량을 예측해볼 수 있겠어요?" 김개발 씨는 엑셀로 평균을 내보려다가 문득 고민에 빠졌습니다. 시간에 따라 변하는 데이터는 어떻게 분석해야 할까요?

시계열 데이터란 시간 순서대로 기록된 데이터를 말합니다. 마치 일기장에 매일 날씨를 기록하는 것처럼, 주가, 기온, 판매량 등이 모두 시계열 데이터입니다.

시계열 분석을 이해하면 과거 패턴을 바탕으로 미래를 예측할 수 있습니다.

다음 코드를 살펴봅시다.

import pandas as pd
import matplotlib.pyplot as plt

# 시계열 데이터 생성 - 날짜를 인덱스로 설정
dates = pd.date_range(start='2024-01-01', periods=12, freq='M')
sales = [120, 135, 150, 142, 160, 175, 168, 180, 195, 188, 200, 215]

# 시계열 데이터프레임 생성
ts_data = pd.Series(sales, index=dates)
print(ts_data)

# 시계열 시각화
ts_data.plot(title='Monthly Sales', figsize=(10, 4))
plt.ylabel('Sales')
plt.show()

김개발 씨는 입사 6개월 차 주니어 데이터 분석가입니다. 오늘도 열심히 판매 데이터를 정리하던 중, 팀장님의 요청을 받았습니다.

"다음 달 판매량을 예측해볼 수 있겠어요?" 처음에는 단순히 평균을 내면 될 것 같았습니다. 하지만 데이터를 그래프로 그려보니 뭔가 이상했습니다.

여름에는 판매량이 높고, 겨울에는 낮은 패턴이 반복되고 있었던 것입니다. 선배 데이터 분석가 박시니어 씨가 다가와 설명해주었습니다.

"그건 시계열 데이터의 특성이에요. 시간에 따른 패턴을 고려해야 해요." 그렇다면 시계열 데이터란 정확히 무엇일까요?

쉽게 비유하자면, 시계열 데이터는 마치 매일 쓰는 일기장과 같습니다. 오늘 날씨, 오늘 기분, 오늘 먹은 음식을 기록하듯이, 데이터를 시간 순서대로 기록한 것입니다.

중요한 점은 어제의 기록이 오늘에 영향을 미칠 수 있다는 것입니다. 시계열 데이터에는 세 가지 핵심 요소가 있습니다.

첫째는 **추세(Trend)**입니다. 전체적으로 올라가거나 내려가는 경향을 말합니다.

예를 들어 스마트폰 보급률은 10년간 꾸준히 상승하는 추세를 보였습니다. 둘째는 **계절성(Seasonality)**입니다.

일정한 주기로 반복되는 패턴입니다. 아이스크림 판매량이 여름마다 높아지는 것이 대표적인 예입니다.

셋째는 **불규칙 변동(Noise)**입니다. 예측할 수 없는 무작위 변동입니다.

갑작스러운 이벤트나 외부 요인으로 발생합니다. 위의 코드를 살펴보겠습니다.

먼저 pandas의 date_range 함수로 월별 날짜 인덱스를 생성합니다. 그리고 판매량 데이터를 Series 형태로 만들어 날짜와 연결합니다.

이렇게 하면 시간 순서가 보장된 시계열 데이터가 완성됩니다. 실제 현업에서는 어떻게 활용할까요?

주식 시장에서는 과거 주가 흐름을 분석하여 투자 결정에 참고합니다. 물류 회사에서는 배송량 패턴을 파악하여 인력을 배치합니다.

이처럼 시계열 분석은 다양한 분야에서 핵심적인 역할을 합니다. 주의할 점도 있습니다.

시계열 데이터는 반드시 시간 순서가 유지되어야 합니다. 데이터를 무작위로 섞으면 패턴 분석이 불가능해집니다.

또한 결측치가 있으면 적절한 방법으로 처리해야 합니다. 김개발 씨는 박시니어 씨의 설명을 듣고 고개를 끄덕였습니다.

"아, 그래서 단순 평균이 아니라 시간의 흐름을 고려해야 하는군요!"

실전 팁

💡 - 시계열 데이터는 항상 시간 순서를 유지해야 합니다

• 결측치는 보간법이나 전방/후방 채우기로 처리하세요
• 시각화를 먼저 해서 추세와 계절성을 눈으로 확인하세요

---

2. 정상성의 개념

김개발 씨가 ARIMA 모델을 공부하다가 낯선 단어를 만났습니다. "정상성(Stationarity)이 필요합니다"라는 문장이었습니다.

정상성이 대체 무엇이길래 ARIMA의 전제 조건이 되는 걸까요? 박시니어 씨에게 물어보기로 했습니다.

정상성이란 시계열 데이터의 통계적 특성이 시간에 따라 변하지 않는 것을 말합니다. 마치 잔잔한 호수처럼 평균과 분산이 일정하게 유지되는 상태입니다.

ARIMA 모델은 정상성을 가진 데이터에서 가장 잘 작동합니다.

다음 코드를 살펴봅시다.

from statsmodels.tsa.stattools import adfuller
import numpy as np

# 정상성 검정 함수 (ADF 테스트)
def check_stationarity(timeseries):
    # ADF 테스트 수행
    result = adfuller(timeseries, autolag='AIC')

    print(f'ADF 통계량: {result[0]:.4f}')
    print(f'p-value: {result[1]:.4f}')
    print('임계값:')
    for key, value in result[4].items():
        print(f'  {key}: {value:.4f}')

    # p-value가 0.05 미만이면 정상성 있음
    if result[1] < 0.05:
        print("결론: 정상성이 있습니다 (귀무가설 기각)")
    else:
        print("결론: 정상성이 없습니다 (차분 필요)")

김개발 씨는 ARIMA 튜토리얼을 따라하다가 막혔습니다. "먼저 데이터가 정상성을 만족하는지 확인하세요"라는 문장에서 멈춘 것입니다.

정상성이라니, 처음 듣는 용어였습니다. 박시니어 씨가 화이트보드 앞에 서서 설명을 시작했습니다.

"정상성을 이해하려면 먼저 호수를 상상해보세요." 잔잔한 호수를 떠올려봅시다. 바람이 불지 않으면 수면은 항상 일정한 높이를 유지합니다.

오늘 측정해도, 내일 측정해도 평균 수위는 비슷합니다. 출렁임의 정도, 즉 분산도 일정합니다.

이것이 바로 정상성입니다. 반면 태풍이 오면 어떨까요?

수위가 급격히 높아졌다가 낮아집니다. 평균이 시간에 따라 변하고, 출렁임도 커졌다 작아졌다 합니다.

이런 상태는 비정상입니다. 왜 정상성이 중요할까요?

ARIMA 모델은 과거 패턴이 미래에도 반복된다고 가정합니다. 그런데 데이터의 평균이 계속 올라가거나 분산이 계속 커진다면, 과거 패턴을 믿기 어렵습니다.

따라서 먼저 데이터를 정상 상태로 만들어야 합니다. 정상성을 확인하는 방법 중 가장 널리 쓰이는 것이 ADF(Augmented Dickey-Fuller) 테스트입니다.

위 코드에서 adfuller 함수가 바로 이 테스트를 수행합니다. 결과로 나오는 p-value가 핵심입니다.

p-value가 0.05보다 작으면 정상성이 있다고 판단합니다. 반대로 0.05보다 크면 비정상이므로 추가 처리가 필요합니다.

그렇다면 비정상 데이터를 어떻게 정상으로 만들까요? 가장 흔한 방법은 **차분(Differencing)**입니다.

현재 값에서 이전 값을 빼는 것입니다. 예를 들어 주가가 100, 105, 112, 118이라면, 차분하면 5, 7, 6이 됩니다.

상승 추세가 제거되고 변화량만 남습니다. 로그 변환도 자주 사용됩니다.

데이터의 분산이 점점 커지는 경우, 로그를 취하면 분산이 안정됩니다. 주가처럼 지수적으로 성장하는 데이터에 효과적입니다.

실무에서 주의할 점이 있습니다. 과도한 차분은 오히려 정보를 잃게 만듭니다.

보통 1차 또는 2차 차분이면 충분합니다. 차분을 한 번 할 때마다 데이터 포인트가 하나씩 줄어든다는 점도 기억하세요.

김개발 씨가 자신의 판매 데이터에 ADF 테스트를 해보았습니다. p-value가 0.32로 나왔습니다.

"아, 정상성이 없군요. 차분을 해봐야겠어요." 박시니어 씨가 미소 지었습니다.

"잘 이해했네요. 정상성 확인은 ARIMA의 첫 번째 관문이에요."

실전 팁

💡 - ADF 테스트에서 p-value < 0.05이면 정상성이 있다고 판단합니다

• 비정상 데이터는 차분이나 로그 변환으로 정상화하세요
• 1차 차분으로 부족하면 2차 차분을 시도하되, 과도한 차분은 피하세요

---

3. AR 자기회귀 모델

박시니어 씨가 화이트보드에 ARIMA를 풀어 썼습니다. "AR, I, MA.

세 가지가 합쳐진 거예요." 김개발 씨는 첫 번째 글자 AR이 궁금해졌습니다. AR, 자기회귀란 무엇일까요?

AR(AutoRegressive) 모델은 과거 자기 자신의 값으로 현재 값을 예측하는 방법입니다. 마치 어제 기온을 보고 오늘 기온을 예측하는 것과 같습니다.

과거 몇 개의 값을 사용할지 결정하는 것이 AR의 차수(p)입니다.

다음 코드를 살펴봅시다.

from statsmodels.tsa.ar_model import AutoReg
import pandas as pd
import numpy as np

# 샘플 시계열 데이터 생성
np.random.seed(42)
data = [10]
for i in range(99):
    # AR(1) 과정: 이전 값의 0.7배 + 노이즈
    data.append(0.7 * data[-1] + np.random.normal(0, 1))

# AR 모델 학습 (lag=1은 AR(1) 모델)
model = AutoReg(data, lags=1)
fitted = model.fit()

# 모델 요약 및 예측
print(f'AR 계수: {fitted.params[1]:.4f}')
forecast = fitted.predict(start=100, end=104)
print(f'향후 5개 예측값: {forecast.values}')

김개발 씨가 물었습니다. "AR이 자기회귀라고요?

자기 자신으로 회귀한다는 건 무슨 뜻이에요?" 박시니어 씨가 간단한 예시를 들었습니다. "오늘 서울 기온을 예측한다고 해봐요.

어제 25도였다면 오늘도 비슷하지 않을까요?" 이것이 바로 **자기회귀(AutoRegressive)**의 핵심입니다. 과거의 나 자신을 보고 미래의 나를 예측하는 것입니다.

회귀분석에서 독립변수가 다른 변수가 아니라 자기 자신의 과거 값인 것이죠. 수식으로 표현하면 이렇습니다.

Y(t) = c + φ × Y(t-1) + ε. 현재 값은 상수 c에, 이전 값의 φ배를 더하고, 오차 ε를 더한 것입니다.

여기서 φ(파이)가 중요합니다. 이 값이 0.9라면 이전 값의 영향이 매우 큽니다.

0.1이라면 이전 값의 영향이 작습니다. 모델을 학습하면 이 φ 값을 데이터에서 추정합니다.

그렇다면 차수 p는 무엇일까요? AR(1)은 바로 직전 값 하나만 사용합니다.

AR(2)는 직전 값과 그 전 값, 두 개를 사용합니다. AR(3)은 세 개의 과거 값을 사용합니다.

차수가 높을수록 더 먼 과거까지 고려합니다. 위 코드를 살펴보겠습니다.

AutoReg 함수에서 lags=1은 AR(1) 모델을 의미합니다. 학습 후 fitted.params[1]을 출력하면 추정된 AR 계수 φ를 확인할 수 있습니다.

데이터 생성 시 0.7을 사용했는데, 모델이 비슷한 값을 추정하면 잘 작동한 것입니다. 실무에서 AR 모델은 언제 유용할까요?

관성이 있는 데이터에 적합합니다. 기온, 주가, 경제 지표 등 어제의 영향이 오늘에 남아있는 데이터입니다.

반면 복권 번호처럼 이전 값과 전혀 관련 없는 데이터에는 AR이 의미 없습니다. 적절한 차수 p를 정하는 방법도 있습니다.

PACF(편자기상관함수) 그래프를 그려보면 됩니다. PACF가 급격히 떨어지는 지점이 적절한 차수입니다.

예를 들어 lag 2까지는 유의미하고 그 이후는 0에 가깝다면 AR(2)가 적합합니다. 주의할 점이 있습니다.

AR 계수 φ의 절대값이 1 이상이면 모델이 불안정해집니다. 값이 무한히 커지거나 진동할 수 있습니다.

다행히 statsmodels는 이런 경우 경고를 띄워줍니다. 김개발 씨가 자신의 데이터로 AR 모델을 만들어봤습니다.

AR 계수가 0.85로 나왔습니다. "이전 달 판매량의 85%가 이번 달에 영향을 주는 셈이군요!"

실전 팁

💡 - PACF 그래프로 적절한 AR 차수 p를 결정하세요

• AR 계수의 절대값이 1 미만이어야 모델이 안정적입니다
• 관성이 있는 데이터(기온, 주가 등)에 AR 모델이 효과적입니다

---

4. MA 이동평균 모델

김개발 씨가 ARIMA의 두 번째 글자에 대해 물었습니다. "MA는 이동평균이라고요?

그런데 주식에서 보는 이동평균선과는 다른 것 같은데요?" 박시니어 씨가 고개를 끄덕였습니다. "맞아요, 이름은 비슷하지만 개념이 달라요."

MA(Moving Average) 모델은 과거 예측 오차의 평균으로 현재 값을 예측합니다. 마치 과거에 빗나간 정도를 기억했다가 보정하는 것과 같습니다.

일반적인 이동평균과 달리 오차항을 사용한다는 점이 특징입니다.

다음 코드를 살펴봅시다.

from statsmodels.tsa.arima.model import ARIMA
import numpy as np

# MA 과정이 포함된 데이터 생성
np.random.seed(42)
errors = np.random.normal(0, 1, 100)
data = []
for i in range(100):
    if i == 0:
        data.append(errors[i])
    else:
        # MA(1) 과정: 현재 오차 + 이전 오차의 0.6배
        data.append(errors[i] + 0.6 * errors[i-1])

# MA(1) 모델 학습 - ARIMA(0,0,1)로 표현
model = ARIMA(data, order=(0, 0, 1))
fitted = model.fit()

print(f'MA 계수: {fitted.maparams[0]:.4f}')
print(f'모델 AIC: {fitted.aic:.2f}')

"이동평균이라고 해서 주식 차트의 그 이동평균선인 줄 알았어요." 김개발 씨가 솔직하게 말했습니다. 박시니어 씨가 차이점을 설명했습니다.

"주식의 이동평균선은 과거 가격의 평균이에요. 하지만 시계열의 MA 모델은 과거 오차의 가중평균이에요.

완전히 다른 개념이죠." MA 모델을 이해하기 위해 양궁 선수를 떠올려봅시다. 양궁 선수가 과녁을 향해 화살을 쏩니다.

첫 번째 화살이 오른쪽으로 10cm 빗나갔습니다. 현명한 선수는 두 번째 화살을 쏠 때 이 오차를 기억합니다.

"아, 오른쪽으로 치우치는 경향이 있구나. 조금 왼쪽으로 보정하자." 이것이 바로 **MA(이동평균)**의 원리입니다.

과거에 얼마나 빗나갔는지를 기억하고, 그 정보로 현재를 보정하는 것입니다. 수식으로 표현하면 이렇습니다.

Y(t) = μ + ε(t) + θ × ε(t-1). 현재 값은 평균 μ에, 현재 오차 ε(t)를 더하고, 이전 오차의 θ배를 더한 것입니다.

여기서 ε(엡실론)은 예측 오차, 즉 실제 값과 예측 값의 차이입니다. θ(세타)는 이전 오차가 현재에 미치는 영향의 크기입니다.

차수 q는 몇 개의 과거 오차를 사용할지 결정합니다. MA(1)은 직전 오차 하나만 사용합니다.

MA(2)는 직전 오차와 그 전 오차, 두 개를 사용합니다. 위 코드를 살펴보겠습니다.

ARIMA(0, 0, 1)에서 세 번째 숫자 1이 MA의 차수입니다. 첫 번째 0은 AR 차수, 두 번째 0은 차분 횟수입니다.

즉 순수한 MA(1) 모델입니다. AR과 MA의 차이는 무엇일까요?

AR은 과거 값 자체를 사용합니다. "어제 온도가 25도였으니 오늘도 비슷하겠지." MA는 과거 오차를 사용합니다.

"어제 예측이 3도 높게 빗나갔으니 오늘은 좀 낮춰야지." 적절한 MA 차수 q를 정하려면 ACF(자기상관함수) 그래프를 봅니다. ACF가 급격히 떨어지는 지점이 적절한 차수입니다.

PACF는 AR 차수, ACF는 MA 차수를 결정하는 데 사용된다고 기억하세요. 실무에서 MA 모델은 충격이 일시적으로 영향을 미치는 데이터에 적합합니다.

예를 들어 갑자기 폭우가 와서 판매량이 떨어졌다면, 그 영향은 며칠 후 사라집니다. 이런 일시적 충격을 모델링할 때 MA가 유용합니다.

김개발 씨가 정리했습니다. "AR은 관성, MA는 충격 후 보정이군요.

둘을 합치면 더 강력하겠네요?" 박시니어 씨가 미소 지었습니다. "바로 그게 ARMA, 그리고 ARIMA예요."

실전 팁

💡 - ACF 그래프로 적절한 MA 차수 q를 결정하세요

• MA는 일시적 충격의 영향을 모델링할 때 유용합니다
• 주식의 이동평균선과 혼동하지 마세요 - 완전히 다른 개념입니다

---

5. 차분과 I의 의미

ARIMA에서 AR과 MA는 알겠습니다. 그런데 가운데 있는 I는 무엇일까요?

김개발 씨가 궁금해하자 박시니어 씨가 답했습니다. "I는 Integrated, 적분이라는 뜻이에요.

하지만 실제로는 차분의 역연산을 의미해요."

**I(Integrated)**는 차분을 통해 비정상 시계열을 정상화했음을 나타냅니다. 마치 울퉁불퉁한 길을 평평하게 고르는 것과 같습니다.

ARIMA의 d 파라미터는 몇 번 차분했는지를 의미하며, 보통 0, 1, 2 중 하나를 사용합니다.

다음 코드를 살펴봅시다.

import pandas as pd
import numpy as np

# 추세가 있는 비정상 시계열 생성
np.random.seed(42)
trend = np.arange(100) * 0.5  # 상승 추세
noise = np.random.normal(0, 2, 100)
data = trend + noise

# 1차 차분 수행
diff_1 = np.diff(data, n=1)
print(f'원본 데이터 길이: {len(data)}')
print(f'1차 차분 후 길이: {len(diff_1)}')

# 차분 결과 확인 - 추세가 제거됨
print(f'\n원본 평균: {np.mean(data):.2f}')
print(f'1차 차분 평균: {np.mean(diff_1):.2f}')
print(f'1차 차분 표준편차: {np.std(diff_1):.2f}')

김개발 씨가 고개를 갸웃했습니다. "적분이라고요?

미적분학에서 배운 그 적분이요?" 박시니어 씨가 설명했습니다. "이름은 적분이지만, 실제로 우리가 하는 건 차분이에요.

적분의 역연산이 미분이듯, 차분의 역연산이 적분이거든요. ARIMA에서 I가 붙은 이유는 차분한 데이터에 모델을 적용하고, 나중에 다시 원래 스케일로 되돌리기 때문이에요." **차분(Differencing)**을 쉽게 이해해봅시다.

매일 키를 측정하는 아이가 있습니다. 월요일 120cm, 화요일 120.1cm, 수요일 120.3cm, 목요일 120.4cm.

키는 계속 커지니까 비정상 데이터입니다. 하지만 매일 얼마나 자랐는지 계산하면 어떨까요?

0.1cm, 0.2cm, 0.1cm. 성장량은 거의 일정합니다.

이렇게 현재 값에서 이전 값을 빼는 것이 차분입니다. 위 코드에서 np.diff(data, n=1)이 1차 차분을 수행합니다.

원본 데이터가 100개라면 차분 후에는 99개가 됩니다. 한 번 빼기를 했으니 데이터가 하나 줄어드는 것이죠.

ARIMA의 d 파라미터는 이 차분 횟수를 의미합니다. d=0이면 차분하지 않습니다.

이미 정상성을 만족하는 데이터입니다. d=1이면 1차 차분을 합니다.

선형 추세가 있는 데이터에 적합합니다. d=2이면 2차 차분을 합니다.

곡선 형태의 추세가 있을 때 사용합니다. 언제 어떤 차분을 사용할까요?

데이터가 일직선으로 상승하거나 하락한다면 1차 차분이면 충분합니다. 상승 속도 자체가 점점 빨라진다면, 즉 기울기가 변한다면 2차 차분이 필요할 수 있습니다.

보통 2차 차분 이상은 잘 사용하지 않습니다. 과도한 차분은 데이터의 중요한 정보를 잃게 만들 수 있습니다.

또한 차분할 때마다 데이터 포인트가 줄어들어 분석에 사용할 수 있는 데이터가 적어집니다. 차분 후에는 다시 ADF 테스트를 해봅니다.

p-value가 0.05 미만이 되면 정상성이 확보된 것입니다. 여전히 0.05 이상이라면 한 번 더 차분을 시도합니다.

예측할 때 주의할 점이 있습니다. 차분한 데이터로 예측하면 결과도 차분된 상태입니다.

실제 값을 얻으려면 차분을 되돌려야 합니다. 다행히 statsmodels의 ARIMA 모델은 이를 자동으로 처리해줍니다.

김개발 씨가 이해했습니다. "아, 그래서 ARIMA(1,1,1)이면 AR(1), 1차 차분, MA(1)이라는 뜻이군요!"

실전 팁

💡 - d=1이면 1차 차분, d=2이면 2차 차분입니다

• 보통 d는 0, 1, 2 중 하나를 사용합니다
• 차분 후 ADF 테스트로 정상성을 다시 확인하세요

---

6. ARIMA 모델 구축

드디어 ARIMA의 모든 구성 요소를 배웠습니다. AR, I, MA를 합치면 ARIMA입니다.

김개발 씨가 말했습니다. "이제 실제로 ARIMA 모델을 만들어보고 싶어요!" 박시니어 씨가 노트북을 열었습니다.

ARIMA(p, d, q) 모델은 자기회귀(AR), 차분(I), 이동평균(MA)을 결합한 시계열 예측 모델입니다. p는 AR 차수, d는 차분 횟수, q는 MA 차수를 의미합니다.

세 가지를 적절히 조합하면 다양한 시계열 패턴을 모델링할 수 있습니다.

다음 코드를 살펴봅시다.

from statsmodels.tsa.arima.model import ARIMA
import pandas as pd
import numpy as np

# 샘플 시계열 데이터
np.random.seed(42)
data = np.cumsum(np.random.normal(0, 1, 100)) + 50

# ARIMA(1,1,1) 모델 구축
model = ARIMA(data, order=(1, 1, 1))
fitted = model.fit()

# 모델 요약 출력
print(fitted.summary().tables[1])

# 미래 5개 시점 예측
forecast = fitted.forecast(steps=5)
print(f'\n향후 5개 예측값:')
for i, val in enumerate(forecast, 1):
    print(f'  t+{i}: {val:.2f}')

김개발 씨가 드디어 ARIMA 모델을 직접 만들어볼 시간입니다. ARIMA(p, d, q)에서 세 개의 숫자가 각각 무엇을 의미하는지 다시 정리해봅시다.

p는 AR(자기회귀)의 차수입니다. 과거 몇 개의 값을 참고할지 결정합니다.

PACF 그래프로 결정합니다. d는 차분 횟수입니다.

데이터를 정상화하기 위해 몇 번 차분했는지 나타냅니다. ADF 테스트로 확인합니다.

q는 MA(이동평균)의 차수입니다. 과거 몇 개의 예측 오차를 참고할지 결정합니다.

ACF 그래프로 결정합니다. 위 코드를 단계별로 살펴보겠습니다.

먼저 ARIMA 클래스를 import합니다. 그리고 order=(1, 1, 1)로 모델을 생성합니다.

이는 AR(1) + 1차 차분 + MA(1) 모델입니다. fit() 메서드를 호출하면 모델이 데이터를 학습합니다.

내부적으로 최적의 AR 계수와 MA 계수를 추정합니다. summary()를 출력하면 모델의 상세 정보를 볼 수 있습니다.

AR 계수(ar.L1), MA 계수(ma.L1), 그리고 각 계수의 유의성을 나타내는 p-value가 표시됩니다. forecast(steps=5)는 미래 5개 시점의 값을 예측합니다.

학습된 패턴을 바탕으로 다음에 올 값들을 계산합니다. 실무에서 ARIMA를 사용할 때 가장 어려운 부분은 p, d, q를 정하는 것입니다.

경험적으로 시작할 수 있는 방법이 있습니다. 먼저 데이터를 시각화하고 ADF 테스트를 합니다.

정상성이 없으면 차분하면서 d를 정합니다. 그 다음 ACF와 PACF 그래프를 그려서 p와 q를 결정합니다.

하지만 이 방법이 항상 최적은 아닙니다. 다음 카드에서 배울 auto_arima를 사용하면 자동으로 최적의 파라미터를 찾을 수 있습니다.

모델이 잘 만들어졌는지 확인하는 방법도 중요합니다. 잔차(residuals)가 백색잡음처럼 무작위해야 합니다.

잔차에 패턴이 남아있다면 모델이 데이터의 구조를 다 잡아내지 못한 것입니다. 김개발 씨가 자신의 판매 데이터로 ARIMA(1,1,1)을 만들어봤습니다.

다음 달 예측값이 출력되었습니다. "와, 드디어 예측을 할 수 있게 됐어요!" 박시니어 씨가 조언했습니다.

"좋아요. 하지만 아직 이 모델이 최적인지는 모르잖아요.

다양한 파라미터를 비교해봐야 해요."

실전 팁

💡 - order=(p, d, q) 형태로 ARIMA 파라미터를 지정합니다

• summary()로 모델의 계수와 유의성을 확인하세요
• 잔차가 무작위인지 확인하여 모델 적합성을 검증하세요

---

7. 최적 파라미터 찾기

김개발 씨가 고민에 빠졌습니다. "ARIMA(1,1,1)을 만들었는데, 이게 최선인지 어떻게 알 수 있죠?

ARIMA(2,1,1)이나 ARIMA(1,1,2)가 더 좋을 수도 있잖아요." 박시니어 씨가 pmdarima 라이브러리를 소개했습니다.

auto_arima는 다양한 p, d, q 조합을 자동으로 탐색하여 최적의 ARIMA 모델을 찾아줍니다. AIC나 BIC 같은 정보 기준을 사용해 모델의 복잡도와 적합도를 균형 있게 평가합니다.

마치 자동 튜닝 기능처럼 편리합니다.

다음 코드를 살펴봅시다.

from pmdarima import auto_arima
import numpy as np

# 샘플 데이터 생성
np.random.seed(42)
data = np.cumsum(np.random.normal(0, 1, 100)) + 50

# auto_arima로 최적 파라미터 탐색
model = auto_arima(
    data,
    start_p=0, max_p=3,    # AR 차수 범위
    start_q=0, max_q=3,    # MA 차수 범위
    d=None,                 # 차분 횟수 자동 결정
    seasonal=False,         # 계절성 없음
    trace=True,             # 탐색 과정 출력
    error_action='ignore',
    suppress_warnings=True
)

print(f'\n최적 모델: ARIMA{model.order}')
print(f'AIC: {model.aic():.2f}')

김개발 씨의 고민은 많은 데이터 분석가들이 겪는 문제입니다. ARIMA(1,1,1)도 가능하고, ARIMA(2,1,0)도 가능하고, 조합이 너무 많습니다.

일일이 다 해보기엔 시간이 없습니다. 박시니어 씨가 해결책을 알려주었습니다.

"pmdarima 라이브러리의 auto_arima를 사용하면 돼요. 자동으로 최적의 조합을 찾아줍니다." auto_arima는 마치 내비게이션과 같습니다.

목적지까지 가는 경로가 수십 가지 있지만, 내비게이션은 최적의 경로를 찾아줍니다. auto_arima도 수많은 파라미터 조합 중에서 최적의 모델을 찾아줍니다.

어떻게 최적을 판단할까요? 바로 **AIC(Akaike Information Criterion)**를 사용합니다.

AIC는 모델의 복잡도와 적합도를 동시에 고려합니다. 단순히 데이터를 잘 맞추기만 하면 과적합 위험이 있습니다.

반대로 너무 단순하면 데이터의 패턴을 놓칩니다. AIC는 이 둘의 균형을 맞춥니다.

AIC 값이 낮을수록 좋은 모델입니다. auto_arima는 다양한 조합을 시도하면서 AIC가 가장 낮은 모델을 선택합니다.

위 코드를 살펴보겠습니다. start_p=0, max_p=3은 AR 차수를 0부터 3까지 탐색하라는 의미입니다.

start_q=0, max_q=3도 마찬가지로 MA 차수의 범위입니다. d=None으로 설정하면 차분 횟수도 자동으로 결정합니다.

내부적으로 ADF 테스트를 수행하여 적절한 d를 찾습니다. trace=True를 설정하면 탐색 과정이 출력됩니다.

ARIMA(0,1,0) AIC=xxx, ARIMA(1,1,0) AIC=xxx... 이런 식으로 어떤 조합을 시도했는지 볼 수 있습니다.

pmdarima는 별도 설치가 필요합니다. pip install pmdarima 명령어로 설치할 수 있습니다.

주의할 점이 있습니다. auto_arima가 찾은 모델이 항상 최선은 아닙니다.

탐색 범위를 벗어난 더 좋은 모델이 있을 수 있습니다. 또한 AIC만으로 판단하면 안 되고, 잔차 분석과 예측 성능도 함께 확인해야 합니다.

김개발 씨가 auto_arima를 실행했습니다. 결과는 ARIMA(0,1,1)이었습니다.

처음에 직감으로 선택한 ARIMA(1,1,1)보다 더 단순하면서 AIC가 낮았습니다. "역시 자동화 도구가 편하네요.

하지만 결과를 맹신하면 안 되겠죠?" 김개발 씨의 말에 박시니어 씨가 흡족한 표정을 지었습니다.

실전 팁

💡 - pmdarima 라이브러리를 pip install pmdarima로 설치하세요

• AIC가 낮을수록 좋지만, 잔차 분석도 함께 하세요
• seasonal=True로 설정하면 계절성 ARIMA(SARIMA)도 탐색합니다

---

8. 모델 진단과 잔차 분석

김개발 씨가 ARIMA 모델을 만들고 예측까지 했습니다. "이제 끝난 건가요?" 박시니어 씨가 고개를 저었습니다.

"아니요, 모델이 제대로 만들어졌는지 진단해봐야 해요. 잔차 분석이라는 걸 해야 합니다."

잔차 분석은 모델이 데이터의 패턴을 제대로 잡아냈는지 확인하는 과정입니다. 좋은 모델의 잔차는 백색잡음처럼 무작위해야 합니다.

마치 의사가 수술 후 환자 상태를 점검하듯, 모델도 만들고 나서 점검이 필요합니다.

다음 코드를 살펴봅시다.

from statsmodels.tsa.arima.model import ARIMA
from statsmodels.stats.diagnostic import acorr_ljungbox
import matplotlib.pyplot as plt
import numpy as np

# 모델 학습
np.random.seed(42)
data = np.cumsum(np.random.normal(0, 1, 100)) + 50
model = ARIMA(data, order=(1, 1, 1)).fit()

# 잔차 추출
residuals = model.resid

# Ljung-Box 테스트 (잔차의 자기상관 검정)
lb_test = acorr_ljungbox(residuals, lags=[10], return_df=True)
print("Ljung-Box 테스트 결과:")
print(lb_test)
print(f'\np-value > 0.05이면 잔차에 자기상관 없음 (좋음)')

# 잔차 통계
print(f'\n잔차 평균: {np.mean(residuals):.4f}')
print(f'잔차 표준편차: {np.std(residuals):.4f}')

김개발 씨가 ARIMA 모델을 만들었습니다. 예측 결과도 나왔습니다.

이제 끝난 걸까요? 박시니어 씨가 말했습니다.

"아직이에요. 요리사가 음식을 만들고 맛을 보듯이, 우리도 모델을 만들고 검증해야 해요." **잔차(Residual)**란 무엇일까요?

실제 값과 모델이 예측한 값의 차이입니다. 예를 들어 실제 판매량이 100인데 모델이 98로 예측했다면, 잔차는 2입니다.

좋은 모델의 잔차는 어떤 특성을 가져야 할까요? 첫째, 평균이 0에 가까워야 합니다.

잔차의 평균이 양수라면 모델이 전체적으로 낮게 예측하는 것입니다. 음수라면 높게 예측하는 것이죠.

둘째, 자기상관이 없어야 합니다. 오늘의 잔차와 어제의 잔차 사이에 관계가 없어야 합니다.

관계가 있다면 모델이 놓친 패턴이 있다는 뜻입니다. 셋째, 분산이 일정해야 합니다.

시간이 지나면서 잔차가 커지거나 작아지면 안 됩니다. 위 코드에서 Ljung-Box 테스트가 핵심입니다.

이 테스트는 잔차에 자기상관이 있는지 검정합니다. p-value가 0.05보다 크면 "자기상관이 없다"는 귀무가설을 기각하지 못합니다.

즉, 잔차가 무작위하다는 의미입니다. 잔차를 시각화하는 것도 중요합니다.

잔차를 시계열 그래프로 그렸을 때 특정 패턴이 보이면 문제입니다. 또한 잔차의 히스토그램이 정규분포에 가까워야 합니다.

잔차 분석 결과 문제가 발견되면 어떻게 해야 할까요? 잔차에 자기상관이 있다면 AR이나 MA 차수를 늘려봅니다.

모델이 데이터의 패턴을 다 잡아내지 못한 것이기 때문입니다. 잔차의 분산이 시간에 따라 변한다면 GARCH 모델을 고려하거나 로그 변환을 시도합니다.

잔차에 계절성이 보인다면 SARIMA 모델로 전환합니다. 김개발 씨가 자신의 모델로 잔차 분석을 해봤습니다.

Ljung-Box 테스트의 p-value가 0.42로 나왔습니다. "0.05보다 크니까 잔차에 자기상관이 없다는 거죠?

모델이 괜찮은 것 같네요!" 박시니어 씨가 끄덕였습니다. "맞아요.

하지만 한 가지 테스트만 믿지 말고, 시각화도 함께 확인하는 습관을 들이세요."

실전 팁

💡 - Ljung-Box 테스트에서 p-value > 0.05이면 잔차가 무작위합니다

• 잔차의 평균은 0에 가깝고, 분산은 일정해야 합니다
• 잔차에 패턴이 보이면 모델을 수정해야 합니다

---

9. 예측과 신뢰구간

모델 진단까지 마쳤습니다. 이제 진짜 예측을 해볼 시간입니다.

김개발 씨가 물었습니다. "예측값만 나오면 되나요?" 박시니어 씨가 답했습니다.

"예측값도 중요하지만, 그 예측이 얼마나 불확실한지도 알아야 해요. 신뢰구간이라는 게 있어요."

신뢰구간은 예측값이 실제로 들어올 가능성이 높은 범위를 말합니다. 마치 날씨 예보에서 "내일 기온 20-25도"라고 말하는 것처럼, 예측의 불확실성을 함께 제공합니다.

보통 95% 신뢰구간을 사용합니다.

다음 코드를 살펴봅시다.

from statsmodels.tsa.arima.model import ARIMA
import numpy as np
import pandas as pd

# 모델 학습
np.random.seed(42)
data = np.cumsum(np.random.normal(0, 1, 100)) + 50
model = ARIMA(data, order=(1, 1, 1)).fit()

# 신뢰구간과 함께 예측
forecast = model.get_forecast(steps=5)
forecast_mean = forecast.predicted_mean
conf_int = forecast.conf_int(alpha=0.05)  # 95% 신뢰구간

# 결과 출력
print("예측 결과 (95% 신뢰구간):")
for i in range(5):
    lower = conf_int.iloc[i, 0]
    upper = conf_int.iloc[i, 1]
    print(f't+{i+1}: {forecast_mean.iloc[i]:.2f} [{lower:.2f}, {upper:.2f}]')

김개발 씨가 팀장님께 보고를 준비하고 있습니다. "다음 달 판매량은 1,234개입니다"라고 말하려는데, 박시니어 씨가 조언했습니다.

"정확히 1,234개라고 하면 안 돼요. 예측에는 항상 불확실성이 있거든요.

신뢰구간을 함께 보고해야 해요." 신뢰구간을 일상적인 예로 설명해보겠습니다. 친구에게 "내일 몇 시에 도착해?"라고 물었습니다.

친구가 "정확히 3시에 도착해"라고 하면 믿기 어렵습니다. 교통 상황, 날씨 등 변수가 많으니까요.

하지만 "2시 30분에서 3시 30분 사이에 도착할 거야"라고 하면 더 믿음이 갑니다. 이것이 신뢰구간의 개념입니다.

예측값 하나만 말하는 것보다, 범위와 함께 말하는 것이 더 정직하고 유용합니다. 95% 신뢰구간의 의미는 무엇일까요?

같은 조건에서 100번 예측하면 95번은 이 범위 안에 실제 값이 들어온다는 뜻입니다. 위 코드에서 get_forecast() 메서드가 예측과 신뢰구간을 함께 제공합니다.

predicted_mean은 예측값, conf_int()는 신뢰구간입니다. alpha=0.05는 95% 신뢰구간을 의미합니다.

흥미로운 점이 있습니다. 미래로 갈수록 신뢰구간이 넓어집니다. 내일 날씨는 비교적 정확히 예측할 수 있습니다.

하지만 한 달 후 날씨는 예측하기 어렵습니다. 불확실성이 시간이 지날수록 누적되기 때문입니다.

ARIMA도 마찬가지입니다. t+1 예측의 신뢰구간보다 t+5 예측의 신뢰구간이 훨씬 넓습니다.

실무에서 이를 어떻게 활용할까요? 의사결정권자에게 보고할 때 "예상 판매량은 1,200개이며, 95% 신뢰구간은 1,050-1,350개입니다"라고 말합니다.

이렇게 하면 최악의 경우와 최선의 경우를 모두 고려한 계획을 세울 수 있습니다. 재고 관리에서도 유용합니다.

예측 상한선을 기준으로 재고를 준비하면 품절 위험을 줄일 수 있습니다. 예측 하한선을 기준으로 하면 재고 비용을 줄일 수 있습니다.

김개발 씨가 보고서를 수정했습니다. "다음 달 예상 판매량은 1,234개이며, 95% 신뢰구간은 1,100-1,368개입니다." 팀장님이 만족한 표정을 지었습니다.

"이렇게 보고해주니까 계획 세우기가 훨씬 수월하네요."

실전 팁

💡 - 예측값만 보고하지 말고 신뢰구간도 함께 제시하세요

• 미래로 갈수록 신뢰구간이 넓어지는 것은 자연스러운 현상입니다
• alpha=0.05는 95% 신뢰구간, alpha=0.1은 90% 신뢰구간입니다

---

10. SARIMA 계절성 모델

김개발 씨의 판매 데이터에는 매년 12월마다 판매량이 급증하는 패턴이 있었습니다. 일반 ARIMA로는 이 계절성을 잡아내기 어려웠습니다.

박시니어 씨가 새로운 모델을 소개했습니다. "계절성이 있다면 SARIMA를 써야 해요."

SARIMA는 ARIMA에 계절성 성분을 추가한 모델입니다. SARIMA(p,d,q)(P,D,Q,s)로 표현하며, 대문자 P, D, Q는 계절성 파라미터, s는 계절 주기입니다.

마치 일주일 단위로 반복되는 교통 패턴이나 연간 반복되는 판매 패턴을 모델링할 수 있습니다.

다음 코드를 살펴봅시다.

from statsmodels.tsa.statespace.sarimax import SARIMAX
import numpy as np

# 계절성이 있는 데이터 생성 (주기 12)
np.random.seed(42)
n = 120
trend = np.arange(n) * 0.1
seasonal = 10 * np.sin(2 * np.pi * np.arange(n) / 12)
noise = np.random.normal(0, 1, n)
data = 50 + trend + seasonal + noise

# SARIMA 모델: (1,1,1)(1,1,1,12)
model = SARIMAX(
    data,
    order=(1, 1, 1),              # 비계절성 파라미터
    seasonal_order=(1, 1, 1, 12)  # 계절성 파라미터 (주기 12)
)
fitted = model.fit(disp=False)

# 예측
forecast = fitted.forecast(steps=12)
print("향후 12개월 예측:")
for i, val in enumerate(forecast, 1):
    print(f'  월 {i}: {val:.2f}')

김개발 씨가 ARIMA 모델을 열심히 만들었는데, 뭔가 이상했습니다. 매년 12월에 판매량이 급증하는 패턴이 있는데, 모델이 이를 제대로 반영하지 못했습니다.

박시니어 씨가 데이터를 보더니 말했습니다. "이건 계절성이 있는 데이터예요.

일반 ARIMA로는 부족해요. SARIMA를 써야 합니다." SARIMA를 이해하기 위해 먼저 계절성의 예를 생각해봅시다.

아이스크림 가게를 운영한다고 합시다. 매년 여름에 매출이 높고 겨울에 낮습니다.

이 패턴은 해마다 반복됩니다. 이것이 계절성입니다.

일반 ARIMA의 AR은 "어제 많이 팔렸으니 오늘도 많이 팔리겠지"라고 생각합니다. 하지만 계절성 AR(SAR)은 "작년 7월에 많이 팔렸으니 올해 7월에도 많이 팔리겠지"라고 생각합니다.

SARIMA(p,d,q)(P,D,Q,s)에서 각 문자의 의미를 알아봅시다. 소문자 p, d, q는 일반 ARIMA와 같습니다.

단기적인 패턴을 담당합니다. 대문자 P는 계절성 AR 차수입니다.

몇 시즌 전의 값을 참고할지 결정합니다. 대문자 D는 계절성 차분 횟수입니다.

올해 값에서 작년 같은 시점 값을 빼는 것입니다. 대문자 Q는 계절성 MA 차수입니다.

몇 시즌 전의 예측 오차를 참고할지 결정합니다. 소문자 s는 계절 주기입니다.

월별 데이터에서 연간 패턴이면 12, 일별 데이터에서 주간 패턴이면 7입니다. 위 코드에서 seasonal_order=(1, 1, 1, 12)의 의미를 해석해보겠습니다.

P=1은 12개월 전 값을 참고하고, D=1은 계절성 차분을 1번 하고, Q=1은 12개월 전 오차를 참고하며, s=12는 연간 주기라는 뜻입니다. SARIMAX 클래스를 사용하는 이유는 SARIMA에 외생변수(X)까지 추가할 수 있기 때문입니다.

외생변수가 없어도 SARIMAX를 써서 SARIMA 모델을 만들 수 있습니다. auto_arima에서 seasonal=True로 설정하면 SARIMA 파라미터도 자동으로 탐색합니다.

대신 s(계절 주기)는 직접 지정해줘야 합니다. 김개발 씨가 SARIMA로 다시 모델을 만들었습니다.

이번에는 12월 판매량 급증 패턴이 예측에 잘 반영되었습니다. "와, 이제야 제대로 된 예측이네요!"

실전 팁

💡 - 계절성 주기 s는 데이터 특성에 맞게 설정하세요 (월별=12, 분기별=4, 주별=7)

• auto_arima에서 seasonal=True, m=12로 설정하면 SARIMA를 자동 탐색합니다
• 계절성 파라미터가 추가되면 학습 시간이 길어질 수 있습니다

---

11. 실전 프로젝트 구축

이제 김개발 씨는 ARIMA의 모든 개념을 배웠습니다. 마지막으로 박시니어 씨가 실전 프로젝트를 함께 해보자고 제안했습니다.

"처음부터 끝까지, 실제 데이터로 예측 모델을 만들어봅시다."

실전에서는 데이터 로드부터 전처리, 모델 선택, 학습, 진단, 예측까지 전체 파이프라인을 구축해야 합니다. 이 과정을 체계적으로 정리하면 어떤 시계열 데이터에도 적용할 수 있는 프레임워크가 됩니다.

다음 코드를 살펴봅시다.

from pmdarima import auto_arima
from statsmodels.tsa.stattools import adfuller
import pandas as pd
import numpy as np

# 1. 데이터 준비
np.random.seed(42)
dates = pd.date_range('2020-01-01', periods=48, freq='M')
sales = 100 + np.arange(48) * 2 + 15 * np.sin(np.arange(48) * np.pi / 6)
sales += np.random.normal(0, 5, 48)
data = pd.Series(sales, index=dates)

# 2. 정상성 검정
adf_result = adfuller(data)
print(f'ADF p-value: {adf_result[1]:.4f}')

# 3. 최적 모델 탐색
model = auto_arima(data, seasonal=True, m=12, trace=False)
print(f'선택된 모델: {model.order}, 계절성: {model.seasonal_order}')

# 4. 예측 수행
forecast, conf_int = model.predict(n_periods=6, return_conf_int=True)
print('\n향후 6개월 예측:')
for i, (pred, (low, high)) in enumerate(zip(forecast, conf_int), 1):
    print(f'  월 {i}: {pred:.1f} [{low:.1f}, {high:.1f}]')

박시니어 씨가 화이트보드에 전체 프로세스를 그렸습니다. "ARIMA 프로젝트는 크게 다섯 단계로 나눌 수 있어요." 첫 번째, 데이터 준비 단계입니다. 시계열 데이터를 로드하고 날짜를 인덱스로 설정합니다.

결측치가 있으면 처리하고, 이상치가 있으면 확인합니다. 데이터를 시각화해서 추세와 계절성이 있는지 눈으로 확인합니다.

두 번째, 정상성 검정 단계입니다. ADF 테스트로 정상성을 확인합니다. 정상성이 없으면 차분이 필요합니다.

계절성이 있다면 SARIMA를 고려합니다. 이 단계에서 d 파라미터가 결정됩니다.

세 번째, 모델 탐색 단계입니다. ACF와 PACF 그래프로 p와 q를 추정합니다. 또는 auto_arima로 자동 탐색합니다.

여러 모델을 만들어 AIC를 비교합니다. 가장 낮은 AIC를 가진 모델을 선택합니다.

네 번째, 모델 진단 단계입니다. 잔차가 무작위한지 확인합니다. Ljung-Box 테스트를 수행합니다.

잔차에 패턴이 있으면 모델을 수정합니다. 이 단계를 통과해야 다음으로 넘어갑니다.

다섯 번째, 예측 단계입니다. 학습된 모델로 미래 값을 예측합니다. 신뢰구간도 함께 계산합니다.

결과를 시각화하여 보고합니다. 위 코드는 이 다섯 단계를 간결하게 구현한 것입니다.

실제 프로젝트에서는 각 단계마다 더 많은 검토가 필요합니다. 하지만 이 프레임워크를 기억하면 어떤 시계열 데이터에도 적용할 수 있습니다.

실무에서 자주 발생하는 문제와 해결책도 알아두면 좋습니다. 데이터가 너무 적으면 모델이 불안정합니다.

최소 50개 이상의 데이터 포인트를 확보하세요. 계절성 모델이라면 최소 2-3 시즌의 데이터가 필요합니다.

이상치가 있으면 모델이 왜곡됩니다. 이상치를 제거하거나 보정한 후 모델을 만드세요.

외부 요인이 크게 작용하면 ARIMA만으로는 한계가 있습니다. 이런 경우 ARIMAX나 다른 모델을 고려하세요.

김개발 씨가 팀장님께 최종 보고를 했습니다. "SARIMA(0,1,1)(1,1,1,12) 모델을 사용하여 향후 6개월 판매량을 예측했습니다.

모든 진단 테스트를 통과했고, 95% 신뢰구간도 함께 제시합니다." 팀장님이 만족스러운 표정을 지었습니다. "잘했어요.

이제 이 예측을 바탕으로 재고 계획을 세울 수 있겠네요." 박시니어 씨가 김개발 씨의 어깨를 두드렸습니다. "축하해요.

이제 시계열 분석의 기초를 완벽히 마스터했네요."

실전 팁

💡 - 최소 50개 이상의 데이터 포인트를 확보하세요

• 전체 파이프라인을 함수로 만들어두면 재사용이 편리합니다
• 예측 결과는 항상 신뢰구간과 함께 보고하세요

---

이상으로 학습을 마칩니다. 위 내용을 직접 코드로 작성해보면서 익혀보세요!