CUPAC 사후 공변량 조정 기법 완벽 가이드

A/B 테스트에서 실험 결과의 정확도를 높이는 CUPAC(Controlled-experiment Using Pre-experiment data for Adjusted Covariates) 기법을 초급 개발자도 이해할 수 있도록 설명합니다. 분산을 줄여 더 적은 샘플로도 신뢰할 수 있는 결론을 도출하는 방법을 배워봅니다.

---

목차

1. CUPAC이란_무엇인가
2. 분산_감소의_수학적_원리
3. 실험전_데이터_준비하기
4. 예측_모델_학습과_검증
5. CUPAC_적용과_효과_검증
6. 신규_사용자_처리_전략
7. CUPAC_자동화_파이프라인_구축
8. 실전_주의사항과_흔한_실수

---

1. CUPAC이란 무엇인가

어느 날 김개발 씨는 A/B 테스트 결과를 분석하다가 고개를 갸웃거렸습니다. 분명히 새 기능이 효과가 있어 보이는데, 통계적으로 유의미하지 않다는 결과가 나온 것입니다.

"샘플 수가 부족한 건가요?" 선배에게 물었더니, 박시니어 씨가 미소를 지으며 말했습니다. "CUPAC이라는 기법을 알고 있나요?"

CUPAC은 Controlled-experiment Using Pre-experiment data for Adjusted Covariates의 약자로, 실험 이전 데이터를 활용하여 A/B 테스트의 분산을 줄이는 기법입니다. 마치 시험을 볼 때 평소 성적을 고려하면 한 번의 시험 결과를 더 정확하게 해석할 수 있는 것과 같습니다.

이 기법을 사용하면 같은 샘플 크기로도 더 정확한 결론을 내릴 수 있어, 실험 비용과 시간을 크게 절약할 수 있습니다.

다음 코드를 살펴봅시다.

import numpy as np
import pandas as pd
from sklearn.linear_model import LinearRegression

# 실험 전 데이터로 예측 모델 학습
pre_experiment_data = df[df['period'] == 'pre']
model = LinearRegression()
model.fit(pre_experiment_data[['feature1', 'feature2']],
          pre_experiment_data['metric'])

# 실험 기간 데이터에 예측값 추가
experiment_data = df[df['period'] == 'experiment']
experiment_data['predicted'] = model.predict(
    experiment_data[['feature1', 'feature2']])

# CUPAC 조정: 실제값에서 예측값을 빼서 잔차 계산
experiment_data['adjusted_metric'] = (
    experiment_data['metric'] - experiment_data['predicted'])

김개발 씨는 입사 6개월 차 데이터 분석가입니다. 최근 팀에서 새로운 추천 알고리즘을 개발했고, 이 알고리즘이 실제로 구매율을 높이는지 A/B 테스트를 진행하기로 했습니다.

2주간의 테스트가 끝나고 결과를 분석했습니다. 대조군 대비 실험군의 구매율이 3% 높았지만, p-value는 0.12로 통계적 유의성을 확보하지 못했습니다.

팀장님은 "한 달 더 테스트하자"고 했지만, 김개발 씨는 뭔가 더 좋은 방법이 없을까 고민했습니다. 그때 박시니어 씨가 다가와 말했습니다.

"CUPAC이라는 기법을 써보는 건 어때요? Microsoft에서 개발한 건데, 분산을 확 줄여줘서 같은 데이터로도 더 정확한 결론을 낼 수 있어요." 그렇다면 CUPAC이란 정확히 무엇일까요?

쉽게 비유하자면, CUPAC은 마치 학생의 실력을 평가할 때 평소 성적을 함께 고려하는 것과 같습니다. 한 번의 시험에서 90점을 받았다고 합시다.

만약 이 학생이 평소에 85점을 받던 학생이라면 이번 시험에서 5점 상승한 것이고, 평소 95점을 받던 학생이라면 오히려 5점 하락한 것입니다. 이처럼 사전 정보를 활용하면 결과를 더 정확하게 해석할 수 있습니다.

CUPAC이 없던 시절에는 어떻게 했을까요? 개발자들은 단순히 실험군과 대조군의 평균을 비교했습니다.

문제는 사용자마다 원래 행동 패턴이 다르다는 점입니다. 어떤 사용자는 원래 구매를 많이 하고, 어떤 사용자는 거의 구매하지 않습니다.

이런 개인차로 인한 변동성이 실험 결과에 노이즈로 작용하여, 실제 효과를 감지하기 어렵게 만들었습니다. 바로 이런 문제를 해결하기 위해 CUPAC이 등장했습니다.

핵심 아이디어는 간단합니다. 실험 전 데이터를 사용하여 "이 사용자가 실험 기간에 어떤 행동을 할지" 예측하는 모델을 만듭니다.

그리고 실험 결과에서 이 예측값을 빼면, 순수하게 실험 처리로 인한 효과만 남게 됩니다. 위의 코드를 한 줄씩 살펴보겠습니다.

먼저 실험 전 기간의 데이터를 사용하여 LinearRegression 모델을 학습합니다. 이 모델은 사용자의 특성(feature1, feature2)을 바탕으로 해당 사용자의 metric 값을 예측합니다.

다음으로 실험 기간 데이터에 대해 예측값을 계산하고, 마지막으로 실제 metric에서 예측값을 빼서 조정된 metric을 구합니다. 실제 현업에서는 어떻게 활용할까요?

예를 들어 쇼핑몰에서 새로운 할인 배너의 효과를 테스트한다고 가정해봅시다. 사용자마다 원래 구매 성향이 다르기 때문에 단순 비교로는 노이즈가 큽니다.

하지만 CUPAC을 적용하면 각 사용자의 평소 구매 패턴을 고려하여 배너로 인한 순수 효과만 측정할 수 있습니다. Netflix, Microsoft, Uber 같은 대기업에서 이 기법을 적극적으로 사용하고 있습니다.

하지만 주의할 점도 있습니다. CUPAC이 효과를 발휘하려면 실험 전 데이터가 충분해야 합니다.

또한 예측 모델의 성능이 좋을수록 분산 감소 효과도 커집니다. 예측 모델이 형편없다면 오히려 노이즈만 추가하는 셈이 됩니다.

다시 김개발 씨의 이야기로 돌아가 봅시다. CUPAC을 적용한 결과, 동일한 데이터로 p-value가 0.03으로 낮아졌습니다.

김개발 씨는 환하게 웃으며 말했습니다. "이제 한 달 더 기다리지 않아도 되겠네요!"

실전 팁

💡 - 예측 모델은 반드시 실험 전 데이터만으로 학습해야 합니다. 실험 기간 데이터가 섞이면 편향이 발생합니다.

• 선형 회귀 외에도 XGBoost, Random Forest 등 다양한 모델을 시도해보세요. 예측 성능이 좋을수록 분산 감소 효과가 큽니다.

---

2. 분산 감소의 수학적 원리

김개발 씨는 CUPAC의 효과에 감탄했지만, 한 가지 의문이 남았습니다. "도대체 왜 예측값을 빼면 분산이 줄어드는 거죠?" 박시니어 씨는 화이트보드 앞으로 걸어가며 말했습니다.

"수학적 원리를 알면 더 잘 활용할 수 있어요. 어렵지 않으니 천천히 설명해드릴게요."

CUPAC의 핵심은 공변량 조정(Covariate Adjustment) 원리에 있습니다. Y를 관측값, X를 공변량이라고 할 때, 조정된 값 Y - beta * X의 분산은 원래 Y의 분산보다 작아집니다.

마치 소음이 있는 녹음에서 배경 소음을 제거하면 목소리가 더 선명하게 들리는 것과 같습니다. 이를 통해 **분산 감소율(Variance Reduction Ratio)**을 높일 수 있습니다.

다음 코드를 살펴봅시다.

import numpy as np

# 원본 데이터의 분산
original_variance = np.var(experiment_data['metric'])

# CUPAC 조정 후 분산
adjusted_variance = np.var(experiment_data['adjusted_metric'])

# 분산 감소율 계산
variance_reduction = 1 - (adjusted_variance / original_variance)
print(f"분산 감소율: {variance_reduction:.2%}")

# 상관계수로 예측 성능 확인
correlation = np.corrcoef(
    experiment_data['metric'],
    experiment_data['predicted'])[0, 1]
# 이론적 분산 감소율 = R^2
print(f"예측 R^2: {correlation**2:.2%}")

박시니어 씨는 화이트보드에 간단한 수식을 적기 시작했습니다. 김개발 씨는 대학 시절 통계학 수업이 떠올라 살짝 긴장했습니다.

"걱정 마세요. 직관적으로 이해하면 돼요." CUPAC의 수학적 원리를 이해하려면 먼저 **분산(Variance)**이 무엇인지 알아야 합니다.

분산은 데이터가 평균에서 얼마나 흩어져 있는지를 나타내는 지표입니다. 분산이 크면 데이터가 들쭉날쭉하고, 분산이 작으면 데이터가 일관성 있게 모여 있습니다.

비유를 들어볼까요? 마치 양궁 선수가 과녁에 화살을 쏘는 것과 같습니다.

화살이 과녁 여기저기에 흩어지면 분산이 큰 것이고, 한 점에 모여 있으면 분산이 작은 것입니다. 분산이 작을수록 실력을 정확하게 평가할 수 있겠죠?

A/B 테스트에서도 마찬가지입니다. 분산이 크면 실험 효과가 실제인지 우연인지 구분하기 어렵습니다.

이때 CUPAC은 분산을 줄여서 신호를 더 선명하게 만들어 줍니다. 핵심 공식은 이렇습니다.

조정된 값을 Y_adj = Y - Y_hat이라고 하면, Var(Y_adj) = Var(Y) * (1 - R^2)가 됩니다. 여기서 R-squared는 예측 모델의 설명력을 나타냅니다.

이 공식이 의미하는 바는 명확합니다. 예측 모델이 원래 데이터의 변동성을 50% 설명할 수 있다면(R^2 = 0.5), 조정 후 분산은 원래의 50%로 줄어듭니다.

예측 모델이 좋을수록 분산 감소 효과가 커지는 것입니다. 위의 코드를 살펴보겠습니다.

먼저 원본 metric의 분산과 조정된 metric의 분산을 각각 계산합니다. 그리고 1 - (조정 후 분산 / 원래 분산)으로 분산 감소율을 구합니다.

마지막으로 예측값과 실제값의 상관계수를 계산하여 R-squared를 구하면, 이것이 이론적인 분산 감소율의 상한이 됩니다. 실무에서 이 수치가 왜 중요할까요?

분산이 절반으로 줄어들면, 같은 정확도를 얻기 위해 필요한 샘플 크기도 절반으로 줄어듭니다. 이는 곧 실험 기간을 절반으로 단축할 수 있다는 의미입니다.

빠른 의사결정이 중요한 스타트업에서 이것은 엄청난 경쟁 우위가 됩니다. 하지만 주의할 점이 있습니다.

R-squared가 100%가 되는 것은 불가능합니다. 또한 예측 모델이 **과적합(Overfitting)**되면 실제 분산 감소 효과가 이론값보다 낮아집니다.

따라서 예측 모델의 일반화 성능을 꼭 검증해야 합니다. 김개발 씨는 고개를 끄덕였습니다.

"결국 예측 모델을 잘 만드는 것이 핵심이군요!" 박시니어 씨는 미소 지으며 대답했습니다. "바로 그거예요.

이제 다음 단계로 넘어가볼까요?"

실전 팁

💡 - 분산 감소율을 모니터링하면서 예측 모델을 개선해 나가세요. 20% 이상 감소하면 실질적인 효과가 있다고 볼 수 있습니다.

• 교차 검증으로 예측 모델의 일반화 성능을 확인하세요. 과적합된 모델은 기대만큼 분산을 줄여주지 못합니다.

---

3. 실험전 데이터 준비하기

이론을 이해한 김개발 씨는 이제 직접 CUPAC을 구현해보고 싶어졌습니다. 하지만 막상 시작하려니 막막했습니다.

"실험 전 데이터를 어떻게 준비해야 하죠?" 박시니어 씨는 웃으며 말했습니다. "데이터 준비가 CUPAC 성공의 80%를 결정해요.

꼼꼼하게 해야 합니다."

CUPAC에서 **실험 전 데이터(Pre-experiment data)**는 예측 모델을 학습하는 데 사용됩니다. 이 데이터는 실험 시작 전 일정 기간의 사용자 행동 로그로, 실험 기간과 동일한 지표를 포함해야 합니다.

마치 의사가 환자를 진단할 때 과거 병력을 참고하는 것처럼, 사용자의 과거 행동 패턴이 미래 행동을 예측하는 데 핵심적인 역할을 합니다.

다음 코드를 살펴봅시다.

import pandas as pd
from datetime import datetime, timedelta

# 실험 기간 정의
experiment_start = datetime(2024, 3, 1)
experiment_end = datetime(2024, 3, 14)

# 실험 전 기간 (실험과 동일한 14일)
pre_start = experiment_start - timedelta(days=14)
pre_end = experiment_start - timedelta(days=1)

# 데이터 분리
pre_data = df[(df['date'] >= pre_start) & (df['date'] <= pre_end)]
exp_data = df[(df['date'] >= experiment_start) & (df['date'] <= experiment_end)]

# 사용자별 집계
pre_agg = pre_data.groupby('user_id').agg({
    'purchase_amount': 'sum',
    'visit_count': 'sum',
    'page_views': 'mean'
}).reset_index()
pre_agg.columns = ['user_id', 'pre_purchase', 'pre_visits', 'pre_pageviews']

김개발 씨는 노트북을 펴고 데이터베이스에 접속했습니다. 박시니어 씨가 옆에서 조언을 해주었습니다.

"CUPAC에서 가장 흔한 실수가 뭔지 알아요? 데이터 누출이에요." **데이터 누출(Data Leakage)**이란 실험 기간의 정보가 예측 모델 학습에 섞여 들어가는 것을 말합니다.

이러면 모델이 미래를 '컨닝'하는 셈이 되어, 분산 감소 효과가 실제보다 부풀려집니다. 결국 잘못된 결론을 내리게 됩니다.

이를 방지하려면 시간적 분리를 철저히 해야 합니다. 실험 전 기간과 실험 기간 사이에는 명확한 경계가 있어야 합니다.

코드에서 보듯이, 실험 시작일 하루 전까지가 실험 전 기간이 됩니다. 이 경계를 넘어서는 어떤 데이터도 예측 모델 학습에 사용해서는 안 됩니다.

실험 전 기간의 길이도 중요합니다. 일반적으로 실험 기간과 동일한 길이를 권장합니다.

2주간 실험한다면 실험 전 기간도 2주로 설정하는 것이죠. 이렇게 하면 계절성이나 요일 효과 같은 주기적 패턴이 자연스럽게 반영됩니다.

위의 코드를 살펴보겠습니다. 먼저 실험 시작일과 종료일을 정의합니다.

timedelta를 사용하여 실험 전 기간을 계산하고, 각 기간에 해당하는 데이터를 분리합니다. 그 다음 사용자별로 구매 금액 합계, 방문 횟수, 평균 페이지뷰 등을 집계합니다.

이렇게 만들어진 pre_agg 데이터프레임이 예측 모델의 입력으로 사용됩니다. 어떤 지표를 포함해야 할까요?

핵심은 실험에서 측정하는 지표와 관련 있는 행동을 포함하는 것입니다. 구매율을 측정하는 실험이라면 과거 구매 내역, 장바구니 담기 횟수, 결제 페이지 방문 횟수 등이 유용합니다.

클릭률을 측정한다면 과거 클릭 패턴, 페이지 체류 시간 등을 포함합니다. 실무에서 자주 사용하는 특성들을 정리해보면 이렇습니다.

행동 지표: 방문 횟수, 페이지뷰, 체류 시간, 클릭 수 등이 있습니다. 거래 지표: 구매 횟수, 구매 금액, 장바구니 금액 등이 포함됩니다.

참여 지표: 로그인 횟수, 앱 실행 횟수, 푸시 알림 클릭 등이 있습니다. 하지만 너무 많은 특성을 넣는 것은 좋지 않습니다.

특성이 많아지면 과적합 위험이 커지고, 계산 비용도 증가합니다. 5-10개 정도의 핵심 특성으로 시작하여, 모델 성능을 보면서 점진적으로 추가하는 것이 좋습니다.

김개발 씨는 열심히 노트에 적었습니다. "데이터 준비만 잘 해도 절반은 성공이군요!"

실전 팁

💡 - 실험 전 기간에 이벤트나 프로모션이 있었다면 해당 기간을 제외하거나 별도 처리하세요. 비정상적인 패턴이 모델을 왜곡할 수 있습니다.

• 신규 사용자는 실험 전 데이터가 없으므로 별도 그룹으로 분리하여 분석하세요.

---

4. 예측 모델 학습과 검증

데이터가 준비되자 김개발 씨는 드디어 예측 모델을 만들 차례가 되었습니다. "어떤 모델을 써야 하죠?

딥러닝이 좋을까요?" 박시니어 씨는 고개를 저었습니다. "CUPAC에서는 모델의 복잡도보다 안정성이 더 중요해요.

단순한 모델부터 시작하세요."

CUPAC의 예측 모델은 실험 전 데이터의 특성을 입력으로 받아 실험 기간의 지표를 예측합니다. 선형 회귀가 가장 널리 사용되지만, 비선형 관계가 있다면 XGBoost나 Random Forest도 좋은 선택입니다.

중요한 것은 모델이 과적합되지 않도록 교차 검증으로 성능을 검증하는 것입니다.

다음 코드를 살펴봅시다.

from sklearn.model_selection import cross_val_score
from sklearn.linear_model import Ridge
from sklearn.ensemble import RandomForestRegressor
import numpy as np

# 학습 데이터 준비 (실험 전 기간 전체 사용)
X_train = pre_agg[['pre_purchase', 'pre_visits', 'pre_pageviews']]
y_train = pre_agg['pre_metric']  # 실험 전 동일 지표

# 모델 비교 (교차 검증)
models = {
    'Ridge': Ridge(alpha=1.0),
    'RandomForest': RandomForestRegressor(n_estimators=100, max_depth=5)
}

for name, model in models.items():
    scores = cross_val_score(model, X_train, y_train, cv=5, scoring='r2')
    print(f"{name}: R² = {scores.mean():.3f} (+/- {scores.std()*2:.3f})")

# 최종 모델 학습
best_model = Ridge(alpha=1.0)
best_model.fit(X_train, y_train)

박시니어 씨가 화이트보드에 모델 선택의 원칙을 적었습니다. "CUPAC에서 모델 선택은 일반적인 머신러닝과 조금 다른 관점이 필요해요." 일반적인 예측 문제에서는 예측 정확도가 가장 중요합니다.

하지만 CUPAC에서는 정확도 못지않게 안정성이 중요합니다. 왜냐하면 불안정한 모델은 분산을 줄이는 대신 새로운 편향을 도입할 수 있기 때문입니다.

비유를 들어볼까요? 마치 체중계를 고르는 것과 같습니다.

아주 정밀하지만 측정할 때마다 값이 들쭉날쭉한 체중계보다, 조금 덜 정밀하더라도 일관된 값을 보여주는 체중계가 더 신뢰할 수 있습니다. 그래서 Ridge 회귀를 시작점으로 추천합니다.

Ridge 회귀는 일반 선형 회귀에 **정규화(Regularization)**를 추가한 모델입니다. 정규화는 계수의 크기를 제한하여 과적합을 방지합니다.

코드에서 alpha=1.0이 바로 정규화 강도를 조절하는 파라미터입니다. 위의 코드를 살펴보겠습니다.

먼저 실험 전 데이터에서 특성(X_train)과 타겟(y_train)을 분리합니다. 여기서 타겟은 실험 전 기간의 동일 지표입니다.

그 다음 cross_val_score를 사용하여 5-fold 교차 검증을 수행합니다. 이는 데이터를 5등분하여 4개로 학습하고 1개로 검증하는 과정을 5번 반복하는 것입니다.

교차 검증 결과를 해석하는 방법도 알아야 합니다. R² 값이 높을수록 좋지만, 표준편차가 작은 것이 더 중요합니다.

예를 들어 R² = 0.45 (+/- 0.10)인 모델보다 R² = 0.40 (+/- 0.03)인 모델이 더 안정적이므로 후자를 선택하는 것이 좋습니다. 비선형 관계가 있다면 RandomForest를 고려해볼 수 있습니다.

하지만 트리 기반 모델을 사용할 때는 max_depth나 n_estimators 같은 하이퍼파라미터를 보수적으로 설정해야 합니다. 코드에서 max_depth=5로 제한한 이유가 바로 과적합 방지입니다.

절대 해서는 안 되는 실수가 있습니다. 실험 기간 데이터로 모델을 학습하거나 검증하면 안 됩니다. 실험 기간 데이터는 오직 예측에만 사용해야 합니다.

실험 기간 데이터가 학습에 조금이라도 섞이면 심각한 데이터 누출이 발생합니다. 김개발 씨가 물었습니다.

"그럼 실험 전 데이터로만 학습하고 검증한 모델이 실험 기간에도 잘 작동할까요?" 박시니어 씨는 고개를 끄덕였습니다. "좋은 질문이에요.

그래서 실험 전 기간과 실험 기간의 데이터 분포가 비슷해야 해요. 만약 실험 기간에 특별한 이벤트가 있다면 모델 성능이 떨어질 수 있어요."

실전 팁

💡 - 첫 시도에서는 Ridge 회귀를 사용하고, 결과를 보면서 점진적으로 복잡한 모델을 시도하세요.

• 모델의 R²가 0.2 이하라면 특성 엔지니어링을 먼저 개선하는 것이 좋습니다.

---

5. CUPAC 적용과 효과 검증

예측 모델이 준비되자 김개발 씨는 드디어 CUPAC을 실험 데이터에 적용할 차례가 되었습니다. "이제 진짜로 분산이 줄어드는지 확인해볼까요?" 박시니어 씨가 말했습니다.

"네, 그리고 효과가 정말 있는지 검증하는 것도 잊지 마세요."

CUPAC 적용은 크게 세 단계로 이루어집니다. 먼저 학습된 모델로 실험 기간 데이터의 예측값을 계산합니다.

그 다음 실제 관측값에서 예측값을 빼서 조정된 지표를 만듭니다. 마지막으로 조정된 지표로 실험군과 대조군을 비교하여 처리 효과를 추정합니다.

다음 코드를 살펴봅시다.

import scipy.stats as stats

# 실험 데이터에 예측값 적용
exp_merged = exp_data.merge(pre_agg, on='user_id', how='inner')
exp_merged['predicted'] = best_model.predict(
    exp_merged[['pre_purchase', 'pre_visits', 'pre_pageviews']])

# CUPAC 조정
exp_merged['adjusted_metric'] = exp_merged['metric'] - exp_merged['predicted']

# 그룹별 분리
control = exp_merged[exp_merged['group'] == 'control']['adjusted_metric']
treatment = exp_merged[exp_merged['group'] == 'treatment']['adjusted_metric']

# t-검정 수행
t_stat, p_value = stats.ttest_ind(treatment, control)
effect = treatment.mean() - control.mean()

print(f"처리 효과: {effect:.4f}")
print(f"p-value: {p_value:.4f}")
print(f"분산 감소율: {1 - exp_merged['adjusted_metric'].var() / exp_merged['metric'].var():.2%}")

김개발 씨는 코드를 실행하고 결과를 기다렸습니다. 화면에 결과가 표시되자 눈이 휘둥그레졌습니다.

"p-value가 0.12에서 0.03으로 떨어졌어요!" 박시니어 씨가 설명을 이어갔습니다. "분산 감소율을 보세요.

35%나 줄었네요. 그만큼 신호가 선명해진 거예요." CUPAC 적용 과정을 하나씩 살펴보겠습니다.

첫 번째 단계는 데이터 병합입니다. 실험 기간 데이터와 실험 전 기간 집계 데이터를 user_id를 기준으로 합칩니다.

inner join을 사용하면 양쪽에 모두 있는 사용자만 포함됩니다. 신규 사용자는 이 단계에서 제외됩니다.

두 번째 단계는 예측값 계산입니다. 학습된 모델(best_model)을 사용하여 각 사용자의 예상 지표를 계산합니다.

이 예측값은 "실험 처리가 없었다면 이 사용자가 보였을 행동"을 나타냅니다. 세 번째 단계가 CUPAC의 핵심입니다.

실제 관측값에서 예측값을 빼면 **잔차(Residual)**가 남습니다. 이 잔차에는 예측 모델이 설명하지 못한 변동성과 실험 처리 효과가 함께 들어 있습니다.

하지만 개인차로 인한 변동성의 상당 부분은 제거되었습니다. 마지막으로 통계 검정을 수행합니다.

조정된 지표를 사용하여 실험군과 대조군의 평균을 비교합니다. t-검정을 통해 p-value를 계산하고, 처리 효과의 크기도 함께 확인합니다.

코드에서는 treatment.mean() - control.mean()으로 처리 효과를 계산합니다. 결과를 해석할 때 주의할 점이 있습니다.

처리 효과의 크기는 변하지 않아야 합니다. CUPAC은 분산을 줄이는 것이지, 효과의 크기를 바꾸는 것이 아닙니다.

만약 CUPAC 적용 전후로 효과 크기가 크게 달라진다면 뭔가 잘못된 것입니다. 분산 감소율은 어느 정도면 좋은 걸까요?

일반적으로 20% 이상이면 의미 있는 개선으로 봅니다. 30-40%면 상당히 좋은 편이고, 50% 이상이면 매우 효과적인 것입니다.

코드 예시에서 35%의 분산 감소율은 꽤 좋은 결과입니다. 김개발 씨가 물었습니다.

"이제 확실하게 효과가 있다고 말할 수 있는 건가요?" 박시니어 씨는 신중하게 대답했습니다. "p-value가 0.05 미만이니 통계적으로 유의미하다고 말할 수 있어요.

하지만 통계적 유의성과 실제 비즈니스 가치는 다른 문제예요. 효과의 크기와 신뢰구간도 함께 고려해야 해요."

실전 팁

💡 - CUPAC 적용 전후의 처리 효과 크기를 비교하여 일관성을 확인하세요. 크게 달라지면 데이터 누출 등의 문제를 의심해봐야 합니다.

• 분산 감소율이 기대보다 낮다면 특성 엔지니어링을 개선하거나 더 좋은 예측 모델을 시도해보세요.

---

6. 신규 사용자 처리 전략

분석 결과를 팀에 공유하던 중, 데이터 사이언티스트 이분석 씨가 질문을 던졌습니다. "신규 사용자는 어떻게 처리했어요?

실험 전 데이터가 없을 텐데..." 김개발 씨는 순간 당황했습니다. 이 부분을 놓치고 있었던 것입니다.

CUPAC은 실험 전 데이터를 필요로 하기 때문에 **신규 사용자(New Users)**에게는 직접 적용할 수 없습니다. 이 문제를 해결하는 방법은 크게 두 가지입니다.

첫째는 신규 사용자를 별도 그룹으로 분리하여 기존 방식으로 분석하는 것이고, 둘째는 인구통계 정보나 첫 방문 행동 등 대체 특성을 활용하는 것입니다.

다음 코드를 살펴봅시다.

# 신규 사용자 식별
all_exp_users = set(exp_data['user_id'].unique())
existing_users = set(pre_agg['user_id'].unique())
new_users = all_exp_users - existing_users

print(f"전체 실험 사용자: {len(all_exp_users)}")
print(f"기존 사용자: {len(existing_users & all_exp_users)}")
print(f"신규 사용자: {len(new_users)}")

# 전략 1: 신규 사용자 분리 분석
exp_existing = exp_data[exp_data['user_id'].isin(existing_users)]
exp_new = exp_data[exp_data['user_id'].isin(new_users)]

# 기존 사용자: CUPAC 적용
# 신규 사용자: 일반 t-검정
control_new = exp_new[exp_new['group'] == 'control']['metric']
treatment_new = exp_new[exp_new['group'] == 'treatment']['metric']
t_stat_new, p_value_new = stats.ttest_ind(treatment_new, control_new)

박시니어 씨가 회의실 칠판에 사용자 분류를 그렸습니다. "CUPAC의 한계 중 하나가 바로 신규 사용자 처리예요.

이 문제를 무시하면 분석 결과가 왜곡될 수 있어요." 왜 신규 사용자가 문제가 될까요? CUPAC은 과거 행동으로 미래를 예측하는 모델을 사용합니다.

그런데 신규 사용자는 정의상 과거 행동 데이터가 없습니다. 마치 처음 만난 사람의 성격을 예측하려는 것과 같습니다.

참고할 정보가 없으니 예측이 불가능합니다. 가장 간단한 해결책은 분리 분석입니다.

기존 사용자와 신규 사용자를 나누어 각각 분석합니다. 기존 사용자에게는 CUPAC을 적용하고, 신규 사용자에게는 일반적인 t-검정을 사용합니다.

최종 결론을 낼 때 두 그룹의 결과를 종합합니다. 위의 코드를 살펴보겠습니다.

먼저 실험 기간에 등장한 모든 사용자 ID를 추출합니다. 그 다음 실험 전 기간에도 존재했던 사용자를 확인합니다.

두 집합의 차집합이 바로 신규 사용자입니다. 코드에서는 set 연산을 활용하여 이를 깔끔하게 처리합니다.

신규 사용자 비율이 높으면 어떻게 해야 할까요? 만약 전체 사용자의 30% 이상이 신규 사용자라면, 분리 분석만으로는 부족합니다.

이런 경우 대체 특성을 활용할 수 있습니다. 예를 들어 가입 소스(앱스토어, 광고, 추천 등), 기기 정보, 첫 방문 시 행동 등을 사용하여 예측 모델을 만드는 것입니다.

하지만 대체 특성 접근법에는 주의가 필요합니다. 대체 특성의 예측력은 일반적으로 과거 행동 데이터보다 낮습니다.

따라서 신규 사용자에 대한 분산 감소 효과는 기존 사용자보다 작을 것입니다. 이 점을 결과 해석 시 고려해야 합니다.

이분석 씨가 물었습니다. "그럼 두 그룹의 결과가 다르면 어떻게 해요?" 박시니어 씨가 대답했습니다.

"좋은 질문이에요. 기존 사용자와 신규 사용자에서 효과의 방향이 다르다면 심각하게 고민해봐야 해요.

신규 사용자는 서비스 경험이 적어서 실험 처리에 다르게 반응할 수 있거든요. 이건 오히려 귀중한 인사이트가 될 수 있어요." 김개발 씨는 고개를 끄덕였습니다.

"단순히 기술적인 문제가 아니라, 사용자 세그먼트에 따른 효과 차이를 발견할 기회이기도 하네요!"

실전 팁

💡 - 신규 사용자 비율을 항상 리포트에 포함하세요. 이 비율이 실험 결과의 일반화 가능성에 영향을 미칩니다.

• 신규 사용자와 기존 사용자의 효과가 다르다면, 이를 별도 인사이트로 활용하세요.

---

7. CUPAC 자동화 파이프라인 구축

CUPAC의 효과를 확인한 팀은 이제 이 기법을 모든 A/B 테스트에 적용하기로 결정했습니다. 하지만 매번 수동으로 분석하기에는 실험이 너무 많았습니다.

김개발 씨에게 새로운 미션이 주어졌습니다. "CUPAC을 자동화해주세요!"

CUPAC을 매번 수동으로 적용하는 것은 비효율적입니다. 실무에서는 재사용 가능한 함수나 클래스로 만들어 파이프라인에 통합합니다.

핵심은 데이터 준비, 모델 학습, 조정 적용, 결과 리포팅까지 전 과정을 자동화하는 것입니다. 마치 공장의 생산 라인처럼 일관된 품질로 빠르게 분석 결과를 생산할 수 있습니다.

다음 코드를 살펴봅시다.

class CUPACAnalyzer:
    def __init__(self, pre_features, target_col, model=None):
        self.pre_features = pre_features
        self.target_col = target_col
        self.model = model or Ridge(alpha=1.0)
        self.variance_reduction = None

    def fit(self, pre_data):
        """실험 전 데이터로 모델 학습"""
        X = pre_data[self.pre_features]
        y = pre_data[self.target_col]
        self.model.fit(X, y)
        return self

    def transform(self, exp_data):
        """실험 데이터에 CUPAC 적용"""
        predictions = self.model.predict(exp_data[self.pre_features])
        adjusted = exp_data[self.target_col] - predictions
        self.variance_reduction = 1 - adjusted.var() / exp_data[self.target_col].var()
        return adjusted

    def analyze(self, exp_data, group_col='group'):
        """전체 분석 수행 및 결과 반환"""
        adjusted = self.transform(exp_data)
        # 결과 딕셔너리 반환
        return {'adjusted_metric': adjusted, 'variance_reduction': self.variance_reduction}

김개발 씨는 주말 동안 CUPAC 자동화 코드를 작성했습니다. 월요일 아침, 박시니어 씨에게 코드 리뷰를 요청했습니다.

"클래스로 잘 만들었네요. sklearn의 패턴을 따른 것도 좋아요." 자동화 코드를 설계할 때는 일관된 인터페이스가 중요합니다.

위 코드에서는 scikit-learn의 fit/transform 패턴을 따랐습니다. 이 패턴은 많은 데이터 과학자들에게 익숙하기 때문에, 코드를 처음 보는 동료도 쉽게 사용법을 이해할 수 있습니다.

클래스의 각 메서드를 살펴보겠습니다. init 메서드는 분석에 필요한 설정을 받습니다.

어떤 특성을 사용할지(pre_features), 어떤 지표를 분석할지(target_col), 어떤 모델을 사용할지(model)를 지정합니다. 모델은 기본값으로 Ridge 회귀를 사용하지만, 다른 모델로 쉽게 교체할 수 있습니다.

fit 메서드는 실험 전 데이터로 예측 모델을 학습합니다. 이 과정은 각 실험마다 한 번만 수행됩니다.

메서드가 self를 반환하여 메서드 체이닝이 가능합니다. transform 메서드가 CUPAC의 핵심입니다.

학습된 모델로 예측값을 계산하고, 실제값에서 빼서 조정된 지표를 만듭니다. 동시에 분산 감소율도 계산하여 저장합니다.

analyze 메서드는 전체 분석을 수행하고 결과를 반환합니다. 실무에서는 여기에 통계 검정, 신뢰구간 계산, 리포트 생성 등을 추가할 수 있습니다.

이 클래스를 어떻게 사용할까요? 실제 사용 예시는 이렇습니다.

먼저 CUPACAnalyzer 객체를 생성합니다. fit 메서드로 모델을 학습하고, analyze 메서드로 결과를 얻습니다.

코드 세 줄이면 CUPAC 분석이 완료됩니다. 박시니어 씨가 개선점을 제안했습니다.

"여기에 검증 로직을 추가하면 더 좋을 것 같아요. 예를 들어 특성 컬럼이 없으면 에러를 발생시킨다거나, 분산 감소율이 음수면 경고를 띄운다거나요." 실무에서는 이런 방어적 프로그래밍이 중요합니다.

자동화된 파이프라인은 사람이 매번 결과를 확인하지 않기 때문에, 코드 자체에서 이상 상황을 감지해야 합니다. 김개발 씨는 메모를 했습니다.

"입력 검증, 에러 처리, 로깅까지 추가해야겠어요!"

실전 팁

💡 - 클래스에 단위 테스트를 작성하세요. 특히 경계 조건(빈 데이터, 결측치 등)에 대한 테스트가 중요합니다.

• 분석 결과를 자동으로 저장하고 버전 관리하면 나중에 재현 가능한 분석이 가능합니다.

---

8. 실전 주의사항과 흔한 실수

CUPAC 파이프라인이 운영에 들어간 지 한 달이 지났습니다. 그런데 어느 날 이상한 결과가 나왔습니다.

분산 감소율이 무려 80%나 되었고, 모든 실험이 통계적으로 유의미하게 나온 것입니다. "뭔가 이상해요..." 김개발 씨의 직감이 맞았습니다.

CUPAC은 강력한 기법이지만, 잘못 적용하면 오히려 잘못된 결론을 유도할 수 있습니다. 가장 흔한 실수는 데이터 누출, 과적합, 신규 사용자 무시 등입니다.

또한 CUPAC이 효과가 없는 상황도 있습니다. 이런 함정을 피하려면 항상 결과를 비판적으로 검토하는 습관이 필요합니다.

다음 코드를 살펴봅시다.

def validate_cupac_results(original_effect, adjusted_effect,
                           variance_reduction, threshold=0.5):
    """CUPAC 결과 검증"""
    warnings = []

    # 경고 1: 효과 크기가 크게 변함
    effect_change = abs(adjusted_effect - original_effect) / abs(original_effect)
    if effect_change > 0.2:
        warnings.append(f"효과 크기가 {effect_change:.1%} 변경됨 - 데이터 누출 의심")

    # 경고 2: 비정상적으로 높은 분산 감소
    if variance_reduction > threshold:
        warnings.append(f"분산 감소율 {variance_reduction:.1%} - 과적합 가능성")

    # 경고 3: 분산이 오히려 증가
    if variance_reduction < 0:
        warnings.append("분산이 증가함 - 모델 문제 확인 필요")

    return warnings if warnings else ["검증 통과"]

# 사용 예시
warnings = validate_cupac_results(
    original_effect=0.05, adjusted_effect=0.048,
    variance_reduction=0.35)

박시니어 씨가 김개발 씨와 함께 코드를 검토했습니다. 문제를 찾는 데 오래 걸리지 않았습니다.

"여기 봐요. 실험 기간 데이터가 학습에 섞여 들어갔어요." 데이터 누출은 CUPAC에서 가장 치명적인 실수입니다.

실험 기간 데이터가 예측 모델 학습에 조금이라도 포함되면, 모델은 미래를 '컨닝'하게 됩니다. 그 결과 분산 감소율이 비정상적으로 높아지고, 거의 모든 실험이 유의미하게 나옵니다.

이런 결과는 **가짜 양성(False Positive)**입니다. 어떻게 데이터 누출을 방지할 수 있을까요?

시간 기반 분리를 철저히 해야 합니다. 실험 시작 시점을 기준으로 그 이전 데이터만 학습에 사용합니다.

코드에서 날짜 필터링을 할 때 경계 조건을 꼼꼼히 확인하세요. "이하"와 "미만"을 혼동하면 하루치 데이터가 누출될 수 있습니다.

과적합도 흔한 문제입니다. 예측 모델이 학습 데이터에 과하게 맞춰지면, 새로운 데이터에서는 성능이 떨어집니다.

과적합된 모델은 분산 감소 효과가 기대보다 낮고, 최악의 경우 분산이 오히려 증가할 수 있습니다. 위의 검증 함수를 살펴보겠습니다.

첫 번째 검사는 효과 크기의 일관성입니다. CUPAC은 분산만 줄이고 효과 크기는 바꾸지 않아야 합니다.

만약 효과 크기가 20% 이상 변했다면 뭔가 잘못된 것입니다. 두 번째 검사는 분산 감소율의 합리성입니다.

실무에서 50% 이상의 분산 감소는 드뭅니다. 80%나 90% 같은 수치가 나오면 과적합이나 데이터 누출을 의심해야 합니다.

세 번째 검사는 분산 증가 여부입니다. CUPAC이 제대로 작동하면 분산은 감소해야 합니다.

만약 분산이 증가했다면 예측 모델이 노이즈만 추가한 것입니다. CUPAC이 효과가 없는 상황도 있습니다.

만약 사용자의 과거 행동이 미래 행동을 예측하지 못한다면, CUPAC은 소용없습니다. 예를 들어 완전히 무작위적인 행동이나 외부 요인에 크게 영향받는 지표에는 CUPAC이 효과적이지 않습니다.

김개발 씨는 검증 로직을 파이프라인에 추가했습니다. "이제 이상한 결과가 나오면 자동으로 경고가 뜨겠네요!"

실전 팁

💡 - 모든 CUPAC 분석에 검증 단계를 필수로 포함하세요. 자동화된 경고 시스템이 실수를 방지합니다.

• 의심스러운 결과가 나오면 CUPAC 없이 기존 방식으로도 분석해보세요. 결론이 반대가 된다면 CUPAC 적용에 문제가 있는 것입니다.

---

이상으로 학습을 마칩니다. 위 내용을 직접 코드로 작성해보면서 익혀보세요!