Storm Outage Risk의 정전 예측: PR-AUC 2.4배를 읽는 조건

Storm Outage Risk는 미국 미주리·일리노이의 216개 지역에서 새 정전이 생길 확률을 계산하는 공개 프로젝트다. XGBoost 모델과 DuckDB·dbt 데이터 파이프라인을 함께 공개했다. 개발자는 Reddit에서 평가 결과를 공유했고 공식 저장소에는 예측 시점과 데이터 누수를 점검한 기록이 있다.

공식 저장소의 최근 커밋은 2026년 11월 10일 소개 페이지의 이미지와 애니메이션을 고쳤다. 이날을 모델 출시일로 해석할 근거는 없다. 개발자가 보고한 PR-AUC 2.4배는 특정 과거 데이터 평가의 비교값이다. 실제 운영 성능은 별도로 확인해야 한다. 공식 저장소 · 11월 10일 변경

예측 시점과 정전의 정의

모델은 매시간 새 정전이 발생할 확률을 계산한다. 예측 대상은 2시간 뒤부터 시작하는 6시간이다. 정전 기준은 지역 고객의 5% 이상이 전력을 잃는 경우다. 직전 24시간 동안 이 기준을 넘긴 정전이 없었던 지역을 대상으로 새 발생을 평가한다. 이미 진행 중인 정전을 다시 맞히는 일을 성과에 섞지 않으려는 정의다.

입력에는 기상 정보와 지역 특성, 주변 지역의 정전 이력, 미국 기상청 NWS 경보와 SPC 전망이 들어간다. HRRR 기상 예보도 사용한다. 과거 평가에서는 판단 당시 발행돼 있던 예보를 골라 사용한다. 실험 기록

2.4배가 뜻하는 범위

개발자는 2020~2024년으로 학습하고 2025년을 평가한 결과를 공개했다. 최근 HRRR 예보 5회의 결과를 평균한 모델의 PR-AUC는 0.094였다. NWS 경보와 SPC 전망을 확률로 바꾼 기준선은 0.039였다. 두 값의 비율이 약 2.4배다.

이는 모든 정전을 2.4배 더 정확하게 맞힌다는 뜻은 아니다. 같은 비율로 경보를 내도록 비교했을 때, 개발자는 새 정전을 미리 포착한 비율을 모델 30%, 기준선 17%로 보고했다. 경보 뒤 실제 정전이 발생한 비율은 각각 약 15%, 11%였다. 모델 경보의 약 85% 뒤에는 새 정전이 발생하지 않았다.

README는 기초 특성과 설정을 2024년으로 골랐지만 예보를 사용하는 여러 구성을 2025년 결과로 비교했다고 밝힌다. 따라서 2025년을 모델 선택과 완전히 분리한 최종 시험으로 볼 수 없다. 이 수치는 개발자의 자체 평가이며 여기서 독립 재현하지 않았다. 평가 조건과 한계

데이터가 언제 알려졌는지 확인하는 방법

초기 모델은 예측 대상 시간대에 실제로 일어난 날씨를 입력에 포함했다. 개발자는 판단 시점까지의 날씨만 쓰도록 바꾸자 PR-AUC가 0.106에서 0.043으로 낮아졌다고 기록했다. 당시 알 수 없던 정보를 넣으면 사전 예측 성능을 과장할 수 있다는 사례다.

프로젝트의 감사 문서는 원시 데이터에 시간 필터를 다시 적용해 모델 입력과 대조하는 방법을 설명한다. 경보 발행 시각과 예보 실행 시각도 확인한다. 다만 문서가 보고한 검사 통과는 과거 자료를 대상으로 한 자체 결과다. 실시간 데이터의 도착 지연까지 보장하지 않는다. 파이프라인 감사 문서

실시간 베타는 다른 입력으로 실행한다

실시간 베타는 정전 데이터를 즉시 확보할 수 없어 현재 정전 정보를 입력에서 뺐다. 공식 문서에 따르면 이 구성의 2025년 비교값은 기준선 대비 PR-AUC 2.2배다. 실제 실시간 모델은 2020~2025년으로 학습한 뒤 고정했다.

개발자는 예보 5회의 평균을 예측값으로 쓴다. 범위는 최솟값과 최댓값으로 표시한다. 이 범위는 개별 지역의 정전 확률에 대한 검증된 95% 구간이 아니다. README는 실시간 예측이 아직 채점되지 않았다고 밝힌다. 프로젝트는 실험용이며 안전 판단에 사용하지 말라고 명시한다. 실시간 모델 문서

개발자가 이 사례에서 참고할 부분은 입력마다 판단 시점에 알 수 있었는지 확인하는 절차다. 과거 평가와 운영 모델의 입력이 다르면 결과도 따로 기록해야 한다. 실시간 성능을 확인하려면 예측을 먼저 저장하고 실제 결과가 나온 뒤 같은 정의로 채점하는 과정이 필요하다.