LLM 연구 결과의 유효기간: 모델이 바뀌면 기존 평가도 다시 살펴야 한다

언어 모델을 바꾸면서 기존 평가표를 그대로 쓰고 있다면, 점수뿐 아니라 평가가 겨냥한 실패 양상도 다시 확인할 필요가 있다. 스탠퍼드대 Owen Queen과 James Zou는 널리 인용된 LLM 연구 결과 50건을 최신 모델에서 다시 살펴봤다. 이들의 연구 보고서는 2026년 11월 2일 공개됐다.

연구진은 2024년 7월부터 2026년 9월까지 출시된 8개 개발사의 모델 20종을 대상으로 원래 연구의 실험을 반복하고, 모델 출시일에 따른 효과가 어떻게 바뀌는지 추정했다. 대상에는 공개 가중치와 비공개 모델이 함께 포함됐다. 질문은 오래된 결과가 언제나 틀렸는지가 아니라, 같은 시험에서 관찰된 효과가 얼마나 남아 있는지였다.

44%라는 숫자가 뜻하는 것

연구진은 2026년 9월 말의 추정 효과가 원래 연구 효과의 20% 이하로 줄어든 경우를 ‘만료’로 분류했다. 이 기준에서 50건 중 22건, 즉 44%가 만료로 분류됐다. 17건은 약화, 8건은 유지, 3건은 강화로 분류됐다. 이는 모델 출시 시점에 따른 추세를 추정한 결과다. 특정 실패가 모든 모델에서 사라졌다는 뜻은 아니다.

만료된 22건만 놓고 보면 논문 공개부터 추정 만료까지 평균 15.7개월, 중앙값 14.7개월이었다. 아직 만료되지 않은 결과는 이 평균에 포함되지 않는다. 따라서 15.7개월을 모든 LLM 연구의 평균 수명으로 해석해서는 안 된다. 추정 시점에도 불확실성이 있으며 원래 실험과 논문 공개 사이의 시간도 빠져 있다.

같은 시험에서도 모델별 결과는 다르다

가짜 참고문헌 생성은 차이를 보여주는 사례다. 연구진은 기존 문헌 검토 프롬프트를 42개 주제에 적용하고 인용된 문헌을 서지 데이터베이스와 대조했다. 연구진의 시험에서 Qwen3.7-Flash는 참고문헌의 69%를 만들어냈지만, Claude Sonnet 5.5는 약 1%, GPT-6.1 Sol은 0%였다. 이 결과는 존재하지 않는 저작물의 비율이며 실제 논문의 서지 정보를 잘못 적은 오류는 별도다. 특정 모델의 이 시험 결과를 모든 주제나 사용 방식의 정확도로 확대할 수 없다.

연구진은 사용자 선호에 맞춘 칭찬이나 모델 평가자의 자기 선호처럼 유지되거나 강해진 효과도 보고했다. 반대로 기본 프롬프트 인젝션과 법률 관련 환각은 약화된 사례에 포함됐다. 약화는 위험이 없어졌다는 판정이 아니다.

개발팀이 평가에 반영할 점

모델이나 버전을 바꿀 때는 과거에 발견한 실패 사례를 회귀 테스트에 남겨두고, 새 모델에서 같은 입력과 판정 기준으로 다시 측정해 볼 만하다. 성공률만 비교하지 말고 거절, 답변 추출 실패, 응답 형식 변화도 따로 기록해야 결과를 해석할 수 있다. 특히 출처 생성이나 보안 관련 작업은 실제 서비스의 입력과 도구 환경에서 별도로 시험해야 한다.

이번 연구는 각 주장에 최소한의 실험 설계를 적용했고, 사용이 중단된 원래 모델이나 평가자를 대체한 경우도 있다. 초기 모델 출시 구간의 관측 수도 적다. 수치는 연구진이 보고한 결과이며 독립 재현을 확인하지 못했다. 오래된 연구를 일괄 폐기하기보다, 적용하려는 모델과 작업에서 다시 확인하라는 근거로 읽는 편이 적절하다.

출처: Stanford 연구진, The shelf life of LLM findings (2026년 11월 2일).