Factory Settings 연구: 모델의 자기소개로 학습 출처를 판단하기 어려운 이유

모델이 자기 개발사를 잘못 말해도 그 응답만으로 학습 데이터의 출처를 판단하기는 어렵다. J Ansell은 2026년 11월 11일 공개한 사전 논문 Factory Settings에서 OLMo 3 7B의 자기소개를 조사했다. Ai2 공식 발표에서도 OLMo 3의 개발사와 학습 단계별 공개 자료를 확인할 수 있다.

시스템 프롬프트 유무가 바꾼 응답

저자의 실험에서 대화 후학습 전 모델은 영어 자기소개 응답 84개 중 52개(62%)에서 OpenAI를 개발사로 꼽았다. 최종 Instruct 모델에서는 65개(77%)였다. 저자는 답변에서 처음 자기 개발사로 지목한 기관을 집계했다. 이 수치는 모든 질문이나 모든 언어의 오류율이 아니다.

저자는 가상의 정체성을 담은 예시 24개를 추가하는 실험도 했다. 정체성을 알려주는 시스템 프롬프트 없이 학습한 경우 영어 응답 84개 중 77개(92%)에서 새 개발사 이름을 답했다. 같은 예시 앞에 정체성을 명시한 시스템 프롬프트를 붙여 학습하면 그 프롬프트를 뺀 평가에서는 새 이름을 답한 사례가 0개였다.

작은 실험에서 확인한 범위

수치는 저자의 자체 실험 결과이며 독립 재현을 확인하지 못했다. 대부분의 학습 실험은 한 번만 실행했고 일부 재실행에서는 수치가 달라졌다. 추적의 중심은 OLMo 3이며 다른 모델 전체로 일반화할 수 없다. 저자가 공개한 검토 절차는 AI 검토다. 학술지 동료심사를 통과한 연구로 볼 근거는 확인하지 못했다.

서비스에서 확인할 항목

개발팀은 모델의 자기소개와 배포 기록을 따로 확인하는 편이 좋다. 실제 모델은 공급자 문서와 체크포인트 식별자로 확인하고 자기소개 응답은 서비스의 동작 검사 항목으로 다룰 수 있다. 같은 질문을 여러 언어로 바꿔 보고 시스템 프롬프트를 넣거나 뺐을 때 답이 어떻게 달라지는지도 기록하자. 이는 이 연구를 서비스 점검에 적용하기 위한 제안이다.