OpenAI가 예고한 robots.txt AI 학습 선호 신호: 사이트 운영자가 알아둘 점

OpenAI가 웹사이트 운영자의 AI 학습 선호를 전달하는 공통 신호를 지원하겠다고 10월 30일 발표했다. 운영자는 앞으로 robots.txt에 하나의 규칙을 적어 참여하는 여러 AI 제공자에게 같은 선호를 전달할 수 있게 된다. 다만 OpenAI의 적용 목표는 앞으로 수개월 이내다. 발표일 현재 이미 적용됐다는 뜻은 아니다.

제안된 규칙은 어떻게 생겼나

관련 Internet-Draft는 기존 robots.txt 문법을 활용해 __usage_ai-training이라는 정책 토큰을 제안한다. 초안의 예시에서 이 토큰에 Disallow: /를 지정하면 전체 경로에 대해 AI 학습에 반대하는 선호를 표현한다. 별도 Allow 규칙으로 특정 경로를 예외로 둘 수도 있다.

이 문서는 2026년 10월 30일 갱신된 개인 Internet-Draft다. IETF가 승인한 최종 표준이 아니며 내용은 바뀔 수 있다. 운영 환경에 반영하기 전에는 초안과 각 제공자의 실제 구현 문서를 다시 확인하는 편이 좋다.

크롤링 차단과 학습 선호는 다르다

초안은 이 정책 토큰을 크롤러의 접근 지시가 아닌 콘텐츠 이용 선호로 정의한다. 학습에 반대한다는 신호를 보냈다고 해서 모든 크롤링이 자동으로 차단되는 것은 아니다. 접근을 제한하려면 해당 크롤러의 User-Agent 규칙도 별도로 살펴야 한다.

OpenAI의 발표에 따르면 새 신호는 기존 robots.txt 제어를 대체하지 않는다. OpenAI는 기존 크롤러 제어도 계속 적용하겠다고 밝혔다. 이미 운영 중인 규칙을 성급하게 지우기보다 OpenAI 크롤러 문서와 배포 설정을 함께 점검할 필요가 있다.

사이트 운영자가 지금 확인할 것

현재 robots.txt가 공개 경로에서 정상적으로 제공되는지, 서비스별 크롤러 규칙은 어떤 목적에 맞춰져 있는지 먼저 확인해 두자. 공통 신호를 도입할 때는 전체 사이트와 예외 경로에 적용할 선호를 정리하고, 서비스별 지원 일정과 우선순위가 공개되면 그에 맞춰 검토할 수 있다.

이 방식은 참여 제공자가 선호를 읽고 존중한다는 약속에 기대는 신호다. 초안은 접근 제어 수단이나 모든 이용을 막는 기술적 장치라고 설명하지 않는다. OpenAI가 구체적인 구현 내용을 추후 공개하겠다고 한 만큼 적용 여부와 시점은 후속 발표로 확인해야 한다.