OpenAI·Google, AI 학습 거부 공통 신호 추진…robots.txt 어떻게 달라지나

공통 신호가 등장한 이유

웹사이트 운영자가 생성형 AI 학습을 원하지 않을 때는 그동안 AI 사업자별 크롤러 이름과 제어 정책을 각각 확인해야 했다. OpenAI는 10월 30일 여러 참여 사업자에 같은 학습 선호를 전달할 공통 신호를 지원하겠다고 발표했다. Google 역시 같은 날 공통 정책 토큰의 도입 계획을 알렸다. 이번 발표의 요지는 ‘한 번의 정책 표시로 여러 제공업체에 뜻을 전하기 쉽게 하자’는 것이지 웹의 모든 AI 수집이 즉시 중단된다는 뜻은 아니다.

특히 사업자마다 발표한 도입 시점이 다르다. OpenAI는 향후 몇 달 내 구현을 목표로 제시했고, Google은 2027년 지원 계획을 밝혔다. 운영자는 ‘도입에 동의한 업체’와 ‘이미 동작하는 설정’을 구별해야 한다. [S01][S02]

제안된 robots.txt 문법과 의미

2026년 10월 30일 공개된 기술 초안은 새로운 robots.txt 지시어를 추가하는 대신 기존 User-Agent, Disallow, Allow 구조를 활용한다. 달라지는 핵심은 AI 학습 용도를 표시하는 정책 토큰 __usage_ai-training이다. 초안의 예시는 아래와 같다. [S03]

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

위 규칙은 사이트 전체에 대해 생성형 AI 학습을 원치 않는다는 선호를 표현하고, /press-kit/ 경로는 예외로 허용하려는 사례다. 일반 크롤러 차단 설정과 유사하게 보이지만 토큰의 목적은 콘텐츠의 생성형 AI 학습 이용에 대한 선호다. 현재 실제 효력과 준수 여부는 각 제공업체 구현에 달려 있다. 또한 이 문서는 IETF 개별 Internet-Draft이므로 확정 RFC나 강제 규칙으로 소개해서는 안 된다. [S03][S04]

기존 GPTBot·Google-Extended 설정은 어떻게 되나

OpenAI는 공통 신호를 도입해도 기존의 robots.txt 개별 크롤러 제어를 유지·존중하겠다고 밝혔다. 따라서 운영자가 이미 특정 OpenAI 크롤러에 적용한 규칙을 성급히 삭제할 근거는 없다. [S01]

Google은 보다 구체적인 미래 해석 방식을 제시했다. 새 공통 토큰으로 AI 학습을 거부하면서 Google-Extended를 별도로 지정하지 않은 경우, 앞으로는 Google-Extended를 거부한 것처럼 처리할 계획이다. 반대로 Google-Extended를 명시적으로 설정한 사이트에서는 별도 제어 선택을 할 수 있다는 설명이다. 이는 Google의 계획이며 모든 AI 업체에 공통으로 적용되는 확정 규칙은 아니다. [S02]

Google은 Google-Extended를 명시적으로 허용하는 사이트가 Gemini Apps에서 근거 자료로 사용되고 관련 클릭을 받을 수 있는 대상이 될 수 있다고 설명했다. 학습 거부와 AI 제품 내 콘텐츠 노출을 각각 관리하려는 운영자라면 이 구분이 중요하다. [S02]

2026년 10월 31일 현재 주의해야 할 오해

첫째, 제안 발표와 배포 완료는 다르다. OpenAI와 Google 모두 향후 지원을 언급하고 있어 오늘 모든 회사가 공통 토큰을 실제로 처리한다고 보장할 수 없다.

둘째, AI 학습 거부와 모든 크롤링 거부는 다르다. 해당 초안은 생성형 AI 모델의 학습 용도를 정의하고 선호를 표현하는 데 초점을 둔다. 검색 엔진의 색인, 인용, 분석, 서비스 운영을 위한 접근 등 모든 유형의 데이터 이용을 자동으로 포괄한다고 단정해서는 안 된다. [S03]

셋째, robots.txt에 신호를 썼다고 과거에 사용된 학습 데이터가 자동 삭제되는 것은 아니다. 확인한 공식 문서는 그런 보장을 제공하지 않는다. 저작권·계약 및 법적 권리 행사의 문제와 기술적 선호 표시 역시 별도로 판단해야 한다.

넷째, IETF가 최종 표준으로 채택했다고 보기 어렵다. 공개 상태 페이지는 이 문서를 개별 Internet-Draft로 표시한다. 합의·승인·보급 과정은 앞으로의 과제다. [S04]

사이트 운영자에게 필요한 실무 대응

지금 할 일은 새로운 토큰만 급히 붙이는 것이 아니라 현재 운영 목적을 정리하는 것이다. 콘텐츠를 AI 학습에 제공할지, 검색엔진에 노출할지, AI 답변의 근거로 인용되는 것을 허용할지부터 구분한다. 그 다음 실제 사용 중인 robots.txt를 백업하고, 기존 사업자별 제어의 적용 범위와 해당 사업자의 최신 안내를 비교한다.

공통 토큰을 시험 적용할 경우에는 원하는 경로별 정책을 먼저 문서화하고, 특히 일부 URL만 허용하려는 예외가 의도대로 작성됐는지 점검한다. 기존 업체별 정책과 상충 가능성이 있다면 새 규칙의 도입 여부와 배포 시점을 따로 검토한다. 마지막으로 OpenAI·Google의 구현 공지가 나올 때 설정을 재검토할 운영 일정을 마련한다. 이는 공식 업체가 의무화한 체크리스트가 아니라 발표 내용에 기반한 편집상 실무 권고다.

요컨대 공통 신호는 사이트 운영자의 정책 표명을 단순화하려는 중요한 시작점이지만, 2026년 10월 31일 기준으로는 미래 지원 계획과 초안이라는 조건을 함께 읽어야 한다.

이 확인사항은 운영 실무를 돕기 위한 편집상 점검표이며, 공식 기관의 의무 설정 지침은 아니다.

현재 robots.txt와 사업자별 개별 제어 규칙을 백업한다.
학습 거부·검색 노출·AI 답변 인용 중 어떤 목적을 관리할지 구분한다.
__usage_ai-training은 2026년 10월 31일 기준 초안의 정책 토큰이며, 추가했다고 모든 제공업체에 즉시 적용되는 것은 아님을 확인한다.
경로별 Allow·Disallow 예시가 실제 사이트 정책과 맞는지 검토하고, 시험 적용 결과를 기록한다.
OpenAI의 구현 공지 및 Google의 2027년 지원 진행 상황을 확인하기 전까지 기존 제어를 임의로 삭제하지 않는다.