애너클리틱, 오픈AI, 구글, 마이크로소프트, 출판사의 콘텐츠 스크래핑 거부 신호 통합 지원

애너클리틱, 오픈AI, 구글, 마이크로소프트가 출판사가 AI 모델 훈련용 콘텐츠 스크래핑을 거부할 수 있도록 공통된 로봇스.txt 신호를 지원하기로 발표했다. 기존에는 각 기업의 크롤러를 개별 차단해야 했지만, 이제는 한 번의 설정으로 여러 기업에 동일한 거부 의사를 전달할 수 있게 된다. 이는 언론사와 웹사이트 운영자가 콘텐츠 사용 방침을 일관되게 관리할 수 있도록 하는 중요한 진전이다. 특히 메타도 이 신호를 지지하며, 최근 논란이 된 상업적 스크래핑 조건의 시행을 연기한 바 있다. 미디어 기업은 콘텐츠 소유권과 사용 권한을 보다 효과적으로 관리할 수 있는 기반을 마련하게 됐다.