Động thái này diễn ra trong bối cảnh các nhà xuất bản tin tức ngày càng phản ứng gay gắt và mở nhiều cuộc chiến pháp lý chống lại việc thu thập dữ liệu trái phép. Hiện tại, họ đang phải thiết lập nhiều lệnh chặn riêng biệt cho từng con bot quét dữ liệu trên mạng.
Tuy nhiên, giải pháp chuẩn hóa mới được đề xuất sẽ cho phép các tổ chức báo chí chỉ cần nhập một chỉ dẫn duy nhất trong tệp robots.txt để tất cả các công ty AI áp dụng giao thức này công nhận và tuân thủ.
Mặc dù vậy, giải pháp này sẽ cần vài tháng nữa mới có thể đi vào hoạt động hoàn toàn. Microsoft sẽ bắt đầu triển khai từ ngày 1/2/2027, trong khi Google dự kiến thực hiện trong năm 2027. OpenAI cho biết sẽ đưa tính năng này ra mắt "trong những tháng tới", còn Anthropic khẳng định hãng "đã bắt đầu" quá trình triển khai.
Tín hiệu kiểm soát chung này ban đầu do ông Kevin Kelly, trưởng bộ phận kỹ thuật về tiêu chuẩn của Anthropic, đề xuất trong nhóm làm việc AIPREF thuộc Lực lượng Đặc nhiệm Kỹ thuật Internet (IETF).
Đánh giá về cơ chế mới, đại diện John Mueller từ Google nhấn mạnh: "Thay vì phải quản lý các hướng dẫn riêng biệt cho từng nhà phát triển AI, chủ sở hữu trang web sẽ có thể sử dụng một 'mã chính sách' (policy token) chung trong tệp robots.txt để thiết lập các ưu tiên diện rộng áp dụng cho các nhà cung cấp AI tham gia".
Thông báo trên được đưa ra khi ngành xuất bản đối mặt với làn sóng bùng nổ các bot thu thập bài viết để nạp dữ liệu cho mô hình AI. Vào tháng 12/2023, tờ The New York Times đã đệ đơn kiện OpenAI và Microsoft tại Mỹ vì tự ý sử dụng hàng triệu bài báo mà không xin phép hay trả phí để huấn luyện ChatGPT, trong khi hai công ty công nghệ này viện dẫn nguyên tắc sử dụng hợp lý (fair use) theo luật bản quyền.
Song song với đó, nhà cung cấp hạ tầng internet Cloudflare đã chủ động chặn các bot AI theo mặc định trên các trang web khách hàng mới từ tháng 7/2025, đồng thời tiêu chuẩn Really Simple Licensing cũng đã cho phép các nhà xuất bản thu phí những bot truy cập trang của họ.
Theo Microsoft, thiết lập mới này chỉ áp dụng cho việc huấn luyện mô hình trong tương lai chứ không ngăn cản các bot truy cập trang web vì mục đích khác, và việc thu thập nội dung vẫn được cho phép theo mặc định cho tới khi nhà xuất bản thay đổi cài đặt. Cả Microsoft và Google cùng lưu ý rằng việc từ chối huấn luyện AI có thể làm giảm khả năng nội dung của nhà xuất bản xuất hiện trong các ứng dụng và trải nghiệm AI.