Empat pengembang model kecerdasan buatan terbesar di dunia—OpenAI, Google, Microsoft, dan Anthropic—resmi menyepakati adopsi standar terpadu baru yang memungkinkan penerbit dan pemilik situs web membatasi pengambilan konten (scraping) secara lintas platform. Standar berupa sinyal policy token bersama ini dirancang di bawah naungan Internet Engineering Task Force (IETF) guna mempermudah pengelola situs menentukan izin pelatihan model AI tanpa harus menyetel konfigurasi khusus untuk puluhan robot crawler yang berbeda.
Inisiatif standarisasi ini dipimpin oleh Kevin Kelley, Technical Lead for Standards di Anthropic, melalui pengajuan protokol IETF. Mekanisme kontrol baru tersebut akan disematkan langsung di dalam berkas standar robots.txt pada root domain situs web. Selama ini, penerbit yang ingin membatasi kontennya dari pelatihan AI terpaksa menambahkan direktif terpisah untuk setiap bot pengumpul data, seperti GPTBot, Google-Extended, ClaudeBot, dan Bingbot. Dengan policy token terpadu, penyedia AI yang telah mengadopsi protokol ini wajib secara otomatis menghormati instruksi penolakan scraping begitu token tersebut terdeteksi di server web.
Integrasi standar baru ini juga dirancang untuk memisahkan preferensi pelatihan model (AI training) dengan pengutipan referensi (AI grounding atau pencarian generatif). Microsoft dan Google menegaskan bahwa pengelola situs tetap dapat memilih untuk menolak pemanfaatan artikel mereka sebagai data pelatihan bobot model tanpa mengorbankan keterlihatan (visibilitas) tautan di hasil mesin pencari reguler Bing maupun Google Search. Fleksibilitas ini menjadi krusial di tengah kekhawatiran penerbit media global yang selama ini terancam kehilangan trafik rujukan web jika memblokir penuh crawler mesin pencari.
Meta turut menyuarakan dukungannya terhadap pembentukan sinyal preferensi bersama ini melalui pernyataan resmi Communication Head Andy Stone, seraya menyatakan komitmennya untuk berkolaborasi dalam implementasi industri. Terkait jadwal penerapan, Anthropic telah mulai memberlakukan pembacaan sinyal ini pada infrastrukturnya, sementara OpenAI menjadwalkan peluncuran dalam beberapa bulan ke depan. Google dan Microsoft menargetkan integrasi penuh ke dalam sistem crawler dan pipeline pelatihan model masing-masing pada paruh pertama tahun 2027.