OpenAI avslöjade sin GPTBot tidigare denna månad, och sedan dess har internets största webbplatser i allt högre grad börjat blockera webbskrapan från att få tillgång till deras webbplatser.
AI-innehållsdetektor, Originalitet.aihar hållit koll på de 1.000 största webbplatserna för att se vilka av dem som har blockerat webbskrapare som GPTBot.
Att blockera GPTBot från att skrapa en webbplats görs enkelt genom att lägga till två rader i webbplatsens robots.txt-fil. Och fler och fler webbplatser börjar göra just det.
Siffrorna i Originality.ai-rapporten visar att för en vecka sedan blockerade 91 webbplatser GPTBot. Drygt en vecka senare har den siffran stigit till 111, en ökning med 22%
En ökning med 20 webbplatser låter inte så mycket, men när man tänker på den mängd data som dessa webbplatser har och fortsätter att producera är det betydande. De 5 bästa webbplatserna som nu blockerar GPTBot är:
Amazon.com
quora.com
verkligen.com
nytimes.com
shutterstock.com
Mängden data som har blivit otillgänglig för OpenAI att använda för att träna sina modeller från bara dessa fem webbplatser är betydande.
Om man tittar på den kompletta listan med 1.000 webbplatser Det är intressant att notera vilka som har blockerat GPTBot och vilka som har beslutat att inte göra det för tillfället.
Medan Shutterstock har blockerat GPTBot, har andra stockfotograferingssidor som iStock inte gjort det. När det gäller stockfotografering måste man undra om inte just den AI-skrapande hästen redan har stuckit för en tid sedan.
Det är mer logiskt att nyhetsföretag som The New York Times och CNN har blockerat boten. Men andra toppnyhetssajter som Forbes och The Guardian har hittills valt att inte blockera skrapan.
OpenAI har sagt att tillåta GPTBot att skrapa webbplatser "kan hjälpa AI-modeller att bli mer exakta och förbättra deras allmänna kapacitet och säkerhet." Företaget sa också att dess bot inte kikar bakom betalväggar eller tittar på webbplatser som samlar in personlig information.
Det kan vara så att webbplatser som YouTube, X och BBC tar OpenAI på orden och ser det potentiella värdet i att låta AI-botar använda deras data på ett ansvarsfullt sätt. Om de bestämmer sig för att använda ChatGPT i sin verksamhet vill de att det ska fungera så bra som möjligt.
Dessa företag kanske också inser den potentiella trafik som de skulle kunna gå miste om om de blockerar den största AI-skrapan. Föreställ dig vad som skulle hända med deras trafik om webbplatser bestämde sig för att blockera Googles bot av princip.
Det är också intressant att notera att ingen av webbplatserna på listan har blockerat Anthropics bot. Känner branschen i allmänhet att OpenAI kommer att behandla sina data annorlunda än Anthropic kommer att göra?
Man skulle kunna tro att om ett företag fattade ett beslut om att blockera AI-skrapor skulle det blockera dem alla, och inte bara en.
OpenAI är involverat i några banbrytande AI-upphovsrättsstämningar som potentiellt kan göra en stor skillnad för den här listan. Det kommer att bli intressant att se vilka stora webbplatser som bestämmer sig för att blockera boten och även om vi ser några ändra sitt beslut att göra det.
