Cloudflare sætter foden ned: AI skal betale for at crawle dit indhold

Som én der arbejder med SEO, affiliate og content marketing hver dag, er det her en nyhed, jeg har ventet længe på.

Cloudflare har netop ændret spillereglerne for, hvordan AI-crawlere må (og ikke må) hente indhold på internettet, kilde: https://www.cloudflare.com/press-releases/2025/cloudflare-just-changed-how-ai-crawlers-scrape-the-internet-at-large/

Og det har store konsekvenser for os, der skaber content og lever af det.

Hvad har de gjort?

• Som standard blokeres AI-crawlere på nye domæner.: Det gælder fx bots fra OpenAI, Anthropic og Google Gemini – medmindre du aktivt giver lov.
• De har lanceret “Pay Per Crawl” - et system, hvor du som ejer af et website kan kræve betaling fra AI-firmaer, hvis de vil bruge dit indhold til træning.
• Uautoriserede crawlere bliver sendt i “AI-labyrint.”: Ja, du læste rigtigt – de bliver omdirigeret til støj og dummy-data.

Det her er ikke bare en teknisk opdatering.

Det er et statement.

Hvorfor er det vigtigt?

Fordi AI har crawlet internettet i vildskab de sidste par år. ChatGPT, Claude, Perplexity og andre har fodret deres modeller med vores tekster – uden at linke tilbage, uden kredit, uden betaling.

Cloudflare melder nu ud, at der ikke længere er gratis buffet.

Og det er tiltrængt.

For mens søgemaskiner som Google sender trafik tilbage (6 besøgende pr. crawl ifølge Cloudflare), så er AI helt nede på 1 besøg pr. 1500 crawl. Det holder jo ikke – især ikke for os, der lever af trafik og konvertering.

Hvad betyder det for dig?

Hvis du har en hjemmeside bag Cloudflare (hvis du ikke har, burde du overveje det - de har et gratis plan), så bliver dit site nu automatisk beskyttet mod AI-scraping.

Medmindre du selv tillader det.

Du kan også vælge at deltage i “Pay Per Crawl” og på sigt tjene penge på AI’s brug af dit indhold.

Det her er særligt relevant for:

• Webshops med egne produktbeskrivelser
• Affiliate-sider med unikke guides og sammenligninger
• Bloggere og fagpersoner, der skriver originalt indhold
• SEO-bureauer og content creators

Kort sagt: dig og mig.

Min vurdering

Jeg ser det her som starten på en ny bølge i content-verdenen.

Ligesom GDPR tvang techgiganter til at forholde sig til dataetik, tvinger det her AI-virksomheder til at forholde sig til content-etik.

Det er ikke længere nok at sige “vi trænede på open web.” Fremover skal man spørge, og i nogle tilfælde – betale.

Hvad tænker du?

Er det her et skridt i den rigtige retning? Eller bliver det bare endnu en teknisk barriere for små iværksættere?