Nei, Cloudflare blokkerer ikke Googlebot som standard. Men fra 15. september 2026 gjør ett valg i innstillingene for AI-roboter noe mange ikke regner med: “Block” stopper Googlebot ved inngangen, søkemotoren inkludert, og ikke bare AI-treningen. Står WordPress-siden din bak Cloudflare, og noen har “slått av AI” de siste ukene, bør du sjekke det i dag.
- oktober 2026 dukket det opp en setning fra et innlegg på X i dagsoppsummeringen på Search Engine Roundtable: “Cloudflare switched to blocking Google by default on 9/15” (Search Engine Roundtable, 7. oktober 2026). Selve innlegget på X lot seg ikke åpne uten innlogging, så nedenfor bygger jeg bare på kilder fra Cloudflare. Alle sitatene er kontrollert 8. oktober 2026.
Hva endret Cloudflare 15. september 2026
Før fantes det én bryter, “Block AI bots”. Nå er det tre kategorier, og hver har sin egen innstilling. Cloudflare definerer dem slik:
- Search: “crawling to build a search index.”
- Training: “crawling to train or fine-tune a model.”
- Agent: “user-directed agents visiting a page on behalf of a human, such as chat fetch bots and browser-use agents.”
Kilde for definisjonene: Cloudflare Blog, 15. september 2026.
Du kan velge mellom fire alternativer: Allow, Disallow AI Training, Block on pages with ads og Block. Disallow AI Training finnes bare i kategorien Training. Cloudflare oppgir at de nye innstillingene er tilgjengelige “to all customers, on all plans”, altså også på gratisplanen.
Hvorfor stopper Block Googlebot
Fordi Googlebot er en blandet crawler. Cloudflare bruker det begrepet om en robot som håndterer både søk og trening med én og samme user agent:
“A mixed-use crawler is a single crawler doing both Search and Training.”
Cloudflare nevner tre slike crawlere: Applebot, Bingbot og Googlebot. Siden det ikke går an å stoppe bare “den delen av Googlebot som trener”, rammer blokkeringen hele roboten. Cloudflare skriver det rett ut:
“It will stop Applebot, Bingbot, and Googlebot from reaching your site […] search included.”
Det samme gjelder Block on pages with ads, bare i mindre omfang: Ifølge Cloudflare blokkeres crawlere, også de blandede, da på sider der det er oppdaget annonser. For en WordPress-blogg med AdSense kan det bety at Google slutter å se nettopp de innleggene som tjener penger.
Det trygge valget for søkemotoren er Disallow AI Training. Det publiserer bare en preferanse i robots.txt, og Cloudflare understreker at Googlebot “can keep crawling your site for search”. Å reservere seg mot at Google trener modeller på innholdet ditt styres av et eget token, Google-Extended, som jeg har skrevet om i innlegget om Googles tre AI-brytere.
Hva skjedde med den gamle bryteren Block AI bots
Cloudflare fjerner den og flytter eksisterende soner over til de nye innstillingene. Migreringstabellen i blogginnlegget ser slik ut:
| Gammel “Block AI” | Search | Training | Agent |
|---|---|---|---|
| Av | Allow | Allow | Allow |
| Block | Allow | Disallow AI Training | Block on pages with ads |
| Block on pages with ads | Allow | Disallow AI Training | Block on pages with ads |
Ifølge denne tabellen har ingen som brukte den gamle bryteren, fått Googlebot blokkert automatisk. Search går alltid over til Allow, og Training til Disallow AI Training, altså varianten som bygger på robots.txt.
Nye domener, lagt til fra 15. september, får ved oppsett ett av to ferdige oppsett. Nettsted uten annonser: alt på Allow. Nettsted med annonser: Search Allow, Training Disallow AI Training, Agent Block on pages with ads. I begge oppsettene er Preference Sync slått på, som ifølge Cloudflare “publishes the applicable no-training preference in robots.txt” og erstatter den tidligere Managed Robots.txt.
Cloudflare-bloggen og dokumentasjonen sier ikke det samme
Dokumentasjonssiden om blokkering av AI-roboter inneholder en setning som ikke stemmer med tabellen:
“Mixed-purpose crawlers that combine Search and Training will also be blocked by all configurations to block AI training”
Tar man den bokstavelig, blokkerer enhver konfigurasjon som stopper trening, den gamle bryteren inkludert, også Googlebot. Migreringstabellen sier det motsatte. Hvilken versjon som beskriver hva Cloudflares servere faktisk gjør med trafikken din, avgjøres bare av din egen sone og dine egne logger, ikke av noen av disse to tekstene.
Dokumentasjonen oppgir også at den gamle bryteren er “Deprecating on September 15, 2026”, og at for nye domener “Search will remain allowed”. Verken innlegget eller dokumentasjonen nevner Cloudflare Pages.
Hvordan sjekke om Googlebot kommer inn på WordPress-siden din
Tre steg, rundt tre minutter, hvis du har tilgang til Search Console og Cloudflare-kontoen.
- URL-inspeksjon i Search Console. Lim inn adressen til forsiden og kjør en live-test. Du ser etter en vellykket henting av siden og en siste gjennomsøking etter 15. september. Gjenta for ett innlegg med annonse, hvis du viser annonser, for det er der Block on pages with ads virker.
- Gjennomsøkingsstatistikk. Åpne gjennomsøkingsstatistikken under innstillingene i Search Console og se på fordelingen etter svar. En brå økning i 403-svar fra midten av september er et tegn på at noe i kanten stopper Googlebot.
- Soneinnstillingene i Cloudflare. Cloudflare skriver at de nye kontrollene “can be configured at the domain (zone) Security Settings”. Sjekk hva som er valgt under Search, Training og Agent. Ser du Block under Training eller Search, og vil bli værende i Google, endrer du det til Disallow AI Training eller Allow.
Ta samtidig en titt på robots.txt. Er Preference Sync aktiv, legger Cloudflare inn sin preferanse der. På WordPress lages robots.txt ofte også av en SEO-utvidelse, så sjekk den ferdige filen på adressen /robots.txt, ikke bare innstillingene i utvidelsen. Vår egen Content-Signal-linje viser hvor lett robots.txt glir bort fra det vi tror står der.
Hvilken innstilling bør en bedriftsside på WordPress ha
For et nettsted som lever av søk fra Google, ser et fornuftig oppsett slik ut:
| Kategori | Innstilling | Hvorfor |
|---|---|---|
| Search | Allow | Dette er trafikken fra søkemotoren du vil ha |
| Training | Allow eller Disallow AI Training | Disallow AI Training uttrykker et nei via robots.txt uten å blokkere Googlebot |
| Agent | Allow | AI-agenter besøker siden på vegne av et bestemt menneske, ofte en mulig kunde |
Spar Block til situasjoner der du virkelig vil forsvinne fra søkemotorene, for eksempel et testmiljø eller et administrasjonspanel som ikke skal indekseres. Til det fungerer noindex og passordbeskyttelse uansett bedre.
Vil du heller at innholdet ikke havner i AI-svar, er det en egen beslutning. Den har egne verktøy hos Google, og jeg tar dem for meg innenfor GEO- og LLMO-optimalisering. En blokkering i kanten hos Cloudflare er ikke laget for det, for den kutter søkemotoren sammen med AI.
Slik ser det ut på wppoland.com
wppoland.com står på Cloudflare, så jeg testet dette på oss selv 8. oktober 2026. Cloudflares API returnerer for vår sone ai_training, ai_search og ai_user med verdien disabled, og den gamle bryteren ai_bots_protection står også på disabled. Ingen blokkering av AI-roboter er slått på.
Search Console bekrefter det fra den andre siden: URL-inspeksjon for /pl/ viser siste gjennomsøking 8. oktober 2026 kl. 12:12, vellykket henting av siden og en robots.txt som tillater tilgang. Det er én sone med én innstilling, og hele problemet er nettopp at innstillingene varierer fra sone til sone.
Sjekkliste
- Kjør en live-test i Search Console for forsiden og ett innlegg med annonse.
- Gå gjennom gjennomsøkingsstatistikken og se etter 403-svar fra 15. september 2026.
- Åpne Security Settings for sonen i Cloudflare og sjekk Search, Training og Agent.
- Ikke bruk Block hvis du vil bli værende i Google. For å si nei til trening finnes Disallow AI Training.
- Sjekk den ferdige filen
/robots.txt, for både Cloudflare og SEO-utvidelsen skriver til den. - Ble domenet ditt lagt til i Cloudflare etter 15. september, sjekker du hvilket standardoppsett som ble valgt ved oppsett.
