Nein, Cloudflare blockiert den Googlebot nicht standardmäßig. Seit dem 15. September 2026 macht eine Option in den KI-Bot-Einstellungen allerdings etwas, womit viele nicht rechnen: “Block” hält den Googlebot schon am Eingang auf, und zwar samt Suche, nicht nur beim KI-Training. Wenn Ihre WordPress-Website hinter Cloudflare läuft und in den letzten Wochen jemand “die KI abgeschaltet” hat, sollten Sie das heute prüfen.
Am 7. Oktober 2026 tauchte in der Tageszusammenfassung von Search Engine Roundtable ein Satz aus einem Beitrag auf X auf: “Cloudflare switched to blocking Google by default on 9/15” (Search Engine Roundtable, 7. Oktober 2026). Der Beitrag auf X selbst ließ sich ohne Anmeldung nicht öffnen, deshalb stütze ich mich im Folgenden ausschließlich auf Quellen von Cloudflare. Alle Zitate habe ich am 8. Oktober 2026 geprüft.
Was hat Cloudflare am 15. September 2026 geändert
Bisher gab es einen einzigen Schalter “Block AI bots”. Jetzt gibt es drei Kategorien mit jeweils eigener Einstellung. Cloudflare definiert sie so:
- Search: “crawling to build a search index.”
- Training: “crawling to train or fine-tune a model.”
- Agent: “user-directed agents visiting a page on behalf of a human, such as chat fetch bots and browser-use agents.”
Quelle der Definitionen: Cloudflare Blog, 15. September 2026.
Zur Auswahl stehen vier Optionen: Allow, Disallow AI Training, Block on pages with ads und Block. Disallow AI Training gibt es nur in der Kategorie Training. Laut Cloudflare stehen die neuen Einstellungen “to all customers, on all plans” zur Verfügung, also auch im kostenlosen Tarif.
Warum blockiert die Option Block den Googlebot
Weil der Googlebot ein Mixed-Use-Crawler ist. So nennt Cloudflare einen Bot, der mit einem einzigen User Agent sowohl die Suche als auch das Training bedient:
“A mixed-use crawler is a single crawler doing both Search and Training.”
Cloudflare nennt drei solche Crawler: Applebot, Bingbot und Googlebot. Da sich nicht “nur der Teil des Googlebots, der trainiert” aufhalten lässt, trifft die Sperre den ganzen Bot. Cloudflare schreibt das ausdrücklich:
“It will stop Applebot, Bingbot, and Googlebot from reaching your site […] search included.”
Dasselbe gilt für die Option Block on pages with ads, nur in engerem Umfang: Laut Cloudflare werden Crawler, auch die Mixed-Use-Crawler, dann auf den Seiten blockiert, auf denen Werbung erkannt wurde. Für einen WordPress-Blog mit AdSense kann das bedeuten, dass Google genau die Beiträge nicht mehr sieht, die Geld einbringen.
Sicher für die Suche ist die Option Disallow AI Training. Sie veröffentlicht lediglich eine Präferenz in der robots.txt, und Cloudflare betont, dass der Googlebot “can keep crawling your site for search”. Den Verzicht auf das Training von Google-Modellen regelt das separate Token Google-Extended, das ich im Beitrag über die drei KI-Schalter bei Google beschrieben habe.
Was ist mit dem alten Schalter Block AI bots passiert
Cloudflare schafft ihn ab und stellt bestehende Zonen auf die neuen Einstellungen um. Die Migrationstabelle aus dem Blogbeitrag sieht so aus:
| Altes “Block AI” | Search | Training | Agent |
|---|---|---|---|
| Ausgeschaltet | Allow | Allow | Allow |
| Block | Allow | Disallow AI Training | Block on pages with ads |
| Block on pages with ads | Allow | Disallow AI Training | Block on pages with ads |
Laut dieser Tabelle hat niemand, der den alten Schalter genutzt hat, automatisch eine Googlebot-Sperre bekommen. Search wird immer zu Allow, Training zu Disallow AI Training, also zur Variante auf Basis der robots.txt.
Neue Domains, die seit dem 15. September hinzugefügt werden, erhalten bei der Einrichtung eines von zwei Sets. Website ohne Werbung: alles auf Allow. Website mit Werbung: Search Allow, Training Disallow AI Training, Agent Block on pages with ads. In beiden Sets ist Preference Sync aktiviert, das laut Cloudflare “publishes the applicable no-training preference in robots.txt” und das bisherige Managed Robots.txt ersetzt.
Cloudflare-Blog und Dokumentation widersprechen sich
Die Dokumentationsseite zum Blockieren von KI-Bots enthält einen Satz, der nicht zur Tabelle passt:
“Mixed-purpose crawlers that combine Search and Training will also be blocked by all configurations to block AI training”
Wörtlich genommen blockiert also jede Konfiguration, die das Training sperrt, einschließlich des alten Schalters, auch den Googlebot. Die Migrationstabelle sagt das Gegenteil. Welche Version beschreibt, was der Cloudflare-Server tatsächlich mit Ihrem Datenverkehr macht, entscheiden nur Ihre eigene Zone und Ihre eigenen Logs, keiner der beiden Texte.
Die Dokumentation gibt außerdem an, dass der alte Schalter “Deprecating on September 15, 2026” ist und dass für neue Domains “Search will remain allowed” gilt. Weder der Beitrag noch die Dokumentation erwähnen Cloudflare Pages.
Wie prüfe ich, ob der Googlebot meine WordPress-Website erreicht
Drei Schritte, etwa drei Minuten, wenn Sie Zugriff auf die Search Console und auf das Cloudflare-Konto haben.
- URL-Prüfung in der Search Console. Fügen Sie die Adresse der Startseite ein und klicken Sie auf “Live-URL testen”. Sie suchen einen erfolgreichen Seitenabruf und ein Datum des letzten Crawlings nach dem 15. September. Wiederholen Sie das für einen Beitrag mit Werbung, falls Sie Anzeigen schalten, denn dort greift die Variante Block on pages with ads.
- Crawling-Statistiken. Öffnen Sie in den Einstellungen der Search Console die Crawling-Statistiken und die Aufschlüsselung nach Antwort. Ein plötzlicher Anstieg von 403-Antworten seit Mitte September ist ein Signal, dass etwas am Netzwerkrand den Googlebot aufhält.
- Zoneneinstellungen in Cloudflare. Cloudflare schreibt, dass die neuen Steuerelemente “can be configured at the domain (zone) Security Settings”. Prüfen Sie, was bei Search, Training und Agent eingestellt ist. Wenn Sie bei Training oder Search Block sehen, aber in Google bleiben wollen, ändern Sie das auf Disallow AI Training oder Allow.
Werfen Sie dabei auch einen Blick in die robots.txt. Wenn Preference Sync aktiv ist, ergänzt Cloudflare dort seine Präferenz. Unter WordPress erzeugt oft zusätzlich ein SEO-Plugin die robots.txt, prüfen Sie also die fertige Datei unter /robots.txt und nicht nur die Plugin-Einstellungen. Unsere eigene Content-Signal-Zeile zeigt, wie leicht die robots.txt von dem abweicht, was man annimmt.
Welche Einstellung für eine WordPress-Firmenwebsite
Für eine Website, die von Anfragen aus Google lebt, sieht eine vernünftige Konfiguration so aus:
| Kategorie | Einstellung | Warum |
|---|---|---|
| Search | Allow | Das ist der Suchverkehr, den Sie wollen |
| Training | Allow oder Disallow AI Training | Disallow AI Training drückt den Widerspruch über die robots.txt aus, ohne den Googlebot zu blockieren |
| Agent | Allow | KI-Agenten besuchen die Website im Auftrag eines konkreten Menschen, oft eines potenziellen Kunden |
Block heben Sie sich für Fälle auf, in denen Sie wirklich aus den Suchmaschinen verschwinden wollen, etwa für ein Staging oder ein Panel, das nicht indexiert werden soll. Dafür eignen sich noindex und ein Passwortschutz ohnehin besser.
Wenn Sie lieber nicht möchten, dass Ihre Inhalte in KI-Antworten landen, ist das eine separate Entscheidung. Dafür gibt es bei Google eigene Werkzeuge, die ich im Rahmen der GEO- und LLMO-Optimierung bespreche. Eine Sperre am Netzwerkrand in Cloudflare ist dafür nicht gedacht, denn sie schneidet zusammen mit der KI auch die Suche ab.
Wie es auf wppoland.com aussieht
wppoland.com läuft auf Cloudflare, also habe ich es am 8. Oktober 2026 an der eigenen Website geprüft. Die Cloudflare-API liefert für unsere Zone ai_training, ai_search und ai_user mit dem Wert disabled, und auch der alte Schalter ai_bots_protection steht auf disabled. Keine KI-Bot-Sperre ist aktiv.
Die Search Console bestätigt das von der anderen Seite: Die URL-Prüfung für /pl/ zeigt das letzte Crawling am 8. Oktober 2026 um 12:12 Uhr, einen erfolgreichen Seitenabruf und eine robots.txt, die den Zugriff erlaubt. Das ist eine Zone mit einer Einstellung, und das ganze Problem besteht gerade darin, dass sich die Einstellungen von Zone zu Zone unterscheiden.
Checkliste
- Starten Sie in der Search Console den Live-Test für die Startseite und einen Beitrag mit Werbung.
- Durchsuchen Sie die Crawling-Statistiken nach 403-Antworten seit dem 15. September 2026.
- Öffnen Sie die Security Settings der Zone in Cloudflare und prüfen Sie Search, Training und Agent.
- Verwenden Sie Block nicht, wenn Sie in Google bleiben wollen. Für den Widerspruch gegen das Training ist Disallow AI Training da.
- Prüfen Sie die fertige Datei
/robots.txt, denn sowohl Cloudflare als auch das SEO-Plugin schreiben hinein. - Wenn Ihre Domain nach dem 15. September zu Cloudflare hinzugefügt wurde, prüfen Sie, welches Standardset bei der Einrichtung gewählt wurde.
