AI-Crawler & robots.txt: So steuern Schweizer KMU ClaudeBot & Co.

Die robots.txt-Datei der meisten Schweizer KMU-Websites wurde einmal erstellt und seither nie wieder angefasst. Das war lange kein Problem – bis KI-Crawler zu einer eigenen Kategorie von Website-Besuchern wurden, die weder Suchmaschine noch Mensch sind, aber beides gleichzeitig beeinflussen: die Sichtbarkeit in KI-Antworten und die Kontrolle über die eigenen Inhalte.

Zwei Fehler sind dabei gleich verbreitet. Der eine: Gar keine Regeln für KI-Crawler, wodurch jeder Bot alle Inhalte ungefragt für das Training fremder Modelle abgreifen kann. Der andere, neuere Fehler: Eine pauschale Blockierung "aller KI-Bots", die zwar das Trainings-Scraping stoppt, aber gleichzeitig verhindert, dass die eigene Website in Antworten von Claude, ChatGPT oder Gemini überhaupt zitiert werden kann. Beides ist unnötig, denn Anthropic, OpenAI und Google haben ihre Crawler längst in unterschiedliche Kategorien mit eigenen User-Agent-Kennungen aufgeteilt.

Ab dem 15. September 2026 verschärft sich die Lage zusätzlich: Cloudflare, das einen grossen Teil des Schweizer Web-Traffics abwickelt, blockiert für neu angebundene Domains Trainings- und Agenten-Crawler standardmässig. Wer jetzt nicht weiss, welche Regeln in der eigenen robots.txt stehen, überlässt diese Entscheidung dem Zufall – oder dem Hosting-Anbieter.

Drei Kategorien statt eines Bots

Der verbreitete Reflex "KI-Bots blockieren" stammt aus einer Zeit, in der es im Wesentlichen einen Bot pro Anbieter gab. Das ist vorbei. Die drei grössten Anbieter unterscheiden heute konsequent zwischen drei Funktionen:

Training: Sammelt Inhalte, um KI-Modelle zu trainieren oder weiterzuentwickeln. Beispiele: ClaudeBot (Anthropic), GPTBot (OpenAI), Google-Extended (Google, für Gemini und Vertex AI).

Search / Index: Durchsucht und indexiert Inhalte, um sie in KI-generierten Suchantworten zu zitieren – ähnlich wie ein klassischer Suchmaschinen-Crawler. Beispiele: Claude-SearchBot, OAI-SearchBot.

User / Agent: Ruft eine einzelne Seite in Echtzeit ab, weil ein Nutzer den KI-Assistenten aktiv danach gefragt hat. Beispiele: Claude-User, ChatGPT-User.

Diese Trennung ist keine Kosmetik. Wer ClaudeBot blockiert, verhindert nur, dass eigene Inhalte für das Training verwendet werden – Claude-SearchBot und Claude-User sind davon unberührt und können die Website weiterhin für Suchantworten und Live-Abfragen nutzen, sofern sie nicht separat gesperrt sind. Wer stattdessen pauschal "alles mit Claude im Namen" blockiert, verliert auch die Sichtbarkeit in Claude-Antworten.

Google geht denselben Weg: Google-Extended ist ein eigenständiger Product-Token, unabhängig vom klassischen Googlebot. Google bestätigt in der eigenen Dokumentation ausdrücklich, dass eine Sperrung von Google-Extended weder die Aufnahme in die Google-Suche noch das Ranking beeinflusst – es geht ausschliesslich um Trainings- und Grundierungsdaten für Gemini und Vertex AI.

Was sich am 15. September 2026 ändert

Cloudflare hat am 1. Juli 2026 angekündigt, wie KI-Traffic künftig standardmässig gehandhabt wird. Ab dem 15. September 2026 gilt für alle neu an Cloudflare angebundenen Domains sowie für neue Kunden und Free-Tier-Konten: Crawler der Kategorien Training und Agent werden auf Seiten mit Werbung standardmässig blockiert. Die Kategorie Search bleibt standardmässig erlaubt, weil sie – analog zu klassischen Suchmaschinen – Besucher potenziell zur Seite zurückführt.

Für bereits bestehende, angebundene Domains ändert sich zunächst nichts automatisch: Die aktuelle Konfiguration bleibt bestehen, bis sie aktiv angepasst wird. Wer eine neue Website aufsetzt oder zu Cloudflare wechselt, startet jedoch ab September mit den neuen, restriktiveren Standardwerten.

Der geschäftliche Hintergrund: Cloudflare positioniert die Änderung explizit als Schritt, damit KI-Anbieter für die Nutzung fremder Inhalte kompensieren, statt sie kostenlos für das Training abzugreifen – ergänzt durch eine überarbeitete "Pay Per Crawl"-Funktion, bei der Website-Betreiber vergütet werden, wenn ihre Inhalte in KI-Antworten erscheinen.

Für Schweizer KMU heisst das konkret: Wer nichts unternimmt, bekommt ab September möglicherweise automatisch eine andere Crawler-Konfiguration, als bisher gewollt war – in beide Richtungen. Eine Website, die bewusst für KI-Sichtbarkeit offen bleiben soll, kann unbeabsichtigt eingeschränkt werden, sobald sie neu bei Cloudflare eingerichtet wird.

Eine robots.txt, die gezielt statt pauschal steuert

Die praktische Umsetzung ist unaufwendig, sobald die Zielsetzung klar ist. Ein Beispiel, das Trainings-Crawler einschränkt, aber Search- und User-Bots gezielt zulässt:

# Trainings-Crawler einschränken
User-agent: ClaudeBot
Disallow: /

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

# Sichtbarkeit in KI-Antworten erhalten
User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

# Klassische Suchmaschinen unberührt lassen
User-agent: Googlebot
Allow: /

Sitemap: https://ihre-domain.ch/sitemap.xml

Diese Konfiguration ist ein Ausgangspunkt, keine Universallösung. Ein Unternehmen mit stark proprietären Fachinhalten – etwa detaillierte Preiskalkulationen, interne Prozessbeschreibungen oder Kundenreferenzen mit sensiblen Details – wird andere Abwägungen treffen als ein KMU, das primär auf Sichtbarkeit und Neukundengewinnung über KI-Assistenten setzt. Entscheidend ist, dass die Konfiguration eine bewusste Entscheidung ist und nicht dem Standardwert des Hosting-Anbieters überlassen wird.

Wichtig für die technische Einordnung: robots.txt ist eine Anweisung, keine Zugriffssperre. Sie funktioniert nur, weil sich Anthropic, OpenAI und Google nachweislich daran halten und die Direktiven respektieren. Alle drei Anbieter unterstützen zusätzlich die nicht standardisierte Crawl-delay-Erweiterung, um die Zugriffsfrequenz zu begrenzen, und veröffentlichen offizielle IP-Bereiche, mit denen sich echte Bot-Anfragen von gefälschten User-Agents unterscheiden lassen. Für verbindlichen Schutz – etwa gegenüber weniger kooperativen Scrapern – braucht es zusätzlich Regeln auf CDN- oder WAF-Ebene, wie sie Cloudflare anbietet.

Die Datenschutzfrage: Was heisst das für Schweizer KMU?

Die robots.txt-Frage ist in erster Linie eine Wettbewerbs- und Sichtbarkeitsfrage – nicht primär eine Datenschutzfrage im Sinne des DSG, da es sich um öffentlich publizierte Inhalte handelt, nicht um Personendaten aus internen Systemen. Trotzdem lohnt sich für KMU eine bewusste Trennung der beiden Themen: Öffentliche Marketinginhalte, Blogartikel und Produktseiten sind typischerweise unproblematisch, wenn sie von Trainings-Crawlern erfasst werden. Anders sieht es aus, wenn auf öffentlich zugänglichen Seiten versehentlich sensible Informationen stehen – etwa in PDF-Dokumenten, die verlinkt, aber nicht für die breite Öffentlichkeit gedacht waren. Eine robots.txt-Überprüfung ist deshalb auch eine gute Gelegenheit, kurz zu prüfen, welche Inhalte überhaupt öffentlich erreichbar sind.

Kontrollieren, ob die Regeln überhaupt greifen

Eine robots.txt-Regel zu setzen ist der einfache Teil. Ob sie tatsächlich wirkt, zeigt sich erst im Server-Log oder in den Analytics-Daten des Hosting-Anbieters. Die meisten Content-Delivery-Netzwerke und Hosting-Plattformen protokollieren Zugriffe nach User-Agent – ein kurzer Blick genügt, um zu sehen, ob ClaudeBot, GPTBot oder Google-Extended überhaupt auf der eigenen Website unterwegs sind und wie häufig.

Zwei Beobachtungen sind dabei besonders aufschlussreich. Erstens: Tauchen Suchbots wie Claude-SearchBot oder OAI-SearchBot gar nicht in den Logs auf, obwohl die robots.txt sie erlaubt, kann das an einer zu neuen oder zu wenig verlinkten Website liegen – KI-Suchsysteme crawlen bevorzugt Seiten mit klarer Struktur, sauberem Markup und ausreichend externen Verweisen. Zweitens: Erscheinen Trainings-Bots trotz expliziter Sperrung weiterhin in den Logs, lohnt sich ein Blick auf die IP-Adresse. Stammt sie nicht aus den offiziell veröffentlichten Bereichen des jeweiligen Anbieters, handelt es sich um einen gefälschten User-Agent – ein Fall für eine WAF-Regel, nicht für robots.txt.

Für KMU ohne eigene IT-Abteilung ist ein solcher Log-Check kein Dauerauftrag, sondern eine punktuelle Übung: einmal nach der Umstellung der robots.txt, danach vielleicht halbjährlich oder im Rahmen eines grösseren Website-Updates. Der Aufwand steht in keinem Verhältnis zum Nutzen, wenn dadurch sichtbar wird, ob die eigene Konfiguration tatsächlich das bewirkt, was beabsichtigt war.

Was Schweizer KMU jetzt konkret tun sollten

Drei Schritte lassen sich innerhalb einer Stunde umsetzen:

1. Aktuelle robots.txt prüfen: Unter ihre-domain.ch/robots.txt einsehen, welche Regeln aktuell bestehen. Häufig findet sich dort entweder gar keine Erwähnung von KI-Crawlern oder eine veraltete, pauschale Blockierung.
2. Ziel festlegen: Soll die Website in Claude-, ChatGPT- und Gemini-Antworten zitierbar sein? Dann müssen Search- und User-Bots explizit erlaubt bleiben, während Trainings-Bots nach eigenem Ermessen eingeschränkt werden können.
3. Cloudflare-Konfiguration prüfen: Wer Cloudflare nutzt oder plant, es zu nutzen, sollte die AI-Crawler-Einstellungen im Dashboard vor dem 15. September 2026 aktiv kontrollieren, statt sich auf die neuen Standardwerte zu verlassen.

Wer die eigene Website ohnehin überarbeiten lässt oder neu aufsetzt, sollte diese Konfiguration von Anfang an mitdenken – als Teil der technischen Basis, nicht als nachträgliche Korrektur.

---

Eine saubere, bewusste robots.txt-Konfiguration ist eine kleine technische Massnahme mit direkter Wirkung auf die Sichtbarkeit einer Website in einer zunehmend KI-geprägten Suchlandschaft. Bei statischen Websites und Web-Applikationen wird diese Konfiguration bei Hedinger-Digital von Anfang an mitgeplant – als fester Bestandteil der technischen Grundlage, nicht als Nachgedanke. Fragen zur eigenen Website-Konfiguration lassen sich am besten direkt klären: Jetzt Kontakt aufnehmen.