Sperren Sie ChatGPT aus? Ein Blick in Ihre robots.txt

In der Datei robots.txt steht, welche Programme eine Webseite lesen dürfen. Viele Betriebe sperren dort KI-Systeme aus, ohne es zu wissen – und wundern sich, warum sie in KI-Antworten nicht vorkommen.

Wie Sie in zwei Minuten nachsehen

Hängen Sie an Ihre Adresse /robots.txt an und öffnen Sie das im Browser:

https://ihre-domain.de/robots.txt

Sie sehen eine Textdatei mit Blöcken. Jeder Block beginnt mit User-agent: – dem Namen eines Programms – gefolgt von Allow: oder Disallow:. Diese Namen sollten Sie suchen:

Name	Wer dahintersteckt
GPTBot	OpenAI, sammelt Inhalte für das Training
OAI-SearchBot	OpenAI, für die Suchfunktion in ChatGPT
ChatGPT-User	Ruft eine Seite ab, wenn ein Nutzer gerade danach fragt
PerplexityBot	Perplexity
ClaudeBot	Anthropic
Google-Extended	Steuert Googles KI-Funktionen – nicht die normale Suche

Steht bei einem dieser Namen Disallow: /, ist dieses System ausgesperrt.

Wichtig: Google-Extended zu sperren beeinflusst nicht die Platzierung in der normalen Google-Suche. Es steuert nur, ob Inhalte in Googles KI-Antworten verwendet werden dürfen.

Wie es dorthin kommt, ohne dass jemand es wollte

Die häufigsten Wege:

• Voreinstellung im Baukasten. Mehrere Anbieter haben KI-Crawler zwischenzeitlich pauschal gesperrt, teils als Standard für neue Seiten.
• Ein Plugin mit gut gemeintem Namen. Erweiterungen, die „Schutz vor KI-Diebstahl“ versprechen, schreiben genau diese Zeilen – oft ohne zu erklären, was der Preis dafür ist.
• Eine Empfehlung aus 2023. Damals ging es fast ausschließlich um Trainingsdaten. Dass dieselben Regeln später auch die Sichtbarkeit in Antworten beeinflussen würden, war nicht absehbar.

Die Entscheidung ist nicht so einfach, wie sie klingt

Es gibt zwei Interessen, die sich widersprechen, und wir wollen hier keine Empfehlung verkaufen, die nicht für jeden gilt.

Dafür, KI-Systeme zuzulassen

Wer gefunden werden will, muss lesbar sein. Ein Handwerksbetrieb, der von Empfehlungen lebt, gewinnt, wenn ein Assistent ihn auf die Frage nach einem Dachdecker in der Region nennt. Die Inhalte einer Firmenwebseite – Leistungen, Öffnungszeiten, Kontakt – sind ohnehin dafür gedacht, verbreitet zu werden.

Dagegen

Wer eigene, aufwendig erstellte Inhalte anbietet – Ratgeber, Anleitungen, Fachtexte, die Besucher auf die Seite ziehen sollen – hat ein berechtigtes Interesse, dass diese nicht ohne Verweis zusammengefasst werden. Ein Assistent, der die Antwort direkt liefert, ersetzt den Besuch.

Für die meisten kleinen und mittleren Betriebe überwiegt der erste Punkt deutlich. Wer vom Verkauf von Inhalten lebt, sollte genauer abwägen.

Ein Mittelweg: unterscheiden

Die Regeln lassen sich pro Bereich setzen. So kann man die Firmenseite offen lassen und einen geschützten Bereich ausnehmen:

User-agent: GPTBot
Allow: /
Disallow: /kundenbereich/

User-agent: PerplexityBot
Allow: /
Disallow: /kundenbereich/

Ebenso lässt sich zwischen Training und Antworten unterscheiden: GPTBot sammelt für das Training, OAI-SearchBot und ChatGPT-User arbeiten für die Antwort im Moment der Frage. Wer nur Letzteres möchte, sperrt den ersten und lässt die anderen zu.

Was robots.txt nicht kann

Zwei Dinge sollte man wissen:

• Es ist eine Bitte, kein Schloss. Seriöse Anbieter halten sich daran, aber die Datei erzwingt nichts. Wer Inhalte wirklich schützen muss, braucht eine Anmeldung.
• Sie holt nichts zurück. Was bereits gelesen wurde, verschwindet nicht, wenn die Regel später ergänzt wird.

Und wenn gar keine robots.txt da ist?

Dann ist alles erlaubt – das ist die Grundannahme. Für die meisten Firmenwebseiten ist das völlig in Ordnung. Wer trotzdem eine anlegen möchte, um die Sitemap zu nennen und den KI-Crawlern ausdrücklich Zutritt zu geben, kommt mit wenigen Zeilen aus:

User-agent: *
Allow: /

Sitemap: https://ihre-domain.de/sitemap.xml

Unsere eigene robots.txt nennt die KI-Crawler ausdrücklich mit Allow. Nicht weil es technisch nötig wäre – ohne Eintrag gilt ohnehin „erlaubt“ –, sondern weil es die Entscheidung sichtbar macht.