Robots.txt erstellen

So funktioniert es

Die robots.txt ist eine reine Textdatei im Hauptverzeichnis Ihrer Website. Sie sagt Suchmaschinen-Crawlern, welche Ordner sie nicht abrufen sollen. Schreiben Sie die Ordner, die nicht gecrawlt werden sollen, links untereinander. Ob Sie /warenkorb/, www.beispiel.de/warenkorb/ oder https://www.beispiel.de/warenkorb/ schreiben, ist egal: Daraus wird jeweils Disallow: /warenkorb/. Ein Name ohne Schrägstriche wie warenkorb wird zu Disallow: /warenkorb und sperrt damit auch Adressen wie /warenkorb-hilfe. Zeilen, die mit # beginnen, gelten als Kommentar und kommen nicht in die Datei. Um eine einzelne Seite in einem gesperrten Ordner zu öffnen, beginnen Sie die Zeile mit Allow: /warenkorb/aktion. Geben Sie die vollständige Adresse Ihrer Sitemap ein, steht am Ende eine Sitemap-Zeile; eine Adresse ohne https:// wird abgelehnt, weil der Standard eine vollständige Adresse verlangt. Die Option KI-Trainings-Crawler sperren schreibt für sieben Bots wie GPTBot, ClaudeBot und Google-Extended je eine eigene gesperrte Gruppe. Laden Sie die Datei herunter, lassen Sie den Namen robots.txt und legen Sie sie in den obersten Ordner Ihrer Website. In WordPress können Sie den Inhalt auch in den robots.txt-Editor eines SEO-Plugins einfügen.

Dieses Werkzeug ist auch als robots txt erstellen, robots.txt generator, robots txt beispiel, gptbot blockieren, ki crawler blockieren bekannt.

Was ist robots.txt?

Die robots.txt ist eine reine Textdatei unter der Stammadresse einer Website, die Crawlern sagt, welche Pfade sie nicht abrufen sollen. Es gibt sie seit 1994, 2022 wurde sie als RFC 9309 standardisiert. Die Datei besteht aus Gruppen, die mit einer User-agent-Zeile beginnen; darin stehen Disallow- (sperren) und Allow-Regeln (öffnen). Google wendet die längste, also genaueste passende Regel an.

Was ist Disallow und Allow?

Die Zeile Disallow: /warenkorb/ sperrt jede Adresse, die mit /warenkorb/ beginnt; ein leeres Disallow: sperrt nichts. Allow öffnet einen Pfad in derselben Schreibweise und dient für Ausnahmen in einem gesperrten Ordner. * steht für eine beliebige Zeichenfolge, ein $ am Zeilenende für das Ende der Adresse: Disallow: /*.pdf$ sperrt alle PDF-Dateien der Website.

Was ist der Unterschied zwischen robots.txt und noindex?

Die robots.txt verhindert, dass ein Crawler eine Seite liest, aber nicht allein, dass sie in den Suchergebnissen erscheint: Eine gesperrte Adresse mit eingehenden Links kann ohne Inhalt gelistet werden. noindex ist ein Tag in der Seite selbst und sagt der Suchmaschine, dass sie die Seite nicht listen soll; dafür muss der Crawler die Seite aber lesen können. Nehmen Sie robots.txt für Warenkorb- und Filterseiten, die Crawl-Budget verbrauchen, und noindex für Danke- oder Entwurfsseiten, die nie in der Suche auftauchen sollen. Verwenden Sie nicht beides für dieselbe Seite.

Was robots.txt kann und was nicht

Die robots.txt ist eine Bitte, kein Schloss. Die Crawler von Google, Bing und den großen KI-Firmen halten sich daran; ein böswilliger Bot kann Ihre Seiten abrufen, ohne die Datei je zu lesen. Seiten, die geheim bleiben müssen (Kundenbereich, Rechnungsordner), schützen Sie mit einem Passwort, nicht mit robots.txt.

Eine gesperrte Seite kann trotzdem bei Google erscheinen: Eine Adresse, auf die andere Websites verlinken, kann ohne Inhalt nur mit ihrer Adresse gelistet werden. Soll eine Seite ganz aus den Suchergebnissen verschwinden, setzen Sie auf der Seite ein noindex-Tag und sperren Sie sie nicht in der robots.txt; kann der Crawler die Seite nicht lesen, sieht er auch das noindex nicht.

Welche Einstellung für welchen Fall

Für die meisten Websites ist die richtige Datei kurz: Warenkorb, Kundenkonto, Suchergebnisse und Adminbereich gesperrt, alles andere offen. Sperren Sie keine CSS- und JavaScript-Ordner; Google lädt sie, um Ihre Seite darzustellen, und sieht die Seite sonst unvollständig, was dem Ranking schaden kann.

Während eine Website im Aufbau ist, sperren Sie die ganze Website; nehmen Sie diese Einstellung beim Livegang unbedingt zurück. Eine vergessene Zeile Disallow: / ist der häufigste Grund, warum eine Website komplett aus der Suche fällt. Das Sperren von KI-Crawlern begrenzt, dass Ihre Inhalte in Trainingsdaten landen. Die Bots in der Liste sind von den Suchmaschinen-Crawlern getrennt und ändern Ihre Position in der Google-Suche nicht. KI-Such-Bots wie die von ChatGPT Search und Perplexity stehen bewusst nicht in der Liste: Wären sie gesperrt, erschiene Ihre Website in deren Antworten nicht als Quelle. Die Liste gilt mit Stand September 2026.

• Blog oder Firmenseite: nur /wp-admin/ gesperrt, Allow: /wp-admin/admin-ajax.php offen
• Onlineshop: /warenkorb/, /konto/, /kasse/ und Filteradressen (/suche?) gesperrt
• Baustelle: Alle Bots → Dürfen nicht crawlen

Häufige Fragen

Wo muss die robots.txt liegen?

Im obersten Ordner (Hauptverzeichnis) Ihrer Website, sodass sie unter www.beispiel.de/robots.txt erreichbar ist. Eine robots.txt in einem Unterordner (www.beispiel.de/blog/robots.txt) lesen Crawler nicht. Öffnen Sie die Adresse nach dem Hochladen im Browser und prüfen Sie, ob die Datei erscheint.

Muss die Sitemap in die robots.txt?

Nicht Pflicht, aber empfohlen: Mit der Sitemap-Zeile finden auch Suchmaschinen Ihre Sitemap, bei denen Sie sie nicht angemeldet haben, etwa außerhalb der Google Search Console. Die Adresse muss vollständig sein (mit https://). In WordPress liegt die Sitemap meist unter /wp-sitemap.xml oder unter der Adresse Ihres SEO-Plugins, etwa /sitemap_index.xml.

Wie sperre ich GPTBot und andere KI-Crawler?

Stellen Sie KI-Trainings-Crawler auf Sperren. Das Werkzeug schreibt eigene User-agent-Gruppen für GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Gemini-Training), Applebot-Extended, CCBot (Common Crawl), Meta-ExternalAgent und Bytespider. Die Liste stützt sich mit Stand September 2026 auf die Angaben der Firmen; neue Bots müssen später ergänzt werden.

Wird das, was ich eingebe, an einen Server gesendet?

Nein. Die robots.txt entsteht vollständig in Ihrem Browser. Ihre Ordnernamen und die Adresse Ihrer Website verlassen diese Seite nicht.