Snippet-Prüfer
Länge von Title und Meta Description in Zeichen und Pixeln, Vorschau der Kürzung.
Kostenloses Werkzeug · SEO
robots.txt-Generator
für Onlineshops, mit Tester.
Trag ein, welche Bereiche Crawler nicht abrufen sollen, und deine Sitemap. Der Generator erzeugt die robots.txt und zeigt für jede URL, ob Google sie crawlen darf.
Fehler wie Pfade ohne / am Anfang, eine Sitemap ohne https:// oder ein versehentliches Disallow: / meldet er direkt. KI-Crawler wie GPTBot sperrst du per Klick.
So liest Google die robots.txt
Die Regeln von Google
- Die Datei liegt im Hauptverzeichnis, also unter https://www.example.com/robots.txt. Sie gilt nur für diesen Host, dieses Protokoll und diesen Port.
- Google kennt vier Felder: user-agent, allow, disallow und sitemap. crawl-delay und andere Felder ignoriert Google.
- Pfade beginnen mit / und unterscheiden Groß- und Kleinschreibung. * steht für beliebig viele Zeichen, $ für das Ende der URL.
- Passen mehrere Regeln, gilt die spezifischste, also die mit dem längsten Pfad. Bei Gleichstand gewinnt die weniger einschränkende Regel, also Allow.
- Ein Crawler folgt nur der Gruppe, die am genauesten zu seinem Namen passt. Eine Gruppe für GPTBot und die Gruppe für * werden nicht zusammengelegt.
- Die Sitemap steht als vollständige URL in der Datei. Google liest höchstens 500 KiB, der Rest wird ignoriert.
Wichtig: Die robots.txt steuert das Crawlen, nicht die Indexierung. Eine gesperrte URL kann bei Google erscheinen, wenn andere Seiten auf sie verlinken, dann ohne Beschreibung. Soll eine Seite aus dem Index, setzt du noindex und lässt sie crawlbar.
Was ein Onlineshop typischerweise sperrt
Google rät, Seiten per robots.txt auszunehmen, die gar nicht gecrawlt werden sollen, etwa endlos scrollende Seiten oder anders sortierte Versionen derselben Seite. In einem Shop sind das meist diese Bereiche:
| Bereich | Warum |
|---|---|
| Warenkorb, Kasse, Kundenkonto | Für Suchende ohne Wert, für Crawler nur Last |
| Interne Suchergebnisse | Jede Suche erzeugt eine neue URL, bei JTL-Shop etwa mit ?qs= |
| Sortier- und Filterparameter | Dieselben Produkte in vielen Reihenfolgen und Kombinationen |
Prüf vor dem Hochladen mit dem Tester, dass Produkt- und Kategorieseiten erlaubt bleiben. Mehr zur Suchmaschinenoptimierung je Shopsystem: JTL-Shop, Shopware, WooCommerce, Shopify, Magento. Für mehrsprachige Shops gibt es den Hreflang-Generator.
Häufige Fragen zur robots.txt
Wo muss die robots.txt liegen?
Im Hauptverzeichnis der Domain, also https://www.example.com/robots.txt. In einem Unterordner beachtet Google sie nicht. Sie gilt nur für genau diesen Host und dieses Protokoll, eine Subdomain wie shop.example.com braucht eine eigene.
Verhindert Disallow, dass eine Seite bei Google erscheint?
Nein. Die robots.txt steuert nur das Crawlen. Eine gesperrte URL kann trotzdem im Index landen, etwa wenn andere Seiten auf sie verlinken, dann ohne Beschreibung. Soll eine Seite nicht erscheinen, gehört noindex auf die Seite, und die Seite darf dann nicht gesperrt sein, sonst sieht Google das noindex nie.
Welche Regel gilt, wenn Allow und Disallow passen?
Google nimmt die spezifischste Regel, also die mit dem längsten Pfad. Sind beide gleich lang, gewinnt die weniger einschränkende, also Allow. Der Tester im Generator rechnet genau so.
Was bedeuten * und $?
* steht für beliebig viele Zeichen, $ für das Ende der URL. Disallow: /*.pdf$ sperrt alle URLs, die auf .pdf enden. Disallow: /*?qs= sperrt alle URLs mit dem Parameter qs, bei JTL-Shop die Suchergebnisse.
Unterstützt Google Crawl-delay?
Nein, Google ignoriert crawl-delay. Unterstützt werden nur user-agent, allow, disallow und sitemap.
Sollte ein Shop seine Suchergebnisseiten sperren?
Oft ja. Google empfiehlt, unwichtige Seiten per robots.txt vom Crawlen auszunehmen, und nennt als Beispiele endlos scrollende Seiten und anders sortierte Versionen derselben Seite. Interne Suchergebnisse und Filterkombinationen sind ein ähnlicher Fall: Sie erzeugen fast unbegrenzt viele URLs mit ähnlichem Inhalt. Für Seiten, die ganz aus dem Index sollen, ist noindex der richtige Weg.
Kann ich KI-Crawler aussperren?
Ja, für die Crawler, die sich an die robots.txt halten. GPTBot (OpenAI), Google-Extended (Google), ClaudeBot (Anthropic) und CCBot (Common Crawl) lassen sich über ihren eigenen User-agent sperren. Google-Extended betrifft nicht die Google-Suche, dein Shop bleibt dort sichtbar.
Kostenlose Werkzeuge · SEO für Shops
Weitere Rechner
Hreflang-Generator
hreflang-Codes prüfen und Tags als HTML, Sitemap oder HTTP-Header erzeugen.
Alle Rechner für Händler ansehen →
Diesen Rechner auf der eigenen Website einbinden
Kostenlos für Blogs, Ratgeber und Kundenseiten: Code kopieren und in die eigene Seite einfügen. Der Rechner läuft im Browser der Besucher, Eingaben werden nicht an uns übertragen.
Für Shopbetreiber
Suchseiten gesperrt. Und die Suche selbst?
Wer im Shop sucht, will kaufen. Bei einem Tippfehler zeigt die Shopsuche aber oft nichts. Grumeria ist eine fehlertolerante Suche für Onlineshops. Der kostenlose Feed-Check zeigt an deinen eigenen Produkten, was sie bei solchen Suchen findet.
- 14 Tage kostenlos testen, ohne Zahlungsmittel
- Danach ab 29 € netto/Monat
- Kostenloses Plugin für JTL-Shop 5