Blockiert deine robots.txt die KI-Crawler?
Viele Websites sperren GPTBot, ClaudeBot & PerplexityBot aus, ohne es zu wissen — und tauchen deshalb in KI-Antworten nicht auf. Wir prüfen deine robots.txt gegen 20 KI-Crawler mit echter Google-Semantik (inkl. der berüchtigten Vererbungsfalle) und ob deine llms.txt erreichbar ist.
Liest nur deine öffentliche robots.txt & llms.txt · Ergebnis 6 Stunden gecacht · kostenlos
Warum das wichtig ist
- KI-Suche & Live-Abruf: Sperrst du OAI-SearchBot, PerplexityBot oder Claude-User aus, kann die KI deine Inhalte nicht zitieren — deine Konkurrenz wird stattdessen empfohlen.
- Die Vererbungsfalle: Ein Bot mit eigener
User-agent-Gruppe ignoriert alle*-Regeln komplett — die häufigste versteckte Fehlkonfiguration. - Training ist deine Entscheidung: Trainings-Crawler (GPTBot, CCBot …) zu blocken ist legitim — aber Such- und Live-Bots zu blocken kostet direkte Sichtbarkeit.
Bleib KI-sichtbar
Erhalte die wichtigsten GEO- & llms.txt-Strategien und Produkt-Updates direkt ins Postfach. Kein Spam, jederzeit mit einem Klick abbestellbar.