Blockiert deine robots.txt die KI-Crawler?
Viele Websites sperren GPTBot, ClaudeBot & PerplexityBot aus, ohne es zu wissen, und tauchen dadurch in KI-Antworten seltener auf. Wir prüfen deine robots.txt gegen 20 KI-Crawler nach den Regeln, die Google anwendet (inkl. der Vererbungsfalle), und ob deine llms.txt erreichbar ist.
Liest nur deine öffentliche robots.txt & llms.txt · Ergebnis 6 Stunden gecacht · kostenlos
Warum das wichtig ist
- KI-Suche & Live-Abruf: Sperrst du OAI-SearchBot, PerplexityBot oder Claude-User aus, kann die KI deine Inhalte nicht zitieren. Genannt werden dann andere Anbieter.
- Die Vererbungsfalle: Ein Bot mit eigener
User-agent-Gruppe ignoriert alle*-Regeln komplett. Das ist eine häufige, leicht übersehene Fehlkonfiguration. - Training ist deine Entscheidung: Trainings-Crawler (GPTBot, CCBot …) zu blocken ist legitim, aber Such- und Live-Bots zu blocken kostet direkte Sichtbarkeit.
Bleib KI-sichtbar
Erhalte die wichtigsten GEO- & llms.txt-Strategien und Produkt-Updates direkt ins Postfach. Kein Spam, jederzeit mit einem Klick abbestellbar.