Ein wachsender Teil der Zugriffe auf Websites kommt von KI-Crawlern. Wenn du weißt, welcher Crawler wofür kommt, kannst du gezielt festlegen, wer deine Inhalte lesen darf. Dieser Leitfaden erklärt die Unterschiede und zeigt die aktuell bekannten Bots.
Drei Arten von KI-Crawlern
KI-Bots haben unterschiedliche Zwecke. Man unterscheidet drei Typen:
- Trainings-/Datensatz-Crawler sammeln Inhalte, um künftige Modelle zu trainieren (z. B.
GPTBot,ClaudeBot,Google-Extended,Applebot-Extended). Blockieren schützt Inhalte, verringert aber die Chance, „gelernt" zu werden. - Such-/Index-Crawler für Antwort-Maschinen bauen den Index, aus dem KI-Antworten zitieren (z. B.
OAI-SearchBot,PerplexityBot). Blockierst du diese, kostet das direkt KI-Sichtbarkeit. - On-Demand-„User"-Abrufe holen eine Seite erst, wenn ein Nutzer in der KI danach fragt (z. B.
ChatGPT-User,Perplexity-User). Hinter so einem Abruf steht eine konkrete Nutzerfrage.
robots.txt und llms.txt: der Unterschied
Beide arbeiten zusammen, lösen aber verschiedene Aufgaben:
- robots.txt steuert den Zugriff: sie sagt einem Crawler, welche Pfade er abrufen darf oder nicht. Sie ist kein Inhalt.
- llms.txt liefert den Inhalt: sie stellt dein geprüftes Kernwissen maschinenlesbar bereit, damit KI-Systeme dich korrekt verstehen und zitieren. → Was ist GEO?
Blockieren oder zulassen?
Die meisten Unternehmen wollen gefunden und empfohlen werden. Dann solltest du Antwort-/Such-Crawler und On-Demand-Abrufe zulassen und zusätzlich eine llms.txt bereitstellen. Trainings-Crawler kannst du gezielt blockieren, wenn du Inhalte schützen willst. Das senkt allerdings auch, wie gut Modelle deine Marke langfristig kennen. Alles pauschal zu sperren ist ein häufiger Fehler, der Sichtbarkeit kostet.
So steuerst du den Zugriff (robots.txt)
# Antwort-Crawler zulassen (empfohlen für Sichtbarkeit) User-agent: * Allow: / # Beispiel: einen bestimmten Trainings-Crawler ausschließen User-agent: GPTBot Disallow: / # Zusätzlich auf deine Inhaltsquelle verweisen Sitemap: https://deine-domain.de/sitemap.xml
Eine Regel gilt nur für genau den genannten User-Agent. Da laufend neue Bots dazukommen, lohnt sich eine gepflegte Referenzliste.
Aktuell bekannte KI-Crawler (live)
Die folgende Liste beziehen wir live aus einer laufend gepflegten Fachquelle, damit sie aktuell bleibt:
Aktuell sind 188 KI-Crawler-User-Agents dokumentiert. Diese Liste aktualisiert sich automatisch, sobald neue Bots hinzukommen:
AddSearchBot · AgentDataBot · AgentTimes · AI2Bot · AI2Bot-DeepResearchEval · Ai2Bot-Dolma · aiHitBot · AIWebIndex · amazon-kendra · amazon-QBusiness · Amazonbot · AmazonBuyForMe · Amzn-SearchBot · Amzn-User · Andibot · Anomura · anthropic-ai · ApifyBot · ApifyWebsiteContentCrawler · Applebot · Applebot-Extended · Aranet-SearchBot · atlassian-bot · Awario · AzureAI-SearchBot · bedrockbot · bigsur.ai · BixelBot · Bravebot · Brightbot · Brightbot 1.0 · BuddyBot · Bytespider · CCBot · Channel3Bot · ChatGLM-Spider · ChatGPT Agent · ChatGPT-User · Claude-Code · Claude-SearchBot · Claude-User · Claude-Web · ClaudeBot · Cloudflare-AutoRAG · CloudflareBrowserRenderingCrawler · CloudVertexBot · Code · cohere-ai · cohere-training-data-crawler · Cotoyogi · CragCrawler · Crawl4AI · Crawlspace · Cursor · Datenbank Crawler · DeepSeekBot · Devin · Diffbot · Diffbot-User · DoubaoBot · DuckAssistBot · Echobot Bot · EchoboxBot · ERNIEBot · ExaBot · ExaSearchBot · FacebookBot · facebookexternalhit · Factset_spyderbot · FirecrawlAgent · FriendlyCrawler · GeistHaus-PageFetcher · Gemini-Deep-Research · Google-Agent · Google-CloudVertexBot · Google-Extended · Google-Firebase · Google-Gemini-CLI · Google-NotebookLM · GoogleAgent-Mariner · GoogleAgent-URLContext · GoogleOther · GoogleOther-Image · GoogleOther-Video · GPTBot · GrokAppAndroid · GrokBot · HenkBot · Hunyuan · iAskBot · iaskspider · iaskspider/2.0 · ICC-Crawler · ImagesiftBot · imageSpider · img2dataset · ISSCyberRiskCrawler · kagi-fetcher · Kangaroo Bot · KeenableBot · Kimi-Agent · Kimi-SearchBot · Kimi-User · KimiBot · KlaviyoAIBot · KunatoCrawler · laion-huggingface-processor · LAIONDownloader · LCC · Lightpanda · LinerBot · Linguee Bot · LinkupBot · Manus-User · meta-externalagent · Meta-ExternalAgent · meta-externalfetcher · Meta-ExternalFetcher · meta-webindexer · MistralAI-Index · MistralAI-Training · MistralAI-User · MistralAI-User/1.0 · MoonshotBot · Mozilla-Tabstack · MyCentralAIScraperBot · NagetBot · nbot · netEstate Imprint Crawler · newsai · NotebookLM · NovaAct · OAI-AdsBot · OAI-SearchBot · omgili · omgilibot · OpenAI · opencode · Operator · PanguBot · Panscient · panscient.com · Perplexity-User · PerplexityBot · PetalBot · PhindBot · Poggio-Citations · Poseidon Research Crawler · qodercli · QualifiedBot · Querit-SearchBot · QueritBot · QuillBot · quillbot.com · QwenBot · Reflectionbot · SBIntuitionsBot · Scrapy · SemrushBot-OCOB · SemrushBot-SWA · Shap-User · ShapBot · Sidetrade indexer bot · Spider · TavilyBot · Terra Cotta · TerraCotta · Thinkbot · TikTokSpider · Timpibot · TongyiBot · Trae · TwinAgent · UseAI · VelenPublicWebCrawler · WARDBot · Webzio-Extended · webzio-extended · wpbot · WRTNBot · xAI-Grok · YaK · YandexAdditional · YandexAdditionalBot · YiBot · YiyanBot · YouBot · ZanistaBot
Quelle: das laufend gepflegte ai.robots.txt-Projekt, automatisch aktualisiert · letzte Änderung erkannt am 17.10.2026.
Häufige Fehler
- Aus Vorsicht alle Bots blockieren und sich dann über fehlende KI-Sichtbarkeit wundern.
- robots.txt als Inhalts-Lösung missverstehen (sie regelt Zugriff, nicht Verständnis).
- Inhalte nur per JavaScript ausliefern: Crawler sehen dann leere Seiten.
- Die Bot-Liste einmal pflegen und nie wieder prüfen, obwohl ständig neue Crawler erscheinen.
Das Vorgehen in drei Schritten
- Prüfen, wie KI-Systeme deine Seite heute sehen, mit dem KI-Check.
- Inhalt bereitstellen: eine llms.txt mit dem Generator erzeugen.
- Zugriff bewusst regeln: Antwort-Crawler zulassen, optional Trainings-Crawler einschränken.
Zur Aktualität dieser Seite
Die Liste der KI-Crawler wächst fast jede Woche. Deshalb wird der Abschnitt oben automatisch aus einer gepflegten Quelle aktualisiert, und das Änderungsdatum dieser Seite zieht mit.
Bereit, von KI gefunden zu werden?
Prüfe in Sekunden, wie gut KI-Systeme deine Website lesen oder trag dich kostenlos ins Verzeichnis ein.
Website kostenlos eintragen →