KI-Crawler steuern: llms.txt, robots.txt & die aktuelle Bot-Liste

Immer mehr Zugriffe auf deine Website stammen nicht von Menschen, sondern von KI-Crawlern. Wer sie versteht, entscheidet bewusst, wer deine Inhalte lesen darf — und sorgt dafür, dass die richtigen Systeme die richtigen Informationen bekommen. Dieser Leitfaden trennt Mythos von Praxis und zeigt die aktuell bekannten Bots.

Drei Arten von KI-Crawlern

Nicht jeder KI-Bot verfolgt denselben Zweck. Für eine sinnvolle Entscheidung musst du drei Typen unterscheiden:

1. Trainings-/Datensatz-Crawler sammeln Inhalte, um künftige Modelle zu trainieren (z. B. GPTBot, ClaudeBot, Google-Extended, Applebot-Extended). Blockieren schützt Inhalte, verringert aber die Chance, „gelernt" zu werden.
2. Such-/Index-Crawler für Antwort-Maschinen bauen den Index, aus dem KI-Antworten zitieren (z. B. OAI-SearchBot, PerplexityBot). Blockierst du diese, kostet das direkt KI-Sichtbarkeit.
3. On-Demand-„User"-Abrufe holen eine Seite erst, wenn ein Nutzer in der KI danach fragt (z. B. ChatGPT-User, Perplexity-User). Das ist im Grunde echter, kaufbereiter Traffic.

robots.txt vs. llms.txt — der entscheidende Unterschied

Beide arbeiten zusammen, lösen aber verschiedene Aufgaben:

• robots.txt steuert den Zugriff — sie sagt einem Crawler, welche Pfade er abrufen darf oder nicht. Sie ist kein Inhalt.
• llms.txt liefert den Inhalt — sie stellt dein geprüftes Kernwissen maschinenlesbar bereit, damit KI-Systeme dich korrekt verstehen und zitieren. → Was ist GEO?

Kurz: robots.txt ist die Tür, llms.txt ist das gut sortierte Schaufenster dahinter.

Blockieren oder zulassen? Eine klare Abwägung

Die meisten Unternehmen wollen gefunden und empfohlen werden. Dann gilt: Antwort-/Such-Crawler und On-Demand-Abrufe zulassen und zusätzlich eine llms.txt bereitstellen. Trainings-Crawler kannst du gezielt blockieren, wenn du Inhalte schützen willst — sei dir aber bewusst, dass das auch die langfristige „Bekanntheit" deiner Marke in Modellen senkt. Pauschal alles zu sperren ist der häufigste teure Fehler.

So steuerst du den Zugriff (robots.txt)

# Antwort-Crawler zulassen (empfohlen für Sichtbarkeit)
User-agent: *
Allow: /

# Beispiel: einen bestimmten Trainings-Crawler ausschließen
User-agent: GPTBot
Disallow: /

# Zusätzlich auf deine Inhaltsquelle verweisen
Sitemap: https://deine-domain.de/sitemap.xml

Wichtig: Eine Regel wirkt nur für exakt den genannten User-Agent. Neue Bots tauchen laufend auf — deshalb lohnt der Blick auf eine gepflegte Referenzliste.

Aktuell bekannte KI-Crawler (live)

Damit diese Übersicht nicht veraltet, beziehen wir sie live aus einer laufend gepflegten Fachquelle — sie aktualisiert sich hier automatisch:

Aktuell sind 164 KI-Crawler-User-Agents dokumentiert. Diese Liste aktualisiert sich automatisch, sobald neue Bots hinzukommen:

AddSearchBot  ·  AgentTimes  ·  AI2Bot  ·  AI2Bot-DeepResearchEval  ·  Ai2Bot-Dolma  ·  aiHitBot  ·  AIWebIndex  ·  amazon-kendra  ·  amazon-QBusiness  ·  Amazonbot  ·  AmazonBuyForMe  ·  Amzn-SearchBot  ·  Amzn-User  ·  Andibot  ·  Anomura  ·  anthropic-ai  ·  ApifyBot  ·  ApifyWebsiteContentCrawler  ·  Applebot  ·  Applebot-Extended  ·  Aranet-SearchBot  ·  atlassian-bot  ·  Awario  ·  AzureAI-SearchBot  ·  bedrockbot  ·  bigsur.ai  ·  Bravebot  ·  Brightbot  ·  Brightbot 1.0  ·  BuddyBot  ·  Bytespider  ·  CCBot  ·  Channel3Bot  ·  ChatGLM-Spider  ·  ChatGPT Agent  ·  ChatGPT-User  ·  Claude-Code  ·  Claude-SearchBot  ·  Claude-User  ·  Claude-Web  ·  ClaudeBot  ·  Cloudflare-AutoRAG  ·  CloudVertexBot  ·  Code  ·  cohere-ai  ·  cohere-training-data-crawler  ·  Cotoyogi  ·  CragCrawler  ·  Crawl4AI  ·  Crawlspace  ·  Cursor  ·  Datenbank Crawler  ·  DeepSeekBot  ·  Devin  ·  Diffbot  ·  DuckAssistBot  ·  Echobot Bot  ·  EchoboxBot  ·  ExaBot  ·  FacebookBot  ·  facebookexternalhit  ·  Factset_spyderbot  ·  FirecrawlAgent  ·  FriendlyCrawler  ·  GeistHaus-PageFetcher  ·  Gemini-Deep-Research  ·  Google-Agent  ·  Google-CloudVertexBot  ·  Google-Extended  ·  Google-Firebase  ·  Google-Gemini-CLI  ·  Google-NotebookLM  ·  GoogleAgent-Mariner  ·  GoogleAgent-URLContext  ·  GoogleOther  ·  GoogleOther-Image  ·  GoogleOther-Video  ·  GPTBot  ·  HenkBot  ·  iAskBot  ·  iaskspider  ·  iaskspider/2.0  ·  IbouBot  ·  ICC-Crawler  ·  ImagesiftBot  ·  imageSpider  ·  img2dataset  ·  ISSCyberRiskCrawler  ·  kagi-fetcher  ·  Kangaroo Bot  ·  Kimi-User  ·  KlaviyoAIBot  ·  KunatoCrawler  ·  laion-huggingface-processor  ·  LAIONDownloader  ·  LCC  ·  LinerBot  ·  Linguee Bot  ·  LinkupBot  ·  Manus-User  ·  meta-externalagent  ·  Meta-ExternalAgent  ·  meta-externalfetcher  ·  Meta-ExternalFetcher  ·  meta-webindexer  ·  MistralAI-User  ·  MistralAI-User/1.0  ·  Mozilla-Tabstack  ·  MyCentralAIScraperBot  ·  NagetBot  ·  netEstate Imprint Crawler  ·  newsai  ·  NotebookLM  ·  NovaAct  ·  OAI-SearchBot  ·  omgili  ·  omgilibot  ·  OpenAI  ·  opencode  ·  Operator  ·  PanguBot  ·  Panscient  ·  panscient.com  ·  Perplexity-User  ·  PerplexityBot  ·  PetalBot  ·  PhindBot  ·  Poggio-Citations  ·  Poseidon Research Crawler  ·  QualifiedBot  ·  Querit-SearchBot  ·  QueritBot  ·  QuillBot  ·  quillbot.com  ·  SBIntuitionsBot  ·  Scrapy  ·  SemrushBot-OCOB  ·  SemrushBot-SWA  ·  Shap-User  ·  ShapBot  ·  Sidetrade indexer bot  ·  Spider  ·  TavilyBot  ·  Terra Cotta  ·  TerraCotta  ·  Thinkbot  ·  TikTokSpider  ·  Timpibot  ·  TongyiBot  ·  Trae  ·  TwinAgent  ·  UseAI  ·  VelenPublicWebCrawler  ·  WARDBot  ·  Webzio-Extended  ·  webzio-extended  ·  wpbot  ·  WRTNBot  ·  YaK  ·  YandexAdditional  ·  YandexAdditionalBot  ·  YiyanBot  ·  YouBot  ·  ZanistaBot

Quelle: das laufend gepflegte ai.robots.txt-Projekt — automatisch aktualisiert · letzte Änderung erkannt am 10.07.2026.

Häufige Fehler

• Aus Vorsicht alle Bots blockieren — und sich dann über fehlende KI-Sichtbarkeit wundern.
• robots.txt als Inhalts-Lösung missverstehen (sie regelt Zugriff, nicht Verständnis).
• Inhalte nur per JavaScript ausliefern — Crawler sehen dann leere Seiten.
• Die Bot-Liste einmal pflegen und nie wieder prüfen, obwohl ständig neue Crawler erscheinen.

In 3 Schritten richtig aufgestellt

1. Prüfen, wie KI-Systeme deine Seite heute sehen — mit dem KI-Check.
2. Inhalt bereitstellen: eine llms.txt mit dem Generator erzeugen.
3. Zugriff bewusst regeln: Antwort-Crawler zulassen, optional Trainings-Crawler einschränken.

Warum diese Seite aktuell bleibt

Die Liste der KI-Crawler wächst fast wöchentlich. Deshalb wird der Abschnitt oben automatisch aus einer gepflegten Quelle aktualisiert; ändert sich die Liste, zieht das Änderungsdatum dieser Seite mit. So bist du stets aktuell, und Suchmaschinen erkennen verlässlich frischen Inhalt.