DIE CRAWLER
DER KI-SUCHE.

PRÜFEN, OB EINE ANFRAGE ECHT IST

Veröffentlichte Endpunkte · Reverse DNS · die Schicht vor dem Origin

Ein User-Agent-String ist eine Behauptung, keine Identität. Jeder kann ihn senden. Was ein Anbieter veröffentlicht, um die Frage zu klären, ist eine IP-Liste, ein Reverse-DNS-Muster oder ein Werkzeug — und jeder Endpunkt unten hat am Datum seiner Zeile geantwortet.

Die Tabelle lässt sich seitlich scrollen.

Zwei Dinge, die die Dokumentation hinzufügt

Alternate methods like blocking IP address(es) from which Anthropic Bots operates may not work correctly or persistently guarantee an opt-out, as doing so impedes our ability to read your robots.txt file. Anthropic · DOCUMENTED · 2026-09-05

Die IP-Liste ist zum Erkennen der Anthropic-Crawler veröffentlicht. Anthropic sagt ausdrücklich, dass das Sperren dieser Adressen kein verlässlicher Opt-out ist — die dokumentierte Steuerung ist die robots.txt.

If you’re using a Web Application Firewall (WAF) to protect your site, you may need to explicitly whitelist Perplexity’s bots to ensure they can access your content. Perplexity · DOCUMENTED · 2026-09-05

Die Prüfung muss unter Umständen vor dem Origin stattfinden. Eine robots.txt, die einen Crawler erlaubt, hilft nicht, wenn eine Firewall oder ein Bot-Schutz diesem Crawler mit einer Challenge antwortet — ein Fehler, der in der robots.txt unsichtbar ist und in der Analytik ebenso. Perplexitys Dokumentation sagt das wörtlich und listet Firewall-Einstellungen dafür.

DIE DREI AUFGABEN EINES CRAWLERS

Suche · Nutzerabruf · Training

Die Tabellen dieser Seite sind danach sortiert, was ein Agent tut — denn daran hängen die Steuerungen. Derselbe Anbieter betreibt oft einen von jeder Sorte. Diese Dreiteilung ist unsere Rahmung — INFERRED aus den dokumentierten Zwecken, keine Taxonomie, die ein Anbieter veröffentlicht —, und die Zeilen darunter sagen je Anbieter, wo die Dokumentation die drei tatsächlich trennt und wo nicht.

Die Tabelle lässt sich seitlich scrollen.

SUCHBOTS

Der Agent, den man erlaubt, wenn man in den Antworten dieses Anbieters erscheinen will

Die Tabelle lässt sich seitlich scrollen.

OpenAI dokumentiert noch einen vierten Agenten, OAI-AdsBot, der in keine der drei Klassen fällt: OAI-AdsBot only visits pages submitted as ads, and the data collected by OAI-AdsBot is not used to train generative AI foundation models. — DOCUMENTED · 2026-09-05 · OpenAI · crawler documentation.

Zwei Einträge, die Abwesenheiten sind

NUTZERABRUF-AGENTEN

Eine Seite, weil eine Person gefragt hat — und die robots.txt gilt womöglich nicht

Diese Agenten holen eine Seite, weil jemand eine Frage gestellt hat, die sie braucht. Von den Anbietern dieser Seite, die einen solchen Agenten dokumentieren, nennen fünf eine Ausnahme von der robots.txt für nutzerveranlasste Abrufe — OpenAI, Perplexity, Google, Meta und Amazon, die letzten beiden in der Tabelle der fünf weiteren Anbieter weiter unten. Zwei dokumentieren einen solchen Agenten, ohne eine Ausnahme zu nennen: Anthropic, das pauschale Einhaltung erklärt, und Mistral. Ob sich dieser Unterschied in der Praxis zeigt, kann eine Tabelle aus Dokumentation nicht beantworten — das wäre OBSERVED und bräuchte Server-Logs. Es steht hier als Asymmetrie in der Dokumentation, nicht mehr.

Die Tabelle lässt sich seitlich scrollen.

• Keine Erlaubnis. „Gilt womöglich nicht" beschreibt das Verhalten des Anbieters. Es macht den Abruf nicht autorisiert und berührt keine andere rechtliche oder vertragliche Steuerung, die Sie haben.
• Kein Weg in die Suche. OpenAI: ChatGPT-User is not used to determine whether content may appear in Search. Please use OAI-SearchBot in robots.txt for managing Search opt outs and automatic crawl. Wer ChatGPT-User erlaubt, bringt damit keine Seite in die ChatGPT-Suche.

TRAININGSBOTS

Eine Entscheidung über Datenlizenzen — getrennt von der Suche, wo der Anbieter die Trennung dokumentiert

Diese zu sperren ist eine Entscheidung über Ihre Inhalte. Bei den drei Anbietern unten trennt die Dokumentation diese Entscheidung von der Suchsichtbarkeit — zweimal im Wortlaut des Anbieters, einmal als unser Schluss —, und die Spalte sagt, was was ist.

Die Tabelle lässt sich seitlich scrollen.

Die am häufigsten missverstandene Steuerung dieser Seite

Google-Extended steuert weder AI Overviews noch AI Mode. Beides ist Suche, und die Suche steuert Googlebot. Google-Extended steuert das Training der Gemini-Modelle und das Grounding in Gemini Apps und Vertex AI, und Google erklärt, dass es die Aufnahme einer Seite in die Suche nicht berührt. Dass eine Seite, die Google-Extended sperrt, weiterhin in Googles KI-Antworten erscheinen kann, folgt aus diesen beiden dokumentierten Sätzen — INFERRED, nicht zitiert.

Getrennte Steuerungen heißen nicht immer getrennte Abrufe. OpenAI: If your site has allowed both bots, we may use the results from just one crawl for both use cases to avoid duplicative crawling. — DOCUMENTED · 2026-09-05.

STEUERUNGEN, DIE KEIN USER AGENT SIND

Seitenebene: ein Meta-Wert, eine Einstellung in der Search Console

Nicht jede Steuerung ist eine Zeile in der robots.txt. Diese hier wirken auf Seitenebene, ohne User Agent, und vier Anbieter dokumentieren eine. Microsofts zwei Tags trennen drei Zustände: in der KI-Antwort mit Inhalt (kein Tag), in der Antwort nur als URL, Titel und Snippet (NOCACHE), ganz aus der Antwort heraus (NOARCHIVE) — und Microsoft erklärt, dass beide Tags die Seite in den normalen Suchergebnissen lassen.

Die Tabelle lässt sich seitlich scrollen.

FÜNF WEITERE ANBIETER

Mistral · Meta · Apple · Amazon · Common Crawl

Fünf Anbieter, die ihre Agenten dokumentieren und in den Tabellen oben nicht stehen. Mistral dokumentiert ein sauberes Dreierset. Meta dokumentiert einen Such-Agenten, einen Nutzer-Abrufer und einen Trainings-Crawler — von der gerenderten Seite gelesen, weil der Rohabruf verweigert wurde, und in jeder Zeile so markiert. Apples Such-Crawler speist auch das Modelltraining, solange ein zweites Token nicht gesperrt ist. Amazon dokumentiert drei Agenten mit unabhängigen Einstellungen. Common Crawl ist weder Suchmaschine noch Assistent.

Die Tabelle lässt sich seitlich scrollen.

WAS NICHT DOKUMENTIERT IST

Zwei Namen, die kursieren — und für keinen eine Anbieterquelle

Zwei Crawler-Namen tauchen ständig auf und stehen in keinem Dokument ihres Anbieters. Sie sind hier UNVERIFIED und bleiben es, bis der Anbieter sie dokumentiert. Drittverzeichnisse wurden gefunden und als Quelle abgelehnt — es gibt mehrere, und keines ist eine Anbieterquelle.

User-Agent: *
Allow: /

Die Tabelle lässt sich seitlich scrollen.

Ebenfalls nicht auf dieser Seite

• Eine empfohlene robots.txt. Was Sie erlauben, ist eine Geschäftsentscheidung über Ihre Inhalte, kein technischer Standardwert. Diese Seite liefert die Klassen, mit denen Sie sie treffen können.
• Die Behauptung, ein erlaubter Agent führe zu einer Zitierung. Jeder Anbieter, der sich dazu äußert, garantiert keine Aufnahme. Berechtigung ist keine Auswahl.
• Crawler-Listen Dritter. Es gibt mehrere; keine ist eine Anbieterquelle, und diese Seite hat genau eine Quellenregel: Eine DOCUMENTED-Zeile kommt vom Anbieter.
• Beobachtungen aus Server-Logs. Wir haben keine Crawler-Zugriffe veröffentlicht. Wenn wir es tun, sind diese Zeilen OBSERVED und stehen klar getrennt von diesen hier.

LLMS.TXT

Googles Wortlaut, zweimal — und die Datei, die wir trotzdem pflegen

Die Google-Suche ignoriert sie. In Googles Worten:

You don’t need to create new machine readable files, AI text files, markup, or Markdown to appear in Google Search (including its generative AI capabilities), as Google Search itself doesn’t use them. Google · DOCUMENTED · 2026-09-05

It’s completely fine if you decide to create and maintain LLMS.txt files (or other similar files) for other services or systems that use these files. Doing so will neither harm nor help your site’s visibility or rankings in Google Search, as Google Search ignores them. Google · DOCUMENTED · 2026-09-05

Das ist die ganze Google-Antwort, und diese Seite schwächt sie nicht ab. Welche Werkzeuge lesen die Datei? Einige. Diese Seite listet sie nicht, weil wir kein einziges aus einer Anbieterquelle geprüft haben — jede Liste hier wäre UNVERIFIED im Gewand einer Referenz. Prüfen wir eines, bekommt es eine Zeile, einen Link und ein Datum wie alles andere.

Wir veröffentlichen auf dieser Seite eine llms.txt und pflegen sie von Hand, für die Werkzeuge, die sie lesen. Sie ist nicht Teil irgendeiner Aussage über Google.

Drei benachbarte Annahmen, dieselbe Quelle, dasselbe Datum

Die Tabelle lässt sich seitlich scrollen.

WAS WIR AUF DER EIGENEN SEITE FAHREN

Offenlegung · OBSERVED · gegen die Live-Datei prüfbar

blackoarstudio.com/robots.txt · gelesen 2026-09-05

User-agent: *
Allow: /

Sitemap: https://blackoarstudio.com/sitemap-index.xml

Jeder Agent dieser Seite ist auf dieser Website derzeit erlaubt, die Trainingsbots eingeschlossen. Das ist eine bewusste Position für ein Studio ohne lizenziertes Archiv, das es zu schützen gäbe — und kein Rat. Ein Verlag mit Inhalten, die sich lizenzieren lassen, kann vernünftigerweise das Gegenteil entscheiden; die Trainingstabelle oben ist genau die Tabelle, mit der das geht, ohne Suchsichtbarkeit zu verlieren — dort, wo der Anbieter die Trennung dokumentiert.

OBSERVED — eine Live-Kopie unserer eigenen Datei, 2026-09-05. Keine Anbieteraussage.

PRÜFRHYTHMUS

Nächste Prüfung: 2026-12-05

Diese Seite beschreibt die Systeme anderer und veraltet ohne Vorwarnung — auf eine Art, die ein Link-Check nicht erkennt. Unsere eigene Quellenliste entstand am 26. August 2026 und wurde am 2026-09-05 neu gelesen. Was dabei herauskam — OBSERVED:

• Jede URL unserer eigenen Liste vom 26. August 2026 löste am 5. September 2026 noch auf. Ein Link-Check hätte nichts gemeldet.
• In denselben zehn Tagen tauchten zwei Agenten in Anbieter-Dokumentationen auf, die auf keiner unserer Listen standen: OpenAIs OAI-AdsBot und Metas Meta-WebIndexer. Keiner bewegte eine URL.
• Googles Leitfaden wurde zu llms.txt so deutlich, dass er sich wörtlich zitieren lässt. Die URL blieb; der Wortlaut nicht.
• Zwei Dokumentations-Adressen zogen um (OpenAIs Bots-Seite und Googles Crawler-Übersicht), beide mit Weiterleitung. Beide stehen hier unter ihrer aktuellen Adresse.

Inhalte driften unter stabilen URLs. Deshalb trägt jede Zeile ein Datum und nicht nur einen Link.

• Jede Zeile trägt das Datum, an dem ihre Quelle zuletzt gelesen wurde. Dieses Datum ist die Aussage.
• Neu geprüft vierteljährlich — und immer, wenn ein Anbieter eine Änderung ankündigt.
• Zieht eine Quelle um, ändert sie ihren Wortlaut oder verschwindet sie, wird die Zeile markiert und neu datiert. Die alte Aussage wird nie still umgeschrieben — dieselbe Regel, die wir auf unsere eigenen Messungen anwenden.
• Nächste planmäßige Prüfung: 2026-12-05.

QUELLEN

Nur Anbieter-Dokumente · gelesen 2026-09-05 · mit Prüfsummen gesichert

• OpenAI · crawler documentation developers.openai.com/api/docs/bots
• Google · common crawlers developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers
• Google · user-triggered fetchers developers.google.com/crawling/docs/crawlers-fetchers/google-user-triggered-fetchers
• Google · AI features and your website developers.google.com/search/docs/fundamentals/ai-optimization-guide
• Bing · which crawlers does Bing use www.bing.com/webmasters/help/which-crawlers-does-bing-use-8c184ec0 Crawler-Tabelle per JavaScript gerendert — von der gerenderten Seite gelesen
• Bing Webmaster Blog · NOCACHE and NOARCHIVE blogs.bing.com/webmaster/september-2023/Announcing-new-options-for-webmasters-to-control-usage-of-their-content-in-Bing-Chat
• Perplexity · crawlers docs.perplexity.ai/docs/resources/perplexity-crawlers
• Anthropic · does Anthropic crawl data from the web support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler
• Mistral · robots docs.mistral.ai/robots
• Meta · web crawlers developers.facebook.com/docs/sharing/webmasters/web-crawlers/ Rohabruf verweigert (HTTP 400) — von der gerenderten Seite gelesen
• Apple · about Applebot support.apple.com/en-us/119829
• Amazon · Amazonbot developer.amazon.com/amazonbot
• Common Crawl · CCBot commoncrawl.org/ccbot

Zwei Dokumente ließen sich nicht roh sichern und sind oben und in ihren Zeilen markiert. Beide wurden von der gerenderten Seite gelesen. Festgehalten, damit ein Leser weiß, welche Zeilen auf einem gesicherten Dokument ruhen und welche auf einer Abschrift. Die IP-Endpunkte der Prüftabelle wurden am selben Datum abgerufen und neben den Dokumenten gesichert.