FORSCHUNG · FELDDATEN · AUSGABE 01
CRAWLER-LOG
01.
Jede Anfrage, die ein verifizierter Bot in 28 Tagen an diese Website gestellt hat — 16. September 2026 bis 13. Oktober 2026 —, gelesen aus den Edge-Logs des CDN davor. Welche Crawler kamen, wie viel der Seite jeder tatsächlich gelesen hat, wonach sie gefragt haben, was es nicht gibt, und wie viele Anfragen nur so taten, als wären sie ein Crawler.
Eine Website, ein Monat. Das ist ein Feldprotokoll, keine Aussage darüber, wie sich diese Crawler überall verhalten — und es sagt nichts darüber, ob einer dieser Besuche zu einem Ranking, einem Zitat oder einer Empfehlung führt.
DIE WEBSITE UND DAS FENSTER
88 Seiten · zwei Sprachen · 11.701 verifizierte Anfragen
blackoarstudio.com ist eine junge Studio-Website: Domain live seit Juli 2026, 88 Seiten auf Englisch und Deutsch, die das ganze Fenster über existierten, eine Sitemap und eine robots.txt, die jeden Agenten zulässt. Sie läuft hinter Cloudflare im kostenlosen Tarif. Bot Fight Mode ist aus, Cloudflares Regler für KI-Crawler stehen auf Zulassen. Rate Limiting und Cloudflares verwaltete Regeln sind an — Befund 7 zeigt, wen sie gestoppt haben.
Zwei Demo-Projekte liegen auf Subdomains derselben Zone. Beide tragen noindex und haben keine Sitemap. Sie gehören ins Protokoll, weil Crawler sie besucht haben.
WIE DIESE ZAHLEN ZU LESEN SIND
Quelle · was „verifiziert“ heißt · Stichprobe · Klassen
Quelle: Cloudflares GraphQL Analytics (Datensatz httpRequestsAdaptiveGroups), eine Abfrage pro Tag, gelesen am 14. Oktober 2026. Keine Logzeile wurde bearbeitet oder entfernt.
Verifiziert: eine Anfrage zählt, wenn Cloudflare sie einer Kategorie verifizierter Bots zuordnet. Die Einstufung — samt den Namen in der Kategorie-Spalte — ist Cloudflares, nicht unsere. Eine Anfrage, die nur den Namen eines Crawlers in ihrer Kennung trägt, ist nicht verifiziert; sie wird unten getrennt gezählt.
Stichprobe: der Datensatz ist adaptiv. Bei höherem Volumen zählt Cloudflare einen Teil der Anfragen und rechnet hoch. In diesem Fenster lag der höchste Tagesdurchschnitt des Stichprobenfaktors bei 1,56 — nahe an „jede Anfrage gezählt“, aber die Zahlen sind Cloudflares Hochrechnung, keine Logzeilen.
Jede Zahl auf dieser Seite ist OBSERVED. Jeder Schluss, den wir daraus ziehen, ist als INFERRED markiert und steht getrennt von der Zahl. Wo wir über einen Agenten nichts wissen, steht UNVERIFIED. Die Klassen sind einmal definiert, auf der Methodik-Seite.
WER KAM
Such- und KI-Agenten mit mehr als fünf Anfragen · zwei SEO-Werkzeuge zum Vergleich
Die Tabelle scrollt seitlich.
| Agent | Cloudflare-Kategorie | Anfragen | Beantwortet | Umgeleitet | 404 | Gesperrt | Seiten erreicht (von 88) | robots.txt | Tage aktiv (von 28) |
|---|---|---|---|---|---|---|---|---|---|
| bingbot | Search Engine Crawler | 1.493 | 1.103 | 357 | 33 | 0 | 52 | 131 | 28 |
| ClaudeBot | AI Crawler | 1.379 | 966 | 39 | 374 | 0 | 63 | 606 | 28 |
| PetalBot | AI Crawler | 1.231 | 843 | 388 | 0 | 0 | 88 | 20 | 28 |
| Googlebot | Search Engine Crawler | 1.172 | 921 | 251 | 0 | 0 | 75 | 348 | 28 |
| ShapBot | AI Search | 527 | 226 | 299 | 2 | 0 | 82 | 4 | 1 |
| AhrefsBot | Search Engine Optimization | 435 | 415 | 10 | 10 | 0 | 87 | 88 | 28 |
| Applebot | AI Search | 401 | 385 | 12 | 4 | 0 | 26 | 49 | 26 |
| Baiduspider | Search Engine Crawler | 389 | 331 | 33 | 21 | 0 | 60 | 0 | 27 |
| OAI-SearchBot | Search Engine Crawler | 365 | 311 | 45 | 9 | 0 | 31 | 207 | 28 |
| GPTBot | AI Crawler | 327 | 264 | 58 | 5 | 0 | 40 | 0 | 28 |
| SemrushBot | Search Engine Optimization | 315 | 296 | 19 | 0 | 0 | 87 | 128 | 28 |
| Amazonbot | AI Crawler | 264 | 252 | 12 | 0 | 0 | 45 | 0 | 28 |
| Claude-User | AI Assistant | 213 | 132 | 79 | 2 | 0 | 33 | 49 | 22 |
| ChatGPT-User | AI Assistant | 185 | 159 | 26 | 0 | 0 | 43 | 0 | 27 |
| Reflectionbot | AI Crawler | 110 | 74 | 36 | 0 | 0 | 41 | 18 | 13 |
| GoogleOther | AI Crawler | 87 | 71 | 16 | 0 | 0 | 14 | 1 | 10 |
| meta-externalagent | AI Crawler | 6 | 0 | 6 | 0 | 0 | 0 | 0 | 1 |
Nicht in der Tabelle: Seitenvorschauen (Facebook, X, LinkedIn, Pinterest), Monitoring-Dienste und Lighthouse-Läufe. Sie sind Teil der 11.701 verifizierten Anfragen. OBSERVED
WAS DAS LOG ZEIGT
Acht Befunde · erst die Zahl, dann der Schluss
1 · Jede Seite zu lesen ist die Ausnahme
Von 88 Seiten hat ein KI-Crawler alle erreicht: PetalBot, 88. Googlebot erreichte 75, ClaudeBot 63, bingbot 52, Amazonbot 45, GPTBot 40, OAI-SearchBot 31, Applebot 26. Die beiden SEO-Werkzeuge erreichten je 87. OBSERVED
Auf einer Website dieser Größe ist eine Seite, die existiert, nicht automatisch eine Seite, die jeder Crawler in einem Monat gelesen hat. Ob ein Crawler eine Seite schon vor dem Fenster gelesen hatte, kann dieses Log nicht sagen. INFERRED
2 · ClaudeBot prüfte täglich und las an zwei Tagen
ClaudeBot stellte 1.379 Anfragen und war an allen 28 Tagen aktiv. 606 gingen an die robots.txt, 621 an Sitemaps. Seiten auf blackoarstudio.com rief er nur an zwei Tagen ab: 97 am 3. Oktober 2026, 2 am 4. Oktober 2026. 374 seiner Anfragen fragten die zwei Demo-Subdomains nach einer /sitemap.xml, die es dort nicht gibt. OBSERVED
Das Muster liest sich als häufiges Prüfen und Lesen in Schüben. Warum er so plant, ist hier nicht dokumentiert, und wir raten nicht. INFERRED
3 · Kein KI-Agent fragte nach der llms.txt
In 28 Tagen haben verifizierte KI-Crawler und KI-Assistenten /llms.txt 0-mal abgerufen. Abgerufen wurde die Datei 26-mal von Lighthouse-Läufen und 46-mal von unverifizierten Clients — curl, Browser, Skripte. OBSERVED
Auf dieser Website, in diesem Fenster, lasen die Datei Werkzeuge, die prüfen, ob es sie gibt — nicht die Agenten, für die sie geschrieben ist. Wir behalten sie, für die Werkzeuge, die sie lesen, und zählen sie nicht als Grund, warum etwas gecrawlt oder zitiert wurde. INFERRED
4 · Abrufe, die ein Mensch ausgelöst hat
ChatGPT-User stellte 185 Anfragen an 27 Tagen, 83 davon für die Startseite, und erreichte 43 Seiten. Claude-User stellte 213 an 22 Tagen und erreichte 33 — am häufigsten den Shopify Health Check, die Preise und die Audit- und QA-Seiten. Claude-User rief die robots.txt 49-mal ab, ChatGPT-User 0-mal. OBSERVED
Beide Anbieter dokumentieren diese Agenten als Abrufe auf Anfrage eines Nutzers — siehe die Crawler-Referenz. Eine Anfrage ist kein Besucher und keine Anfrage im geschäftlichen Sinn: das Log zeigt, dass die Seite abgerufen wurde, nicht, was der Mensch daraufhin gesagt bekam. INFERRED
5 · Unser eigener Fehler: Umleitungen auf internen Links
79 von 213 Anfragen von Claude-User waren Umleitungen — er fragte nach Seiten ohne Schrägstrich am Ende und wurde zur Adresse mit Schrägstrich weitergeschickt. bingbot wurde 357-mal umgeleitet, PetalBot 388-mal, Googlebot 251-mal. Die Ursache lag bei uns: 3.839 interne Links dieser Website — gezählt beim Beheben — zeigten auf die Form ohne Schrägstrich. OBSERVED
Behoben am 14. Oktober 2026, nach dem Fenster: interne Links zeigen jetzt auf die Adresse, die jede Seite tatsächlich hat. Die nächste Ausgabe zeigt, ob die Umleitungen zurückgehen.
6 · noindex hält keine Anfrage auf
Die zwei Demo-Subdomains tragen noindex und haben keine Sitemap. Verifizierte Bots stellten dort trotzdem diese Anfragen: OBSERVED
- ClaudeBot 759
- bingbot 171
- OAI-SearchBot 131
- GPTBot 89
- Amazonbot 68
noindex ist eine Anweisung über den Index. Es ist keine Anweisung, fernzubleiben, und das Log behandelt es so. INFERRED
7 · Ein Crawler-Name ist eine Behauptung
1.775 Anfragen trugen den Namen eines bekannten Crawlers in ihrer Kennung, ohne verifiziert zu sein. 1.075 davon fragten nach Pfaden wie /.env, /.git oder /wp-config.php — Dateien, die auf anderen Websites Zugangsdaten enthalten und auf dieser nicht existieren. Am häufigsten beansprucht: PerplexityBot 341, ClaudeBot 306, Googlebot 255. 55 Anfragen wurden von Rate Limiting oder verwalteten Regeln gesperrt — alle unverifiziert. Gesperrte verifizierte Bots: 0. OBSERVED
Eine Kennung ist ein Satz, den jeder schreiben kann. Wie jeder Anbieter die Prüfung einer Anfrage ermöglicht, steht in der Referenz, Abschnitt Prüfung. Nach Kennung allein gezählt, wären diese Anfragen in die Crawler-Zahlen oben gerutscht. INFERRED
8 · Agenten, die einmal kamen
ShapBot stellte 527 Anfragen an einem einzigen Tag, dem 6. Oktober 2026, und erreichte 82 Seiten. Reflectionbot stellte 110 an 13 Tagen. Cloudflare ordnet ShapBot als AI Search ein, Reflectionbot als AI Crawler. OBSERVED
Dokumentation der Betreiber haben wir nicht gelesen. Wofür sie sammeln und wohin es geht, wissen wir nicht. UNVERIFIED
WAS WIR GEÄNDERT HABEN — UND WAS NICHT
Datiert · nur auf dieser Website
- 16. September 2026, vor dem Fenster: /sitemap.xml auf blackoarstudio.com antwortet mit einer 301 auf den Sitemap-Index. In diesem Fenster lag jede /sitemap.xml, für die ClaudeBot eine 404 bekam, auf einer Demo-Subdomain, wo die Umleitung nicht gilt (Befund 2).
- 14. Oktober 2026, nach dem Fenster: interne Links tragen den Schrägstrich (Befund 5); die Kontaktseite ist von jeder Seite aus verlinkt statt nur über ein Pop-up erreichbar.
- Nicht geändert: robots.txt, Cloudflares Crawler-Regler, die Demo-Subdomains. Sie bleiben noindex und bekommen keine Sitemap — die Anfragen dorthin werden protokolliert, nicht mit einer Korrektur beantwortet, die mehr davon einladen würde.
WAS DIESE SEITE NICHT ZEIGT
- Wie sich diese Crawler auf anderen Websites verhalten. Eine Website mit 88 Seiten und wenig Verkehr ist eine kleine Stichprobe.
- Ob eine Anfrage zu einem Indexeintrag, einem Zitat, einer Empfehlung oder einem Kunden geführt hat.
- Warum ein Agent getan hat, was er getan hat. Das Log zeichnet Anfragen auf, keine Absichten.
- Woher die unverifizierten Anfragen kamen: Netzwerkdaten gibt es in diesem Cloudflare-Tarif nicht.
- Agenten, die Cloudflare nicht verifiziert. Ein echter Crawler ohne Verifikation steht in der unverifizierten Zahl.
NÄCHSTE AUSGABE
Ausgabe 02 ist für den 14. November 2026 geplant: dieselben Abfragen, dieselbe Tabelle, dieselben Klassen — veröffentlicht, was immer sie zeigt. Diese Ausgabe bleibt, wie sie ist.
