Prüfen Sie kostenlos, ob ChatGPT, Claude, Perplexity und andere KI-Systeme Ihre Inhalte abrufen dürfen. Der Checker analysiert HTTP-Antworten, robots.txt-Regeln und Meta-Robots für wichtige AI-Crawler.
Auch Cloudflare-Hinweise werden geprüft: Markierungen und Content-Signals in robots.txt sowie Hinweise in HTTP-Antworten. Ob eine Cloudflare-Regel tatsächlich greift, lässt sich ohne Zugriff auf Ihr Cloudflare-Konto nicht feststellen.
Ihre Website ist bei Google gut sichtbar. In ChatGPT taucht sie trotzdem nicht auf. Das liegt oft nicht am Inhalt — sondern daran, dass die KI-Systeme gar nicht erst hineinkommen.
Etwa 27 % der B2B- und E-Commerce-Websites sperren KI-Crawler aus, ohne es zu wissen. Das sind vier- bis neunmal mehr als jene, die sich bewusst dafür entscheiden. Drei Ursachen stecken fast immer dahinter:
Ihr Hosting-Dienstleister entscheidet mit.
Cloudflare unterscheidet Suche, Training und Agent-Zugriffe. Für neue Domains beschreibt Cloudflare seit September 2026 neue Standardwerte: Suche bleibt erlaubt; Training und Agenten werden auf Seiten mit Werbung blockiert. Die tatsächliche Wirkung hängt von den Einstellungen und der betroffenen Seite ab. Cloudflare-Dokumentation
Ihre Sicherheitssysteme halten KI-Crawler für Angreifer.
Firewalls und Schutzmechanismen unterscheiden nicht zwischen einem Scraper und ChatGPT. Zuletzt kam nur noch etwa jede zweite Crawler-Anfrage sauber durch. Ein Jahr zuvor waren es acht von zehn.
KI-Crawler lesen nur, was direkt im Quelltext steht.
Sie führen kein JavaScript aus und klicken keine Cookie-Banner weg. Eine moderne Website, die ihre Inhalte erst im Browser nachlädt, ist für Google Platz 1 — und für ChatGPT eine leere Seite.
Die gute Nachricht: Das lässt sich innerhalb einer Stunde prüfen und meist schnell beheben.
Der AI Crawler Checker simuliert Zugriffe mit den User-Agents wichtiger KI-Systeme. Er zeigt Ihnen, ob Server-Antworten, robots.txt-Regeln oder Meta-Robots den Abruf beziehungsweise die Verarbeitung Ihrer Inhalte einschränken.
KI-Suchsysteme und Large Language Models nutzen Web-Crawler, Suchindizes und weitere Datenquellen, um relevante und aktuelle Inhalte zu finden. Wenn wichtige AI-Crawler Ihre Website nicht abrufen können, besteht das Risiko, dass Produktinformationen, Leistungen, Fachartikel oder Unternehmensinformationen nicht zuverlässig verarbeitet oder als Quelle verwendet werden.
Technische Erreichbarkeit ist deshalb eine wichtige Voraussetzung für Sichtbarkeit in KI-Suchsystemen. Sie garantiert jedoch nicht automatisch, dass eine Seite indexiert, zitiert oder in einer AI-Antwort bevorzugt dargestellt wird.
Ein Bot ruft die URL ab und liest die erreichbaren Inhalte.
Die Inhalte werden analysiert, gespeichert oder einem Suchindex zugeordnet.
Das System bewertet, wie gut der Inhalt zu einer Frage oder Suchintention passt.
Geeignete Inhalte können in Suchergebnissen, Zusammenfassungen oder AI-Antworten erscheinen.
Wichtig: Ohne Crawling kann ein System neue oder aktualisierte Inhalte häufig nicht zuverlässig finden. Erlaubtes Crawling ist aber noch keine Garantie für Indexierung, Ranking oder Zitierung.
Der Checker prüft, ob bei einem simulierten Zugriff erkennbare technische Blockierungen vorliegen. robots.txt und Content-Signals zeigen Präferenzen, die HTTP-Antwort nur das Ergebnis dieses Testrequests. Cloudflare-Kontoregeln können öffentlich nicht ausgelesen werden.
Nicht jeder AI-Bot erfüllt dieselbe Aufgabe. Manche Crawler sammeln Inhalte für Suchfunktionen, andere werden durch eine konkrete Nutzeranfrage ausgelöst oder dienen der Entwicklung von KI-Modellen.
Crawler von OpenAI für die Verbesserung und Entwicklung von Modellen.
OpenAI
Crawler für die Auffindbarkeit und Darstellung von Webseiten in OpenAI-Suchfunktionen.
OpenAI
Abruf, der durch eine konkrete Nutzeraktion in ChatGPT ausgelöst werden kann.
OpenAI
Crawler von Anthropic für Modellentwicklung und -verbesserung.
Anthropic
Crawler für Such- und Retrieval-Funktionen von Claude.
Anthropic
Nutzerinitiierter Abruf durch Claude.
Anthropic
Crawler von Perplexity für Such- und Antwortfunktionen.
Perplexity
Abruf aufgrund einer konkreten Nutzeranfrage bei Perplexity.
Perplexity
Kein klassischer HTTP-Crawler, sondern ein robots.txt-Token zur Steuerung der Nutzung von Inhalten durch bestimmte Google-KI-Systeme. Nicht separat per HTTP testbar.
Crawler von Microsoft, der Bing Search und Copilot AI unterstützt.
Microsoft
Zusätzlich werden weitere Bots von Apple, Meta, Amazon, ByteDance, Cohere, DuckDuckGo, Mistral, Common Crawl, LinkedIn, You.com und weiteren geprüft – insgesamt 34 Bots im Check.
Der Checker analysiert öffentlich erkennbare technische Signale. Bestimmte Formen der Bot-Blockierung oder Inhaltsverarbeitung können mit diesem Test nicht zuverlässig erkannt werden.
Einige Websites oder Firewalls erlauben einen User-Agent nur dann, wenn der Zugriff zusätzlich aus einem offiziellen IP-Bereich des Anbieters stammt. Da der Checker nicht aus den offiziellen IP-Bereichen von OpenAI, Anthropic oder Perplexity zugreift, kann eine solche Blockierung nicht sicher erkannt werden.
Cloudflare, Akamai oder andere Sicherheitssysteme können Zugriffe anhand von IP-Adresse, Verhalten, Cookies oder weiteren Signalen blockieren.
KI-Browser und agentische Systeme können normale Browser-User-Agents verwenden. Solche Zugriffe lassen sich nicht immer eindeutig einem bestimmten KI-System zuordnen.
Der Checker analysiert keine Inhalte, die erst nach der Ausführung von JavaScript vollständig geladen werden.
Der Test zeigt nicht, ob eine Website bereits in ChatGPT, Claude, Perplexity oder anderen Systemen zitiert wird. Er prüft ausschließlich technische Zugriffs- und Steuerungssignale.
Sie können ergänzend prüfen, ob ein KI-System eine konkrete URL aktuell abrufen und den Inhalt korrekt wiedergeben kann.
„Besuche https://ihre-domain.at und nenne mir die erste Hauptüberschrift der Seite."Ein erfolgreicher Test beweist nicht zwingend, dass ein Live-Crawl stattgefunden hat. Das System kann den Inhalt auch aus einem Suchindex, einem Zwischenspeicher oder einer anderen Quelle beziehen.
Achten Sie bei Fehlern auf Hinweise wie:
Warum erscheint Ihre Website nicht bei ChatGPT, Claude oder Perplexity? Die folgenden Antworten helfen Ihnen dabei, technische Blockierungen zu erkennen, Testergebnisse richtig einzuordnen und mögliche Ursachen zu beheben.
Wenn Ihre Website in ChatGPT, Claude, Perplexity oder anderen KI-Systemen nicht erscheint, kann das verschiedene Ursachen haben. Möglicherweise können relevante AI-Crawler Ihre Inhalte nicht erreichen, Ihre Seiten wurden noch nicht verarbeitet oder andere Quellen werden für die konkrete Anfrage als relevanter und vertrauenswürdiger bewertet.
In der Praxis erleben wir häufig, dass eine Website im Browser problemlos erreichbar ist und auch bei Google gefunden wird, in KI-Systemen jedoch nicht auftaucht.
Eine mögliche Ursache liegt beim Hosting-Provider, einer Web Application Firewall oder der internen IT: Bestimmte AI-Crawler wurden bewusst oder unbeabsichtigt blockiert. Das kann beispielsweise durch allgemeine Bot-Schutzregeln, Firewall-Einstellungen, Cloudflare-Konfigurationen oder Einträge in der robots.txt passieren.
So kann Googlebot weiterhin auf die Website zugreifen, während beispielsweise OAI-SearchBot, GPTBot, ClaudeBot oder PerplexityBot ausgesperrt werden. Für Besucher und die klassische Google-Suche wirkt die Website vollkommen normal. Relevante KI-Systeme können neue oder aktualisierte Inhalte jedoch möglicherweise nicht zuverlässig abrufen.
Das kommt häufiger vor, als viele Unternehmen vermuten.
Der AI Crawler Checker prüft deshalb einen wichtigen ersten Schritt: Können relevante AI-Crawler Ihre Website technisch erreichen?
Ein erlaubter Zugriff ist eine wichtige Voraussetzung. Er garantiert jedoch nicht, dass Ihre Website in einer KI-Antwort erwähnt, empfohlen oder als Quelle zitiert wird.
Der AI Crawler Checker untersucht öffentlich erkennbare technische Signale für verschiedene KI-Crawler. Dazu gehören insbesondere:
Das Tool hilft Ihnen damit, eine zentrale Frage zu beantworten: Ist Ihre Website für wichtige AI-Crawler technisch erreichbar oder liegt eine erkennbare Blockierung vor?
Der Checker misst jedoch nicht, ob Ihre Website tatsächlich in ChatGPT, Claude oder Perplexity rankt. Er prüft auch nicht, wie häufig Ihr Unternehmen genannt, empfohlen oder als Quelle zitiert wird.
Zwischen technischer Erreichbarkeit und tatsächlicher Sichtbarkeit liegen mehrere Schritte:
Crawling → Verarbeitung und Indexierung → inhaltliche Zuordnung → Relevanzbewertung → Auswahl und Zitierung
Ein positives Testergebnis bedeutet daher, dass beim simulierten Test keine eindeutige technische Blockierung erkannt wurde. Es bedeutet nicht automatisch, dass Ihre Inhalte bereits verarbeitet, indexiert oder für eine konkrete Nutzerfrage ausgewählt werden.
Nein. Technische Erreichbarkeit ist nur eine Voraussetzung. Anschließend müssen die Inhalte verarbeitet, verstanden, als relevant bewertet und für eine konkrete Nutzerfrage ausgewählt werden.
Ob ein Inhalt indexiert, ausgewählt, zitiert oder sichtbar dargestellt wird, hängt zusätzlich von Qualität, Relevanz, Aktualität, Autorität und der jeweiligen Suchanfrage ab.
Crawling → Indexierung beziehungsweise Verarbeitung → Relevanzbewertung → Auswahl und Zitierung
Ja. Neben der robots.txt gibt es weitere Mechanismen, die einen Crawler-Zugriff verhindern können:
Der Checker prüft deshalb HTTP-Status, robots.txt und Meta-Robots gemeinsam, um ein möglichst vollständiges Bild der technischen Erreichbarkeit zu liefern.
Ein robots.txt-Disallow ist eine Crawling-Präferenz, keine technische HTTP-Sperre. Ein HTTP-403 zeigt nur, dass der simulierte Testrequest abgewiesen wurde – nicht, ob eine Cloudflare-Regel dafür verantwortlich war.
Prüfen Sie zunächst, wodurch die Blockierung verursacht wird. Häufige Ursachen sind:
User-agent: *,Klären Sie anschließend mit Ihrem Hosting-Provider, Ihrer Webagentur oder Ihrer internen IT, ob die Sperre beabsichtigt ist.
Blockieren oder erlauben Sie einen Bot nicht pauschal, ohne seinen Zweck zu prüfen. Such-, Trainings- und nutzerinitiierte Bots können unterschiedliche Aufgaben erfüllen und teilweise getrennt gesteuert werden.
Nach einer Anpassung sollten Sie Ihre Website erneut mit dem AI Crawler Checker testen. Beachten Sie, dass Änderungen möglicherweise nicht sofort von allen Anbietern berücksichtigt werden.
Wichtig: Eine technische Freigabe garantiert keine Sichtbarkeit in KI-Antworten. Sie beseitigt jedoch eine mögliche Barriere, die verhindert, dass neue oder aktualisierte Inhalte gefunden und verarbeitet werden können.
Wenn wichtige KI-Crawler Ihre Inhalte nicht erreichen können, sollten robots.txt, Serverkonfiguration, Firewall und Bot-Schutz gezielt geprüft werden. Eine technische Freigabe sollte immer zum jeweiligen Geschäfts- und Datenschutzkonzept passen.
Mehr zur strategischen Optimierung für KI-Suchsysteme bietet unsere GEO Agentur und Beratung.
Technische GEO-Analyse anfragen