Kurz erklärt
Ein Crawler (auch „Bot“ oder „Spider“) ist ein Programm, das automatisch durch das Internet wandert. Er ruft eine Seite auf, liest ihre Inhalte, folgt den Links darauf und macht auf der nächsten Seite weiter. So entsteht nach und nach ein Verzeichnis von Milliarden Seiten.
Wer schickt Crawler los?
- Suchmaschinen: Der bekannteste ist der Googlebot. Nur was er gefunden und gelesen hat, kann bei Google erscheinen.
- KI-Dienste: Anbieter wie OpenAI oder Anthropic nutzen eigene Crawler, um Inhalte für ihre KI-Assistenten zu sammeln.
- Andere Werkzeuge: Etwa Prüfprogramme für SEO oder defekte Links, aber auch Bots, die Inhalte unerlaubt kopieren.
Was bedeutet das für Ihre Website?
Damit Crawler Ihre Website vollständig und richtig erfassen, hilft:
- Echte Links: Alle wichtigen Seiten sind über normale Links erreichbar, nicht nur über Suchfelder oder Skripte.
- Text statt Bild: Leistungen, Adresse und Öffnungszeiten stehen als Text auf der Seite, nicht nur in Grafiken.
- Eine Sitemap: Eine Liste aller Seiten, die Crawlern den Weg zeigt.
- Eine robots.txt: Eine kleine Datei im Hauptverzeichnis, die festlegt, welche Bereiche Crawler besuchen dürfen.
- Schnelle Ladezeiten: Crawler haben nur begrenzt Zeit pro Website. Langsame Seiten werden seltener und unvollständiger erfasst.
Kann man Crawler aussperren?
Ja, teilweise. Über die robots.txt lässt sich einzelnen Crawlern der Zugriff verbieten, zum Beispiel KI-Crawlern. Seriöse Anbieter halten sich daran, eine technische Sperre ist es aber nicht. Wer Google aussperrt, verschwindet außerdem aus den Suchergebnissen. Meist ist es daher sinnvoller, Crawlern den Weg leicht zu machen.