Zur Navigation

Google Bot missachtet robots.txt?

1 Jörg Kruse

Ist meine robots.txt fehlerhaft oder missverständlich?

User-agent: *
Disallow: /neu/
Disallow: /edit/
Disallow: /login/

wieso finden sich Dateien aus den gesperrten Verzeichnissen im Google Index, als Suchergebnis-Zombies lediglich mit dem Link "Ähnliche Seiten" ausgestattet?

site:forum.joergkrusesweb.de

Da bemüht man sich, zu verhindern, dass unnütze Dateien in die Suchmaschinen-Indices geraten, und Google zieht sie sich trotz Verbot.

10.12.2004 00:28

2 Jörg Kruse

Habe gerade in Googles FAQ unter 5. Warum missachtet Googlebot die Anweisungen in meiner Datei robots.txt? gelesen:


Um Bandbreite zu sparen, lädt Googlebot die Datei robots.txt nur einmal am Tag herunter oder wenn viele Seiten von einem Server herunter geladen wurden. Es kann also eine Weile dauern, bis Googlebot etwaige Änderungen in der Datei robots.txt auffallen. Darüber hinaus ist Googlebot auf mehrere Computer verteilt, von denen jeder eine eigene Version der Datei robots.txt verwaltet.

Gut, das wäre eine mögliche Erklärung, ich habe die (aktualisierte) robots.txt jeweils erst kurz vor den Dateien hochgeladen, die jetzt im Index zu finden sind.

10.12.2004 00:44

Beitrag schreiben (als Gast)

Die Antwort wird nach der Überprüfung durch einen Moderator freigeschaltet.





[BBCode-Hilfe]