Zur Navigation

Yahoo Slurp hält sich nicht an robots.txt

1 Jörg

Heut ist mir Yahoo Slurp in die Bottrap gefallen, d.h. der Bot hat ein Verzeichnis aufgerufen, welches in der robots.txt gesperrt ist

User Agent:
Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)

IP-Adresse:
74.6.18.212

Letztere gehört der Inktomi Corporation, einer Tochter von Yahoo!

16.02.2008 15:46

2 Rudy

Ein Fake ist also ausgeschlossen? Kaum zu glauben... Ich würde dem Y!-Support schreiben.

16.02.2008 18:18

3 Jörg

Ich vermute, Yahoo hat wieder mal ein Problem mit dem Trailing Slash

Vor einiger Zeit sah der robots.txt Eintrag so aus:
User-agent: *
Disallow: /verboten/

Dummerweise speicherte Yahoo die URLs ohne "/", rief dann die erlaubte "/verboten" auf und folgte unbekümmert der Weiterleitung zu "/verboten/". Deswegen hatte ich Yahoo Nachhilfe gegeben:

User-agent: Slurp
Disallow: /verboten

User-agent: *
Disallow: /verboten/

Heute rief Slurp die URL direkt unter "/verboten/" auf, vielleicht speichert Yahoo die URLs jetzt mit Trailing Slashes? Nichtsdestotrotz gilt das Verbot auch für das Verzeichnis "/verboten/"

Und eigentlich wissen sie das selbst auch:
Note: A trailing '*' is not needed since that is the matching behavior for Yahoo! Slurp.

In the example below, both 'Disallow' directives are equivalent:
User-agent: Slurp
Disallow: /private*
Disallow: /private

Quelle: http://help.yahoo.com/l/us/yahoo/search/webcrawler/slurp-02.html

Ich würde dem Y!-Support schreiben

Ja, wenn ich in dem Yahoo-Labyrinth eine geeignete Adresse oder Kontaktformular gefunden habe :/

16.02.2008 19:07

Beitrag schreiben (als Gast)

Beim Verfassen des Beitrages bitte die Forenregeln beachten.





[BBCode-Hilfe]