Ich vermute, Yahoo hat wieder mal ein Problem mit dem Trailing Slash
Vor einiger Zeit sah der robots.txt Eintrag so aus:
User-agent: *
Disallow: /verboten/
Dummerweise speicherte Yahoo die URLs ohne "/", rief dann die erlaubte "/verboten" auf und folgte unbekümmert der Weiterleitung zu "/verboten/". Deswegen hatte ich Yahoo Nachhilfe gegeben:
User-agent: Slurp
Disallow: /verboten
User-agent: *
Disallow: /verboten/
Heute rief Slurp die URL direkt unter "/verboten/" auf, vielleicht speichert Yahoo die URLs jetzt mit Trailing Slashes? Nichtsdestotrotz gilt das Verbot auch für das Verzeichnis "/verboten/"
Und eigentlich wissen sie das selbst auch:
Note: A trailing '*' is not needed since that is the matching behavior for Yahoo! Slurp.
In the example below, both 'Disallow' directives are equivalent:
User-agent: Slurp
Disallow: /private*
Disallow: /private
Quelle:
http://help.yahoo.com/l/us/yahoo/search/webcrawler/slurp-02.html
Ich würde dem Y!-Support schreiben
Ja, wenn ich in dem Yahoo-Labyrinth eine geeignete Adresse oder Kontaktformular gefunden habe :/