Zur Navigation

msnbot hat robots.txt missachtet

1 Jörg

Letztens ist der msnbot in meine Bottrap gefallen, d.h. er hat eine URL gespidert, die in der robots.txt für alle Bots gesperrt ist. Die IP-Adresse gehörte zu Microsoft, der Bot war also kein Fake.

04.09.2009 00:38

2 Christian

was uns beweist, Bots sind auch nur Menschen und machen Fehler... oder, die Suchmaschinenbetreiber kümmern sich einen Dreck um unsere Wünsche.



Es gibt ein Verzeichnis, da kommst Du nur schwer rein.......

07.09.2009 08:16

Beitrag schreiben (als Gast)





[BBCode-Hilfe]