Frage zur robots.txt [2]

Zitat von Käptn Blaubär

ich hatte mich an dem orientiert, was bei Selfhtml steht:
http://de.selfhtml.org/diverses/robots.htm

Ja, bei SELFHTML, welches im allgemeinen eine recht verlässliche Quelle ist, liest sich das tatsächlich anders. Leider ist nicht ersichtlich, woher sie diese Auslegungen beziehen.

Zitat von Tomm

ich habe es in den Webmaster-Tools getestet und es funktioniert

Dann sollte es zumindest mit dem Googlebot keine Probleme geben.

Bing verweist übringens auf der Infoseite seines Bots auch auf http://www.robotstxt.org/robotstxt.html

Unter "To allow a single robot" ist dort ja auch ein Beispiel gegeben, in welchem der "*" nicht für vorher aufgeführte Bots gilt:

User-agent: Google
Disallow:

User-agent: *
Disallow: /

Wer erzeugt denn zuviel Traffic, hast du das mal genauer analysiert?

Die bösen Bots halten sich wie gesagt nicht an irgendwelche Vorgaben in der robots.txt Datei und auch effektivere Maßnahmen über htaccess Dateien stoßen an ihre Grenzen, weil die intelligenteren unter den bösen Bots sich als normale Browser ausgeben.