Zur Navigation

Frage zur robots.txt [2]

11 Jörg

Zitat von Käptn Blaubär
ich hatte mich an dem orientiert, was bei Selfhtml steht:
http://de.selfhtml.org/diverses/robots.htm

Ja, bei SELFHTML, welches im allgemeinen eine recht verlässliche Quelle ist, liest sich das tatsächlich anders. Leider ist nicht ersichtlich, woher sie diese Auslegungen beziehen.

Zitat von Tomm
ich habe es in den Webmaster-Tools getestet und es funktioniert

Dann sollte es zumindest mit dem Googlebot keine Probleme geben.

Bing verweist übringens auf der Infoseite seines Bots auch auf http://www.robotstxt.org/robotstxt.html

Unter "To allow a single robot" ist dort ja auch ein Beispiel gegeben, in welchem der "*" nicht für vorher aufgeführte Bots gilt:

User-agent: Google
Disallow:

User-agent: *
Disallow: /

23.12.2011 10:53 | geändert: 23.12.2011 10:54

12 Tomm (Gast)

Ich hab nachgeschaut im access_log
Dort sind sowohl Googlebot als auch bingbot drin,also
sind beide zugelassen durch robots.txt

Der Traffic ist trotzdem noch genauso hoch.
Vielleicht sollte ich
Crawl-delay:

reinschreiben

23.12.2011 19:00

13 Jörg

Wer erzeugt denn zuviel Traffic, hast du das mal genauer analysiert?

Die bösen Bots halten sich wie gesagt nicht an irgendwelche Vorgaben in der robots.txt Datei und auch effektivere Maßnahmen über htaccess Dateien stoßen an ihre Grenzen, weil die intelligenteren unter den bösen Bots sich als normale Browser ausgeben.

24.12.2011 00:20

14 Tomm (Gast)

Hallo Jörg,

ich hab mehrere Domains auf dem Webspace und wer den Traffic verursacht kann man nicht ermitteln.
Ich habe jetzt wieder die ursprüngliche robots.txt hochgeladen

26.12.2011 20:32

Beitrag schreiben (als Gast)

Beim Verfassen des Beitrages bitte die Forenregeln beachten.





[BBCode-Hilfe]