Zur Navigation

Google und die robots.txt

1 Jörg Kruse

Zitat von Gustafsson
und noch eine frage: ich habe hier irgendwo gelesen, das es besser ist dem google-bot in der robots.txt extra eine anweisung zu geben einen speziellen ordner nicht zu spidern?

reicht das nicht?


User-agent: *
Disallow: /ordner-blablub/

Auif meinen Seiten hatte ich noch kein Fehlverhalten feststellen können, aber Mario(670) hatte hierzu mal ein Experiment gemacht:

Google und die robots.txt - Experiment-

17.04.2006 10:04

2 Mario

Hallo Gustaffson

hier ein Artikel der darüber etwas Aufschluss gibt. Der Googlebot möchte gerne eine spezielle Einladung bekommen, so jedenfalls wurde es festgestellt.
Sehe gerade, dass Jörg auch schon geantwortet hat.
Mario

17.04.2006 10:09 | geändert: 17.04.2006 10:12

3 Gustafsson

moin,

mario, hattest du denn spezielle fälle, wo sich google nicht an die robots.txt gehalten hat? warum führst du deinen blog denn nicht weiter?

gruß uwe

17.04.2006 10:34

4 Jörg Kruse

Der Blog gehört dem anderen Mario - aber vielleicht trifft dieser ja auch noch auf diesen Thread :)

17.04.2006 10:41 | geändert: 17.04.2006 10:42

5 Mario

@Gustaffson

wie Jörg schon sagt, ist das nicht mein Blog...

lol wollte mich grad eben verteidigen :)

Mario

17.04.2006 11:26

Beitrag schreiben (als Gast)

Die Antwort wird nach der Überprüfung durch einen Moderator freigeschaltet.





[BBCode-Hilfe]