Zur Navigation

Frage zur Robots.txt

1 nio (Gast)

Hallo, ich möchte folgende urls per robots.txt unterbinden. Wie bzw. was genau muss ich der datei stehen, damit Suchmaschinen diese Dateien nicht spidern?

showthread.php?t=123
showthread.php?t=123&page=3
showthread.php?t=123&p=234217#post234217

DANKE

06.10.2008 18:31

2 Jörg Kruse

In einer standardisierten robots.txt spielen Query Strings meines Wissens noch keine Rolle. Einzelne Suchmaschinenbots sind da allerdings schon etwas weiter - beim Googlebot könnte es so funktionieren: 

User-agent: Googlebot 
Disallow: /showthread.php?t=123
Disallow: /showthread.php?t=123&page=3
Disallow: /showthread.php?t=123&p=234217

Möglicherweise reicht auch schon:

User-agent: Googlebot 
Disallow: /showthread.php?t=123

... um alle drei URLs zu erfassen

06.10.2008 18:59 | geändert: 06.10.2008 19:01

3 ich-nochmal (Gast)

hallo, das problem ist, dass die zahlen ja varieren, da das themenids sind.

reicht also Disallow: /showthread.php? um alle showthread.php dateien inklusive die strings zu erfassen? mir geht es in erster linie um den googlebot bei dieser geschichte.

mfg

07.10.2008 17:06

4 Jörg Kruse

Das könnte so funktionieren.

In den Google Webmaster Tools gibt es unter Tools die Möglichkeit, die robots.txt anhand ausgewählter URLs zu analysieren - dort würde ich das zur Sicherheit mal testen

07.10.2008 17:21

Beitrag schreiben (als Gast)

Die Antwort wird nach der Überprüfung durch einen Moderator freigeschaltet.





[BBCode-Hilfe]