Zur Navigation

Verzeichnis mit 301-Weiterleitung in robots.txt disallow

1 Rudy

Hallo,

bei einer Website habe ich den Fall, dass zahlreiche Seiten im Google-Index sind, die in Verzeichnissen liegen, welche nicht mehr existieren. Da waren mal Seiten drinnen, welche sich inzwischen auf neuen Domains befinden. Ein Antrag auf Entfernung habe ich bereits in den Webmastertools eingereicht, allerdings ist das abgelehnt worden (wahrscheinlich irgendwo verlinkt). Ich will die URLs aber nicht mehr im Index haben. So möchte ich sie per robots.txt ausschließen und das ganze Verzeichnis umleiten, um die Links nicht komplett zu brechen. Ich dachte da an so was:

robots.txt:
User-Agent: *
Disallow: /verzeichnis/

User-Agent: Googlebot
Disallow: /verzeichnis/

.htaccess
RewriteEngine On
RewriteRule ^verzeichnis http://neuedomain.tld [L,R=301]

Da tut sich mir die Frage auf: verfolgt G den 301, auch wenn das Verzeichnis per robots.txt ausgeschlossen ist?

Gibt es einen weiteren Weg, die Reste aus dem Index zu säubern oder ist das wie ich denke per robots.txt die einzige Methode?

Edit:

Hier in der Google-Hilfe steht, die per robots.txt ausgeschlossenen URLs scheinen doch noch auf, wenn andere Seiten hierhin verlinken, nur der Content wird nicht angezeigt. Um sie vom Index zu entfernen, soll ich den meta-robots "noindex" verwenden. Verlangt G da von mir, ich soll alle gelöschten, insgesamt etwas über hundert Seiten in den Verzeichnissen, neu erstellen und noindex reinsetzen, damit ich die los werde? Das kann doch nicht wahr sein, das macht in der Praxis ja niemand?

06.08.2008 00:26 | geändert: 06.08.2008 00:58

2 Jörg Kruse

Ein Antrag auf Entfernung habe ich bereits in den Webmastertools eingereicht, allerdings ist das abgelehnt worden (wahrscheinlich irgendwo verlinkt)

Das fände ich als Ablehnungsgrund allerdings schon merkwürdig. Sonst wurde kein GRund genannt und die in den Webmastertools genannten Vorbedingungen waren erfüllt?

Da tut sich mir die Frage auf: verfolgt G den 301, auch wenn das Verzeichnis per robots.txt ausgeschlossen ist?

Wenn sie das tun würde, wäre das eine Missachtung der robots.txt

Gibt es einen weiteren Weg, die Reste aus dem Index zu säubern oder ist das wie ich denke per robots.txt die einzige Methode?

Die Alternative wäre die Weiterleitung.

Hier in der Google-Hilfe steht, die per robots.txt ausgeschlossenen URLs scheinen doch noch auf, wenn andere Seiten hierhin verlinken, nur der Content wird nicht angezeigt. Um sie vom Index zu entfernen, soll ich den meta-robots "noindex" verwenden. Verlangt G da von mir, ich soll alle gelöschten, insgesamt etwas über hundert Seiten in den Verzeichnissen, neu erstellen und noindex reinsetzen, damit ich die los werde? Das kann doch nicht wahr sein, das macht in der Praxis ja niemand?

Ein Crawlingverbot und ein Indizierunsverbot sind für Google wohl zwei paar Schuhe. Deswegen würde ich in so einem Fall auf eine 301 oder 410 setzen

06.08.2008 00:51

3 Rudy

Das fände ich als Ablehnungsgrund allerdings schon merkwürdig. Sonst wurde kein GRund genannt und die in den Webmastertools genannten Vorbedingungen waren erfüllt?

Alles andere ist erfüllt bzw. trifft nicht zu, sonst kann ich mir das nicht erklären. Ich hab jetzt nicht intensiv nach der/den verlinkenden Seite/n gesucht.

Ich hatte das schon mal, da habe ich die Seitenstruktur umgestellt, es gab dann keine Unterverzeichnisse /de/, /it/, /en/ mehr. Der Antrag auf Entfernung wurde ebenfalls abgelehnt. Dann habe ich die Verzeichnisse per robots.txt ausgeschlossen, nun (inzwischen Monate danach) erscheinen aber immer noch in der site: - Abfrage die URLs. Nur steht die URL selbst als Titel da und keine Beschreibung. Als Suchergebnis tauchen die URLs aber nicht mehr auf, was ja das wichtigste ist. Dennoch nervt es etwas ^^

Aber die Idee mit dem 410 gefällt mir, hab ich noch nie verwendet.

RewriteRule ^verzeichnis - [G,L]

Das kann ich gut dort einsetzen, wo es keine alternative Domain/Adresse mehr gibt.

Die Alternative wäre die Weiterleitung.

OK, also wenn ich ^verzeichnis per 301 auf eine neue Domain umleite, werden dann aus meinem index alle Verweise auf Seiten in "verzeichnis" entfernt, auch in der site:-Abfrage, selbst wenn andere Websites noch auf die Dateien verlinken - oder muss ich alle fremdverlinkten urls einzeln umleiten?

06.08.2008 01:13 | geändert: 06.08.2008 01:30

4 Jörg Kruse

Was meinst du mit "einzeln umleiten"? Ob die URLs global über eine einzelne Zeile in der .htaccess weitergeleitet werden, kann Google nicht erkennen. Wichtig ist der richtige Status Code (301).

06.08.2008 10:44

5 Rudy

Ob die URLs global über eine einzelne Zeile in der .htaccess weitergeleitet werden, kann Google nicht erkennen.

Ok, das hätte ich mir eigentlich denken können - manchmal muss ich eben auch dumme Fragen stellen :) Danke dass Du auch die beantwortest ^^

Ich hab jetzt alles mit 301 und 410 gemacht, in robots.txt sind se auch drinnen, mal schaun was wird. Danke!

06.08.2008 12:05

Beitrag schreiben (als Gast)

Die Antwort wird nach der Überprüfung durch einen Moderator freigeschaltet.





[BBCode-Hilfe]