URL-Catchall -> duplicate content?

1 lava

Hallo, in der Admin-Oberfläche für den Webserver kann man URL-Catchall aktivieren bzw. deaktivieren:

URL-Catchall aktiv
Bei Aktivierung des URL-Catchalls können auch nicht existierende (Sub-)Domains der Domain aufgerufen werden, es erfolgt dann eine automatische Weiterleitung zur eigentlichen Domain oder zur jeweils übergeordneten Domain.

URL-Catchall aus
Bei Deaktivierung des URL-Catchalls können Domains und eingerichtete (Sub-)Domains nur unter den tatsächlich bestehenden Namen aufgerufen werden. Aufrufe nicht existierender (Sub-)Domains werden nicht an die jeweils übergeordnete Domain weitergeleitet, sondern es erfolgt die Ausgabe einer entsprechenden Fehlermeldung.

Wenn das URL-Catchall aktiv ist, kann man www.domain.tld auch unter irgendwas.domain.tld erreichen -> ich wäre der Ansicht, man müßte dann verbieten, daß außer den wirklich gezielt angelegten Subdomains, die ich explizit durchsucht haben möchte vom Crawler, irgendwelche derartigen beliebigen Pfade durchsucht werden, oder? D.h. dann müßte ich in der robots.txt alles verbieten außer bevorzugte-subdomain.domain.tld , oder? Wie schreibe ich das "verbieten außer" ?

2 Jörg Kruse

URL-Catchall aktiv
Bei Aktivierung des URL-Catchalls können auch nicht existierende (Sub-)Domains der Domain aufgerufen werden, es erfolgt dann eine automatische Weiterleitung zur eigentlichen Domain oder zur jeweils übergeordneten Domain.

Wie wird denn weitergeleitet - mit dem Status Code 301? dann gäbe es kein Problem hinsichtlich Duplicate Content. Allerdings stellt sich mir die Frage nach dem Sinn des Catchall?

Wenn das URL-Catchall aktiv ist, kann man www.domain.tld auch unter irgendwas.domain.tld erreichen -> ich wäre der Ansicht, man müßte dann verbieten, daß außer den wirklich gezielt angelegten Subdomains, die ich explizit durchsucht haben möchte vom Crawler, irgendwelche derartigen beliebigen Pfade durchsucht werden, oder? D.h. dann müßte ich in der robots.txt alles verbieten außer bevorzugte-subdomain.domain.tld , oder? Wie schreibe ich das "verbieten außer" ?

Jede Domain und Subdomain hat ihre eigene robots.txt Datei. In dieser kann nur das Crawlen von Verzeichnissen und Dateien auf derselbigen (Sub-)Domain verboten werden.

3 lava

Zitat von Jörg

Wie wird denn weitergeleitet - mit dem Status Code 301? dann gäbe es kein Problem hinsichtlich Duplicate Content. Allerdings stellt sich mir die Frage nach dem Sinn des Catchall?

Keine Ahnung wie weitergeleitet wird, das ist das Kundenmenü von Domainfactory und ich kannte diese Funktion bis vor kurzem auch nicht, dachte dann, es wäre vielleicht etwas allgemein Bekanntes.

Der Sinn ist wohl, daß man sich vertippen kann und z.B. wwwww.domain.tld eingeben kann und trotzdem irgendwo auf der Domain landet.... finde ich überflüssig, aber Kollegen finden es sinnvoll.

In diesem Kundenmenü trägt man auch ein, welchem Pfad auf dem Server die jeweilige Domain bzw. Subdomain entsprechen soll:

Bitte geben Sie ein, auf welchen Pfad Ihres Webspace die (Sub-)Domain zeigen soll, z.B. / oder /mayer
Für eine externe Header-Weiterleitung geben Sie einfach die URL, z.B. http://faq24.de, an.
Bitte beachten Sie, dass auf Scripte mit Parameterangaben nicht weitergeleitet werden kann!

Hier hatte mein Kollege einfach für die Keyword-Domain bzw. zugehörige Subdomain (also für www.mein-hauptkeyword.eu bzw.
firmenname.mein-hauptkeyword.eu) denselben Pfad wie für die bisherige Branding-Domain www.firmenname.de eingetragen - und ich bezweifle, daß das dann keinen duplicate content erzeugt. Habe nun auf dem Server einen neuen Pfad angelegt, wo ich eine .htaccess reingelegt habe, in der bloß

RewriteEngine On
RewriteRule ^(.*)$ http://www.firmenname.de/$1 [L,R=301]

steht. Erstmal um zu vermeiden, daß ich doppelten Content kriege.
Seh ich das richtig, daß im Falle eines Umzugs von Branding- auf Keyword-Domain dasselbe dann gerade anders herum gemacht werden müßte, d.h. daß dann die Branding-Domain einen eigenen Pfad kriegt, von wo aus nur noch zur neuen Keyword-Domain umgeleitet wird? Außerdem habe ich gesehen, daß man bei den Webmastertools auch eine Adressänderung anzeigen kann, also Google bekannt machen, daß man künftig statt Branding-Domain nun Keyword-Domain nehmen will (falls man es will) und ist damit dann "alles gut" (bis auf die Problematik mit dem jeweiligen Domain-Alter)?

4 lava

P.S. Problem jetzt: mit der 301-Weiterleitung ändert sich natürlich auch die in der Browserleiste angezeigte URL; wenn ich das NICHT will und www.firmenname.eu und (www bzw firmenname).hauptkeyword.de noch parallel benutzen will, aber nur noch das letztere für Suchmaschinen pushen, dann müßte ich wohl doch wieder denselben Pfad eintragen - hätte dann aber das Problem, daß ich das Crawlen ja dann nicht auf der einen Domain verbieten und auf der anderen Domain erlauben kann, wenn die sich einen Pfad teilen, denn die robots.txt würde ja dann auch im gemeinsamen Pfad stehen und könnte nicht unterscheiden, ob sie nun alles-verbieten soll (bei Aufruf von der nicht mehr gepushten Domain aus) oder die-gewünschten-Inhalte-erlauben soll (bei Aufruf von der gepushten Domain)....

5 Jörg Kruse

Zitat von lava

In diesem Kundenmenü trägt man auch ein, welchem Pfad auf dem Server die jeweilige Domain bzw. Subdomain entsprechen soll:

Bitte geben Sie ein, auf welchen Pfad Ihres Webspace die (Sub-)Domain zeigen soll, z.B. / oder /mayer
Für eine externe Header-Weiterleitung geben Sie einfach die URL, z.B. http://faq24.de, an.
Bitte beachten Sie, dass auf Scripte mit Parameterangaben nicht weitergeleitet werden kann!

Hier hatte mein Kollege einfach für die Keyword-Domain bzw. zugehörige Subdomain (also für www.mein-hauptkeyword.eu bzw.
firmenname.mein-hauptkeyword.eu) denselben Pfad wie für die bisherige Branding-Domain www.firmenname.de eingetragen - und ich bezweifle, daß das dann keinen duplicate content erzeugt.

Die Domains erhalten hierbei wohl denselben DocumentRoot und sind dann auch Dubletten

Bei der genannten alternativen "externen Header-Weiterleitung" müsste noch sichergestellt werdn, dass mit dem korrekten Status Code weitergeleitet wird (301). Mit deiner .htacces bist du da aber wohl auf der sicheren Seite

Seh ich das richtig, daß im Falle eines Umzugs von Branding- auf Keyword-Domain dasselbe dann gerade anders herum gemacht werden müßte, d.h. daß dann die Branding-Domain einen eigenen Pfad kriegt, von wo aus nur noch zur neuen Keyword-Domain umgeleitet wird?

Außerdem habe ich gesehen, daß man bei den Webmastertools auch eine Adressänderung anzeigen kann, also Google bekannt machen, daß man künftig statt Branding-Domain nun Keyword-Domain nehmen will (falls man es will) und ist damit dann "alles gut" (bis auf die Problematik mit dem jeweiligen Domain-Alter)?

Die Möglichkeit kannte ich noch nicht, ist wohl relativ neu. Das sollte dann wohl auch funktionieren. Ich bevorzuge allerdings Weiterleitungen über die .htaccess - da dann auch Yahoo, Bing-Live-MSN und andere informiert sind.

6 Jörg Kruse

Zitat von lava

P.S. Problem jetzt: mit der 301-Weiterleitung ändert sich natürlich auch die in der Browserleiste angezeigte URL; wenn ich das NICHT will und www.firmenname.eu und (www bzw firmenname).hauptkeyword.de noch parallel benutzen will, aber nur noch das letztere für Suchmaschinen pushen, dann müßte ich wohl doch wieder denselben Pfad eintragen - hätte dann aber das Problem, daß ich das Crawlen ja dann nicht auf der einen Domain verbieten und auf der anderen Domain erlauben kann, wenn die sich einen Pfad teilen, denn die robots.txt würde ja dann auch im gemeinsamen Pfad stehen und könnte nicht unterscheiden, ob sie nun alles-verbieten soll (bei Aufruf von der nicht mehr gepushten Domain aus) oder die-gewünschten-Inhalte-erlauben soll (bei Aufruf von der gepushten Domain)....

Du könntest das auch über die Webmaster Tools festlegen. Das Hauptproblem bei Dubletten ist die Zersplitterung der Linkkraft, nicht dass Google die Dubletten indiziert. Ein Crawlingverbot würde nichts an diesem Problem ändern.

7 lava

Zitat von Jörg

Du könntest das auch über die Webmaster Tools festlegen.

Nein, wie denn? Ich würde ja wollen, daß die Leute, die die Seite selber aufrufen mit dem bekannten www.firmenname.de , oben im folgenden immer noch www.firmenname.de haben, aber daß wir für Google mehr firmenname.hauptkeyword.eu pushen und Leute, die über diese Domain kommen, auch dort bleiben - dann hab ich echten doppelten Inhalt, aber leider kann ich die "bevorzugte Domain" wirklich nur jeweils pro Domain und sogar pro Subdomain wählen (nur: mit/ohne www), also zwischen www.firmenname.de und firmenname.de, separat zwischen www.hauptkeyword.eu und hauptkeyword.eu, separat zwischen firmenname.hauptkeyword.eu und www.firmenname.hauptkeyword.eu ... :(

Das Hauptproblem bei Dubletten ist die Zersplitterung der Linkkraft, nicht dass Google die Dubletten indiziert.

Ähm, ist es nicht so, daß sich Google von Dubletten so "verarscht" fühlt, daß es dann zur Strafe keine der Dubetten mehr anzeigt???

8 Jörg Kruse

Nein, wie denn? Ich würde ja wollen, daß die Leute, die die Seite selber aufrufen mit dem bekannten www.firmenname.de , oben im folgenden immer noch www.firmenname.de haben, aber daß wir für Google mehr firmenname.hauptkeyword.eu pushen und Leute, die über diese Domain kommen, auch dort bleiben - dann hab ich echten doppelten Inhalt, aber leider kann ich die "bevorzugte Domain" wirklich nur jeweils pro Domain und sogar pro Subdomain wählen (nur: mit/ohne www), also zwischen www.firmenname.de und firmenname.de, separat zwischen www.hauptkeyword.eu und hauptkeyword.eu, separat zwischen firmenname.hauptkeyword.eu und www.firmenname.hauptkeyword.eu ... :(

Dann wirst du vermutlich das Problem bekommen, dass neue Links auf die neue gepuschte Domain gehen, während viele alte Links noch auf die alte Domain verweisen. Google wird eine der Dubletten filtern - welche das ist, kannst du nur schwer beeinflussen, wenn du auf die Weiterleitung verzichtest. Am Ende hast du eine Dubletten, die nur mittelmäßig rankt, statt einer Standarddomain, die gut rankt. Nicht wegen einer Bestrafung seitens Google, sondern, weil ein Teil der Linkpopularity durch die Filterung verloren geht

Das Hauptproblem bei Dubletten ist die Zersplitterung der Linkkraft, nicht dass Google die Dubletten indiziert.

Ähm, ist es nicht so, daß sich Google von Dubletten so "verarscht" fühlt, daß es dann zur Strafe keine der Dubetten mehr anzeigt???

Nein, das ist ein verbreitetes SEO-Märchen. Siehe hierzu auch den Artikel Demystifying the 'duplicate content penalty' im Google Webmaster Blog

9 lava

Ok, danke für die Info, lese mir das gleich mal durch.

10 Jörg Kruse

Noch ein Nachtrag

Google schreibt hier:

Gelegentlich wird Content jedoch bewusst auf verschiedenen Domains dupliziert mit der Absicht, das Ranking bei Suchmaschinen zu beeinflussen oder mehr Zugriffe auf sich zu ziehen. Derart unfaire Verhaltensweisen können zu einer negativen Nutzererfahrung führen, da den Besuchern im Grunde derselbe Content in einer Reihe von Suchergebnissen angezeigt wird.

Ein Catchall ist für sich genommen sicher noch ungefährlich. Was anderes ist es, wenn eine größere Anzahl dieser Domains massiv verlinkt wird - dadurch werden diese ja praktisch in den Google Index "geschoben". Bei zwei gut verlinkten Dubletten-Domains würde ich auch noch nicht unbedingt davon ausgehen, dass Google eine Manipulation erkennt und eine Abstrafung in Betracht zieht - es kommt sehr häufig vor, dass unerfahrene Webmaster mehrere Domains demselben Webspace zuordnen. Aber wer auf Nummer sicher gehen möchte, vermeidet am besten solche Dubletten. Allerdings kann auch ohne Penalty der Schaden schon recht groß sein, wenn wegen der Dublettenfilter immer nur eine Dublette im Index überlebt und die Linkpopularität der anderen Dubletten sozusagen für die Katz ist. Schon alleien deswegen würde ich per Weiterleitung + 301 eine Standarddomain definieren

nach oben

URL-Catchall -> duplicate content?

Beitrag schreiben (als Gast)