Zur Navigation

Fragen zur robots.txt und XML-Sitemap

1 Norbert (Gast)

Hallo Jörg

ich habe eine 301 Weiterleitung eingstellt und auch überprüft, passt jetzt

nachfolgendes Problem besteht noch

1. im Google Webmaster steht

Aufgrund einer robots.txt-Einschränkung können wir momentan nicht auf Ihre Startseite zugreifen.

in der robots.txt steht

User-agent: *
Disallow:

2. es lässt sich keine Sitemap erstelln, sprich es steht nur die Domain drin

3. es werden keine links auf der seite gefunden, und auch nicht bei Google in den Index aufgenommen

Gruß
Norbert

01.03.2008 15:02

2 Jörg Kruse

Hallo Norbert,

zu 1.:
die von dir aufgeführte robots.txt wird oft verwendet, um allen Bots das Crawlen generell zu erlauben - eigentlich solte es damit keine Probleme geben. Aber um sicher zu gehen, könntest du auch eine leere robots.txt anlegen

zu 2.:
meinst du die XML-Sitemap? und womit erstellst du diese?

zu 3.:
das liegt möglicherweise an 1.

01.03.2008 15:46 | geändert: 01.03.2008 15:47

3 Norbert (Gast)

Hallo Jörg

ich habe jetzt mal eine leere robots.txt hochgeladen, mal schauen was passiert

ich meine die XML Sitemap,

hier habe ich schon alles mögliche probiert

mit einem gsitemap Programm lokal
und auch Online

es kommt aber immer nur die Datei mit der Domain obwohl Links drin sind, habs mit http://www.webconfs.com/search-engine-spider-simulator.php

getestet

Gruß
Norbert

01.03.2008 15:54

4 Norbert (Gast)

das Problem ist immer noch da

auch mit der leeren robots

URL durch "robots.txt" eingeschränkt
Bei dem Versuch, auf Ihre Sitemap zuzugreifen, ist ein Fehler aufgetreten. Stellen Sie sicher, dass Ihre Sitemap unseren Richtlinien entspricht und dass der Zugriff an der von Ihnen angegebenen Position möglich ist. Reichen Sie anschließend die Daten erneut ein.

Gruß
Norbert

01.03.2008 16:21

5 Jörg Kruse

das Problem ist immer noch da

auch mit der leeren robots

URL durch "robots.txt" eingeschränkt

Rechts daneben steht in meinem Account noch ein Datum, wann dies festgestellt wurde (unte "Zuletzt berechnet")

ich meine die XML Sitemap,

hier habe ich schon alles mögliche probiert

mit einem gsitemap Programm lokal
und auch Online

es kommt aber immer nur die Datei mit der Domain obwohl Links drin sind, habs mit http://www.webconfs.com/search-engine-spider-simulator.php

getestet

Und Fehlermeldungen haben diese Tools keine ausgegeben? Ansonsten kann ich da auch nur spekulieren - wenn du mir einen Link zu deiner Site sowie der Sitemap gibst, könnte ich besser überprüfen, was da Probleme bereiten könnte

01.03.2008 16:38

6 Jörg Kruse

Wenn ich die Sitemap unter dem mir zugesandten Namen aufrufe, erhalte ich eine gewöhnliche HTML-Sitemap, keine XML-Sitemap - also kein Wunder, dass Google diese nicht akzeptiert :) Möglicherweise funkt da eine RewriteRule o.ä. wegen der Namensähnlichkeit dazwischen - ich würde die XML-Sitemap dann mal testweise umbennen - den neuen Namen kannst du Google ja mitteilen

Die robots.txt ist etwas umfangreicher, als von dir beschrieben - aber ich kann nicht erkennen, dass dort die Startseite gesperrt ist?

01.03.2008 17:09

7 Norbert (Gast)

Hallo Jörg

die Haupdomain ist nicht das Problem

die Domains mit der 301 auf das Unterverzeichnis sind das Problem

Gruß
Norbert

01.03.2008 17:14

8 Jörg Kruse

die Domains mit der 301 auf das Unterverzeichnis sind das Problem

Achso, du wolltest diese Weiterleitungs-Domains bei den Google Webmaster Tools anmelden? Diese haben keinen zu indizierenden Inhalt mehr, der liegt ja jetzt auf der Hauptdomain - es reicht völlig aus, dass du diese dort anmeldest. Die robots.txt wird wegen der 301-Weiterletung auf das Unterverzeichnis der Hauptdomain weitergeleitet - aber dort befindet sich natürlich keine robots.txt (diese müssen ja auch im Hauptverzeichnis liegen)

01.03.2008 17:28

9 nrrlh

Hallo

ganz am Anfang habe ich geschrieben

https://joergs-forum.de/domainweiterleitung-t-2656-1

ich habe dann auf meinem Webspace 2 Verzeichnisse angelegt und dort die Copy meiner Hauptdomain mit den internen (dann externen Links kopiert)

dann habe ich die 301 Domains auf die Verzeichnisse eingestellt

im Hauptverzeichniss die robots auf die unterverzeichnisse gesperrt
das ist wahrscheinlich das Problem, habs rausgenommen

was muss ich jetzt machen das alles funktioniert ??
google anmeldung wieder rausnehmen ??

warum sollten die nicht indiziert werden ??

gruß

Norbert

01.03.2008 17:54 | geändert: 01.03.2008 17:57

10 Jörg Kruse

Also es ist ja so:

du hast drei Domains:

1. die Hauptdomain abc.de

2. die Weiterleitungsdomain fgh.de leitet weiter auf abc.de/verzeichnis-1

3. die Weiterleitungsdomain ijk.de leitet weiter auf abc.de/verzeichnis-2

Alle Inhalte liegen also auf abc.de - nur diese musst du bei Google Webmaster Tools anmelden. Für alle Inhalte verantwortlich ist die Datei abc.de/robots.txt, in welcher die Verzeichnisse verzeichnis-1 und verzeichnis-2 nicht gesperrt sein sollten.

fgh.de und ijk.de können nicht indiziert werden, da sie über keinen Inhalt verfügen. Der Googlebot weiß durch die 301-Weiterleitung aber ja, dass es die Inhalte auf abc.de suchen soll

01.03.2008 18:08