Zur Navigation

Status: (N/A) Forbidden by robots.txt

1 sicont

Hallo Jörg,
jetzt muss ich das nochmals hochholen.

Ich habe heute einen Linkcheck meiner Kontaktseite gemacht und als Ergebnis bekommen:

    Status: (N/A) Forbidden by robots.txt

    The link was not checked due to robots exclusion rules.

Es handelt sich um ein gif, das auf einer anderen Seite liegt. Genauer gesagt um den Xing-Button, um auf mein dortiges Profil zu verlinken.

Gibt es hier einen Ausweg für diese unschöne Meldung

Meine robots.txt heisst:

User-agent: *
Disallow: 
Sitemap: http://www.domain.de/sitemap.xml

Viele Grüße
Micha

04.11.2011 00:18

2 Jörg Kruse

Zitat von sicont
Ich habe heute einen Linkcheck meiner Kontaktseite gemacht und als Ergebnis bekommen:

    Status: (N/A) Forbidden by robots.txt

    The link was not checked due to robots exclusion rules.

Wie bzw. womit hast du diesen Linkcheck gemacht?

Es handelt sich um ein gif, das auf einer anderen Seite liegt. Genauer gesagt um den Xing-Button, um auf mein dortiges Profil zu verlinken.

Der Button selbst ist ja nicht verlinkt, sondern dient nur als Linkgrafik? überprüft dein Linkcheck auch eingebundene Bilder? das kann dir doch egal sein, ob Suchmaschinen Grafiken von anderen Domains indizieren dürfen?

Gibt es hier einen Ausweg für diese unschöne Meldung

Wenn der Button auf einer anderen Domain liegt, ist die dortige robots.txt für Indizierungsverbote zuständig. Im Fall von XING:

http://www.xing.com/robots.txt

Ich halte es auch für angemessen, Grafiken vom Crawlen auszuschließen, damit diese nicht in der Google-Bildersuche erscheinen. Wichtig ist doch, dass die verlinkten Webseiten indiziert werden. Wobei dies bei externen Seiten, wie einem XING-Profil, nicht in deiner Hand liegt, sondern in der des jeweilgen Webseitenbesitzers.

PS: ich trenne das hier mal ab, da dies nichts mehr mit "403 Forbidden" zu tun hat

04.11.2011 09:08 | geändert: 04.11.2011 09:13

3 sicont

Danke für die Antwort.

Achja, da ist ja die robots.txt von Xing zuständig.

Den Link-Check habe ich übrigens mit der Firefox-Erweiterung Web Developer gemacht.

04.11.2011 09:32

Beitrag schreiben (als Gast)

Die Antwort wird nach der Überprüfung durch einen Moderator freigeschaltet.





[BBCode-Hilfe]