Status: (N/A) Forbidden by robots.txt

Zitat von sicont

Ich habe heute einen Linkcheck meiner Kontaktseite gemacht und als Ergebnis bekommen:

    Status: (N/A) Forbidden by robots.txt

    The link was not checked due to robots exclusion rules.

Wie bzw. womit hast du diesen Linkcheck gemacht?

Es handelt sich um ein gif, das auf einer anderen Seite liegt. Genauer gesagt um den Xing-Button, um auf mein dortiges Profil zu verlinken.

Der Button selbst ist ja nicht verlinkt, sondern dient nur als Linkgrafik? überprüft dein Linkcheck auch eingebundene Bilder? das kann dir doch egal sein, ob Suchmaschinen Grafiken von anderen Domains indizieren dürfen?

Gibt es hier einen Ausweg für diese unschöne Meldung

Wenn der Button auf einer anderen Domain liegt, ist die dortige robots.txt für Indizierungsverbote zuständig. Im Fall von XING:

http://www.xing.com/robots.txt

Ich halte es auch für angemessen, Grafiken vom Crawlen auszuschließen, damit diese nicht in der Google-Bildersuche erscheinen. Wichtig ist doch, dass die verlinkten Webseiten indiziert werden. Wobei dies bei externen Seiten, wie einem XING-Profil, nicht in deiner Hand liegt, sondern in der des jeweilgen Webseitenbesitzers.

PS: ich trenne das hier mal ab, da dies nichts mehr mit "403 Forbidden" zu tun hat