Die Sumas und der "noindex"

msn und Yahoo können es nicht lassen

Naja, es ist weniger so, dass sie etwas mutwillig tun, was sie unterlassen sollten, sondern eher, dass sie schlampig etwas unterlassen, was sie eigentlich tun sollten.

In den Index aufnehmen müssen alle Suchmaschinen die betreffenden Seiten - wenn sie das nicht tun, können sie ja nicht in Erfahrung bringen, welche Meta-Angabe für robots diese enthält; und sie müssen die Seite auch weiterhin crawlen und speichern, denn die Angabe könnte sich ja ändern. Im praktischen Sinne läuft ein "noindex" also darauf hinaus, dass die Suchmaschinen die im Index gespeicherten Seiten, die ein "noindex" aufweisen, in en Suchergebnisseiten nicht anzeigen, also aktiv ausblenden. Google und Ask gehen hierbei sehr gründlich vor, MSN und Yahoo weniger gründlich. Aber solche Schlampereien ist man zumindest von Yahoo ja schon gewohnt

MSN und Yahoo zeigen etwas was der Seitenersteller nicht möchte.

Aber was genau möchte denn der Seitenersteller nicht angezeigt haben? Es gibt ja keinen Standard, der das konkret festlegt. MSN und Yahoo interpretieren das "noindex" lediglich so, dass sie kein Snippet mehr anzeigen - die URL wird dennoch angezeigt. Und auch Google verhält sich exakt so, wenn eine Seite nicht über die Meta-Angabe, sondern in der robots.txt gesperrt ist: kein Snippet, aber eine URL - siehe hierzu auch der Kommentar von Maurice und Matt Cutts Antwort. Einwenig sitzt MC hier also auch im Glashaus

Interessant auch noch der Hinweis von Danny Sullivan: Yahoo zeigt möglcherweise deswegen noch den Cache an, da dieser nicht über "noarchive" gesperrt ist.