ich meinte css files via robots.txt sperren
JS-Files sind nicht weniger potentiell böse wie CSS-Files, oder siehst du einen Grund, warum Google dort anders verfahren sollte? Ich habe dieses Alternativ-Beispiel angeführt, da Google mit seinem altbackenen HTML- und CSS-Output keine CSS-Files auslagert. Wenn du dir deren ausführliche robots.txt anschaust, kannst du dir aber an fünf Fingern abzählen, dass sie auch das Spidern eigener CSS-Dateien untersagen würden.
aber zw. google und einem halbwilden spambruder sind doch gewaltige unterschiede
Ja, und da beide potentiell böse Dateien vom Spidern ausschließen, taugt diese Verhaltensweise nicht als Unterscheidungskriterium zwischen einem Spambruder und einem Nicht-Spambruder; zumindest nicht in dem absoluten Sinne, wie das bei dir anklang, höchstens noch als eines unter mehreren Indizien