Nutch

Ich hab auch zwei, die ich nicht kenne - wir könnten diese UAs mal in ein Thema 'Guter Bot - Böser Bot' fassen :)

Die zwei hier sind mir verdächtig, besonders der letzte:

NutchCVS/0.8-dev (Nutch; http://lucene.apache.org/nutch/bot.html; nutch-agent@lucene.apache.org)

SBIder/0.8-dev (SBIder; http://www.sitesell.com/sbider.html; http://support.sitesell.com/contact-support.html)

Sollte ich die ausschließen?

Ist er bei dir negativ aufgefallen?

Könnte ich nicht sagen, er ist in den pool gewandert. Ich kannte den Bot nicht, aber wie ich das sehe, kann den ja jeder betreiben. Die Frage ist
1) sollte man kategorisch alles rausfiltern, was keine wirkliche Suchmaschine ist?
2) wie merke ich, ob er 'negativ' ist?

Das GB ist nicht plötzlich wieder voller Spam, wenn Du das meinst.

zu 1) dazu müsste man erst einmal definieren, was eine "wirkliche" Suchmaschine ist

zu 2) Negativ ist meiner Einschätzung nach:

- wenn ein Bot sich die robots.txt gar nicht erst anschaut

- er die robots.txt zwar anschaut, aber missachtet

- es keine vernünftige Infoseite gibt, die im UA mitgeteilt wird

- auf der ersten Suchergebnisseite bei Google negative Kommentare zu finden sind