Zur Navigation

SBIder

1 Jörg Kruse

Zitat von C)-(iLL@
Die zwei hier sind mir verdächtig, besonders der letzte:


[...]

SBIder/0.8-dev (SBIder; http://www.sitesell.com/sbider.html; http://support.sitesell.com/contact-support.html)


Sollte ich die ausschließen?

(Antwort folgt noch)

25.04.2006 10:17 | geändert: 25.04.2006 10:18

2 Jörg Kruse

Inweifern verdächtig - Missachtung der robots.txt? Bei mir ist der Bot bislang noch nicht negativ aufgefallen. Die Infoseite ist zumindest recht ordentlich:

http://www.sitesell.com/sbider.html

SBider basiert demnach auch auf Nutch

25.04.2006 10:28

3 Mario

den Sbider hab' ich noch nicht gesperrt. Kommen die meist über die gleichen IPs?


Mario

25.04.2006 10:29 | geändert: 25.04.2006 10:46

4 C)-(iLL@

robots.txt habe ich nicht. Sollte ich eine anlegen, um zu gucken, ob er in eine Seite wandert, wo er nicht hindarf, um zu entdecken, ob er aggressiv ist? Mein Catcher ist seit gestern installiert... ich dachte nicht, dass da innerhalb kürzester Zeit so viele Bots rumschwirren :)

Zitat von Sitesell support
SiteSell is gathering a statistical representation of topics presented on the Web as a whole [...] allowing our customers to know the percentage of Web pages that are about any particular topic.
Nun ja, und was bringt mir das? ^^ Mit Ranking hat das ja wenig zu tun.

Our software obeys the robots.txt exclusion standard, described at...
Soweit scheint er wenigstens in Ordnung.

Danke für die Info.

25.04.2006 10:36

5 Jörg Kruse

Die Beiträge zu Rudys Catcher habe ih hierhin verschoben:

Bot-Catcher

Ein Satz, der für diesen Thread noch interessant ist, kopier ich mal hier hinein:

Zitat von C)-(iLL@
@Mario: der Sbider kommt über den IP-Block 64.34.145.*

25.04.2006 14:22

Beitrag schreiben (als Gast)

Die Antwort wird nach der Überprüfung durch einen Moderator freigeschaltet.





[BBCode-Hilfe]