Zur Navigation

larbin über .htaccess sperren

1 maschu

kann man doch beide aussperren, oder nur den ersten? Wer hat mit larbin Erfahrung?


66.80.248.146
larbin_2.6.3 (larbin2.6.3@unspecified.mail)

und

84.148.120.183
Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.4) Larbin/2.6.3 larbin@unspecified.mail

Gruß

01.03.2006 14:38

2 Jörg Kruse

Hallo maschu,

Larbin ist ein Webcrawler, der unter der GPL steht und frei erhältlich ist:

Larbin - Web crawler généraliste (für englische Übersetzung auf britische Flagge klicken)

Nutzen kann ihn also jeder - wer hinter einem solchen Crawler steht, könnte man höchstens noch über die IP in Erfahrung bekommen.

Direkte negative Erfahrungen habe ich noch keine gemacht - in meinem Bottrap war er noch nicht

Wenn du die verschiedenen Varianten aussperrn möchtest, würde ich das mit folgender RewriteCond versuchen:

RewriteCond %{HTTP_USER_AGENT} larbin [NC,OR]

01.03.2006 15:36 | geändert: 01.03.2006 15:39

3 maschu

Hallo Jörg

besten Dank für die schnelle Rückmeldung. Wie ich ihn aussperre ist mir schon klar, aber ob ich generell alles was im UA "larbin" enthält aussperren soll oder nur wenn der String mit mit "larbin" beginnt (^larbin). Ich denke es gibt doch sicher keine anderen Crawler mit der Teilkennung ...larbin.... Wenn dem so ist, verwende ich den finalen Töter:

RewriteCond %{HTTP_USER_AGENT} larbin [NC,OR]

und nicht nur

RewriteCond %{HTTP_USER_AGENT} ^larbin [NC,OR]



01.03.2006 16:15

4 Jörg Kruse

Ich denke es gibt doch sicher keine anderen Crawler mit der Teilkennung

Ja, das denke ich auch, dass der String 'larbin' kennzeichnend ist für diesen Crawler. Theoretisch können zwar auch andere Clients einen derartigen User Agent übermitteln, aber das wäre dann nichts weiter als Maskerade - jedenfalls nichts wichtiges, was man nicht hätte sperren sollen.

01.03.2006 18:28

5 maschu

so genau habe ich mir das auch überlegt.

Besten Dank

01.03.2006 18:47

Beitrag schreiben (als Gast)

Die Antwort wird nach der Überprüfung durch einen Moderator freigeschaltet.





[BBCode-Hilfe]