Zur Navigation

was will der Crawler mit der UA: Java/1.4.1_04 sammeln?

1 Mario

bei mir schaut täglich ein Crawler mit der UA-Kennung Java/1.4.1_04 vorbei. Allerdings ist er über die .htaccess gesperrt. Er verändert auch sein Gesicht, also seine ip

Was sammelt der liebe bot denn eigentlich?

Mario

27.03.2006 10:31

2 Jörg

Das können verschiedene Bots oder auch Besucher sein, die die Java Library nutzen; ich hatte allerdings schon mehrere in meinem Bottrap - und auch im Netz werden diese User Agents überwiegend als negativ gewertet und dementsprechend gesperrt, so z.B. auf webmasterworld.com:

Hit by Java/1.4.x_xx crawlers

In Beitrag 4 werden auch zwei positive Ausnahmen genannt, die man gegebenenfalls berücksichtigen sollte...

27.03.2006 11:57 | geändert: 27.03.2006 11:58

3 Mario

da sind noch 2 Fehler im Script von "Bull"

richtig heisst es:

RewriteCond %{HTTP_USER_AGENT} ^Java
RewriteCond %{REMOTE_ADDR} !^217\.78\.47\.35$
RewriteCond %{REMOTE_ADDR} !^216\.239\.(3[0-9])\.
RewriteRule .* - [F]



mit Leerzeichen vor dem Ausrufezeichen also, sonst funzt es nicht

Mario

04.04.2006 08:55

4 Jörg

Ja, der reguläre Ausdruck muss durch Leerzeichen von anderen Bestandteilen der RewriteRule bzw. RewriteCond getrennt sein

04.04.2006 10:24

Beitrag schreiben (als Gast)

Beim Verfassen des Beitrages bitte die Forenregeln beachten.





[BBCode-Hilfe]