Zur Navigation

soll man den ganzen IP-Block sperren?

1 Mario

folgender Crawler versucht auf all meinen Domains folgende Dateien zu bekommen:


Mozilla/4.0 (compatible; MSIE 6.0; Windows 98)
168.70.241.36 HK HONG KONG - - HKTNET
NetRange: 168.70.0.0 - 168.70.255.255

Soll man desswegen den ganzen Block 168.70.(0-255). sperren oder ist das ein unendliches Spiel?

er sucht nach folgenden Seiten und bekommt als Dank natürlich nur 404-er oder 403-er ;)

GET /thisdoesnotexistahaha.php HTTP/1.1
GET /modules/newbb_plus/class/forumpollrenderer.php HTTP/1.1
GET /WebCalendar/tools/send_reminders.php HTTP/1.1
GET /webcalendar/tools/send_reminders.php HTTP/1.1
GET /cal/tools/send_reminders.php HTTP/1.1
GET /Calendar/tools/send_reminders.php HTTP/1.1
GET /calendar/tools/send_reminders.php HTTP/1.1
GET /protection.php HTTP/1.1
GET /modules/AllMyGuests/signin.php HTTP/1.1
GET /classes.php HTTP/1.1
GET /extensions/moblog/moblog_lib.php HTTP/1.1
GET /modules/newbb_plus/class/forumpollrenderer.php HTTP/1.1
GET /mambo/index2.php?option=com_content&do_pdf=1&id=1 HTTP/1.1
GET /mambo/index.php?option=com_content&do_pdf=1&id=1 HTTP/1.1
GET /index2.php?option=com_content&do_pdf=1&id=1 HTTP/1.1
GET /cvs/index2.php?option=com_content&do_pdf=1&id=1 HTTP/1.1
GET /cvs/index.php?option=com_content&do_pdf=1&id=1 HTTP/1.1
GET /modules/coppermine/themes/default/theme.php HTTP/1.1
GET /awstats.pl HTTP/1.1
GET /cgi-bin/awstats.pl HTTP/1.1
GET /awstats/awstats.pl HTTP/1.1
GET /cgi-bin/awstats/awstats.pl HTTP/1.1
GET /cgi/awstats/awstats.pl HTTP/1.1
GET /scgi/awstats/awstats.pl HTTP/1.1
GET /scripts/awstats.pl HTTP/1.1
GET /cgi-bin/awstats/awstats.pl HTTP/1.1
GET /cgi-bin/stats/awstats.pl HTTP/1.1
GET /stats/awstats.pl HTTP/1.1
GET /blog/xmlrpc.php HTTP/1.1
GET /blog/xmlsrv/xmlrpc.php HTTP/1.1
GET /blogs/xmlsrv/xmlrpc.php HTTP/1.1
GET /drupal/xmlrpc.php HTTP/1.1
GET /phpgroupware/xmlrpc.php HTTP/1.1
GET /wordpress/xmlrpc.php HTTP/1.1
GET /xmlrpc.php HTTP/1.1
GET /xmlrpc/xmlrpc.php HTTP/1.1
GET /xmlsrv/xmlrpc.php HTTP/1.1
GET /services/xmlrpc.php HTTP/1.1
GET /html/xmlrpc.php HTTP/1.1


Mario

30.03.2006 10:23 | geändert: 30.03.2006 10:32

2 Jörg Kruse

Soll man desswegen den ganzen Block 168.70.(0-255). sperren oder ist das ein unendliches Spiel?

Naja, es gibt schon sehr viele Proxies, eine Sperrliste kann dann irgendwann schon sehr lang werden...

Manche gehen sogar schon dazu über, gleich alle IP-Bereiche auszusperren, die APNIC zugeordnet sind, also alles was von Asien/Ozeanien kommt (siehe hierzu IPV4 Adress-Space-Liste von IANA). Das ist dann allerdings schon mit Kanonen auf Spatzen schießen ;)

30.03.2006 13:16

3 Mario

Jörg soll das heissen, dass Du persönlich solche Flegel nicht aussperrst?

Mario

30.03.2006 13:37

4 Marcel (Gast)

Ich bin total unwissend.
Kann mir jemand erklären was so etwas für einen Schaden anrichten kann und was der eigentliche Nutzen dieses "crawlen" ist?
Danke.

30.03.2006 14:05

5 Mario

es gibt offenbar genügend Webmaster die solche Verzeichnisse und Dateien nicht schützen und der "Flegel" dann auf den Servern Unheil anrichten kann. Vielleicht aber dienen solche Scans auch nur Statistikzwecken. Man weiss halt nie.

Mario

30.03.2006 15:30

6 Jörg Kruse

Ja, die Bots scannen nach Sicherheitslücken in verbreiteter Web-Software wie AWStats, Wordpress, Mambo etc.

Wichtig ist in allererster Linie, dass man die Scripte auf seinen Seiten immer auf dem neuesten Stand hält und gegebenenfalls auch in geschützten Verzeichnissen unterbringt (z.B. AWStats).

Das Sperren solcher IP-Ranges bietet keinen ausreichenden Schutz, weil es wie gesagt viel zu viele solcher Proxies gibt. Aber man kann den nutzlosen Traffic und andere schädliche Effekte (Emailgrabbing, Contentgrabbing, Kommentar-Spamming etc.) etwas eindämmen

30.03.2006 16:51 | geändert: 30.03.2006 16:52

7 Mario

meist ändern die Bots auch blitzschnell die IP-Bereiche, suchen sich so jedes Türchen das offen steht.

Gibt es eigentlich eine Möglichkeit Proxies auszumachen und diese per htaccess gesondert zu behandeln?

Mario

30.03.2006 18:39

8 Jörg Kruse

Du meinst ein Merkmal, dass eine IP als Proxy kennzeichnet? Das gibt es nicht, man muss die IPs schon manuell abgleichen

31.03.2006 00:43

9 Mario

wenn ich über gewisse Proxies auf Google will, erkennen die das und lassen mich nicht rein. Läuft sowas nur über die IP-Kennung oder gibt es da noch andere Merkmale.

Mario

31.03.2006 08:16

10 Christian s. (Gast)

Hallo Ihr !

bin zufällig über Google auf eure Diskussion gestoßen, weil Jörg hier etwas erwähnt hat, für dass ich eine Lösung suche.

Manche gehen sogar schon dazu über, gleich alle IP-Bereiche auszusperren, die APNIC zugeordnet sind, also alles was von Asien/Ozeanien kommt (siehe hierzu IPV4 Adress-Space-Liste von IANA). Das ist dann allerdings schon mit Kanonen auf Spatzen schießen ;)

Obwohl ich nix bedeutsames auf meinem Server habe, nerven mich die Skriptkiddys aus Asien und da es völlig reichen würde, wenn mein Webserver in Europa erreichbar ist, würde ich gerne Asien/Ozeanien sperren. Aber wie kriege ich die (sich ändernden) IP`s in die .htaccess meines Apache ???

Danke für Tips

Christian

11.08.2006 13:57