Zur Navigation

Spider Trap

1 Mario670

Ich nutze häufig die Spider Trap, das bweirkt zumindest schonmal das sich alles Gesindel was sich nicht an die robots.txt hält schnell Feierabend hat

02.04.2006 00:07

2 Gustafsson

moin,

spider trap ? kann mir bitte jemand (für einen anfänger/nichtwisser) erklären was das tool genau macht und wie es das macht ?

gruß uwe

02.04.2006 08:11

3 Mario

Hallo Mario670

schön Dich hier zu sehen ;)

Meine .htacess baut ursprünglich auf spider-trap auf, wurde aber ergänzt mit ein paar wichtigen Regeln. Eine händische Anpassung bleibt wohl immer zu machen. Ein kleines Lebenswerk, würde man allen möglichen Varianten nachgehen. Aber spider-trap ist ein guter Anfang um die Bösewichte erst mal zu fangen und dann auszuschliessen. In diesem Bereich ist es wie an einem Maskenball, sie verkleiden sich, machen sich schön und nach der Demaskierung stellt man vielleicht fest, dass die Sie ein Er war. :)



Mario

02.04.2006 08:13

4 Jörg

@Gustafsson

die Spider Trap ist eine Art automatisierte Bot Trap (Bot-Falle).

Ein Bot Trap funktioniert folgendermaßen:
In einem von der robots.txt verbotenen Bereich wird ein Script platziert, dass User Agent, IP etc. der Aufrufe erfasst. Das Script wird an prominenter Stelle verlinkt. Die registrierten Aufrufe kann man Bots zuordnen, die sich nicht an die Anweisungen der robots.txt halten, oder menschlichen Besuchern, die sich dorthin verirrt haben.

Die Spider Trap automatisiert das Ganze, indem sie die IP der gefangenen Bots in eine Sperrliste der .htaccess schreibt. Zusätzlich arbeitet sie noch mit einer White und einer Black List. Die Funktionsweise im einzelnen ist hier beschrieben:

Funktionsweise - Spider Trap

02.04.2006 09:16 | geändert: 02.04.2006 09:33

5 Mario

Gustaffson hier steht es relativ ausführlich geschrieben

Mario

02.04.2006 09:26

6 Mario

@Jörg

was bedeutet denn "..." ?

Mario

02.04.2006 09:28

7 Jörg

@Mario

Ich brauchte den Beitrag zum Eröffnen des Threads - jetzt hat er aber auch einen Inhalt ;)

02.04.2006 09:31

8 Gustafsson

bedeutet also, wenn ich nicht möchte das ein verzeichnis "nasenbaer" gespidert wird (bilder) schreibe ich in die robots.txt

User-agent: *
Disallow: /nasenbaer/


und nochmals

User-Agent: Googlebot
Disallow: /nasenbaer/


@jörg
spider trap... lohnt sich das für mich und meine seiten?

gruß uwe

02.04.2006 10:05

9 Jörg

Du kannst es ja mal testweise auf einer Seite ausprobieren, dann siehst du ja, was hängenbleibt :)

02.04.2006 10:37

10 Mario670

Also ich behaupte mal die Spider Trap lohnt immer, egal für welche Seite, es ist unglaublich was da täglich reinläuft.

Bei stark verlinkten Seiten hab ich schon über 500 IPs in der Blacklist und das in nur sehr kurzer Zeit.

03.04.2006 02:31 | geändert: 03.04.2006 02:33