@Gustafsson
die Spider Trap ist eine Art automatisierte Bot Trap (Bot-Falle).
Ein Bot Trap funktioniert folgendermaßen:
In einem von der robots.txt verbotenen Bereich wird ein Script platziert, dass User Agent, IP etc. der Aufrufe erfasst. Das Script wird an prominenter Stelle verlinkt. Die registrierten Aufrufe kann man Bots zuordnen, die sich nicht an die Anweisungen der robots.txt halten, oder menschlichen Besuchern, die sich dorthin verirrt haben.
Die Spider Trap automatisiert das Ganze, indem sie die IP der gefangenen Bots in eine Sperrliste der .htaccess schreibt. Zusätzlich arbeitet sie noch mit einer White und einer Black List. Die Funktionsweise im einzelnen ist hier beschrieben:
Funktionsweise - Spider Trap