robots.txt Besucher

Hallo,

was ich nicht gedacht hätte ... Bots sind wirklich lernfähig. Hatte ich noch anfangs Probleme mit Bots die sich nicht an die Regeln halten (wurden dann per .htaccess gesperrt) halten diese sich inzwischen (wurden nach einer Pause wieder aus der .htaccess entfernt) an die Regeln der robots.txt.

Das hat mich doch überrascht.

Was mich aber auch überrascht ... immer mehr einfache User-Agenten (also ohne Bot-Kennung) besuchen die robots.txt. Das ist ja wohl für normale Besucher einer Webseite eher unüblich ...

Mit freundlichen Grüßen - Jan

Hallo Jörg,

warum sollte sich auch ein normaler Besucher für die robots.txt interessieren ... auf die Idee da da auch Bots hinter stecken könnten bin ich noch gar nicht gekommen :-/

Da die letzte IP-Stelle vom Hoster auf 0 gesetzt ist hilft da eine Abfrage ja leider nichts :-(

Aber AbuseIPDB ist interessant, kannte ich bisher nicht wirklich. Hab mich heute aufgrund deines Hinweises dort mal genauer umgesehen. Leider ist auf dem betreuten Server kein Fail2Ban vorhanden (Shared Hosting). Aber melden kann man ja entsprechende IPs wenigstens.

Mit freundlichen Grüßen - Jan