1
Letztens ist der msnbot in meine Bottrap gefallen, d.h. er hat eine URL gespidert, die in der robots.txt für alle Bots gesperrt ist. Die IP-Adresse gehörte zu Microsoft, der Bot war also kein Fake.
Thema | Autor | Forum | Beiträge | Letzter Beitrag |
---|---|---|---|---|
MSNBOT_Mobile MSMOBOT | Jörg Kruse | Traffic-Analyse | 1 | 17.11.2007 17:18 |