robots.txt habe ich nicht. Sollte ich eine anlegen, um zu gucken, ob er in eine Seite wandert, wo er nicht hindarf, um zu entdecken, ob er aggressiv ist? Mein Catcher ist seit gestern installiert... ich dachte nicht, dass da innerhalb kürzester Zeit so viele Bots rumschwirren :)
Zitat von Sitesell support
SiteSell is gathering a statistical representation of topics presented on the Web as a whole [...] allowing our customers to know the percentage of Web pages that are about any particular topic.
Nun ja, und was bringt mir das? ^^ Mit Ranking hat das ja wenig zu tun.
Our software obeys the robots.txt exclusion standard, described at...
Soweit scheint er wenigstens in Ordnung.
Danke für die Info.