20 Jahre robots.txt

Wirklich interessant, wenn man mal zurückblickt. Alles, was einem heute so selbstverständlich erscheint, als wäre es immer da gewesen... gibt es teilweise noch gar nicht allzu lange!