1
Das Internet Archiv ist der Meinung, dass Anweisungen in der robots.txt für Suchmaschinen sich nicht eignen für ein Webarchiv, und möchte diese deswegen in Zukunft ignorieren:
https://blog.archive.org/2017/04/17/robots-txt-meant-for-search-engines-dont-work-well-for-web-archives/
Siehe hierzu auch den Bericht auf heise:
https://www.heise.de/newsticker/meldung/Archivierung-des-Internets-Internet-Archive-ignoriert-kuenftig-robots-txt-3693558.html
https://blog.archive.org/2017/04/17/robots-txt-meant-for-search-engines-dont-work-well-for-web-archives/
Siehe hierzu auch den Bericht auf heise:
https://www.heise.de/newsticker/meldung/Archivierung-des-Internets-Internet-Archive-ignoriert-kuenftig-robots-txt-3693558.html