Internet Archive will robots.txt ignorieren

Das Internet Archiv ist der Meinung, dass Anweisungen in der robots.txt für Suchmaschinen sich nicht eignen für ein Webarchiv, und möchte diese deswegen in Zukunft ignorieren:

https://blog.archive.org/2017/04/17/robots-txt-meant-for-search-engines-dont-work-well-for-web-archives/

Siehe hierzu auch den Bericht auf heise:

https://www.heise.de/newsticker/meldung/Archivierung-des-Internets-Internet-Archive-ignoriert-kuenftig-robots-txt-3693558.html