Zur Navigation

Internet Archive will robots.txt ignorieren

1 Jörg Kruse

Das Internet Archiv ist der Meinung, dass Anweisungen in der robots.txt für Suchmaschinen sich nicht eignen für ein Webarchiv, und möchte diese deswegen in Zukunft ignorieren:

https://blog.archive.org/2017/04/17/robots-txt-meant-for-search-engines-dont-work-well-for-web-archives/

Siehe hierzu auch den Bericht auf heise:

https://www.heise.de/newsticker/meldung/Archivierung-des-Internets-Internet-Archive-ignoriert-kuenftig-robots-txt-3693558.html

25.04.2017 14:41

1 Forenmitglied fand diesen Beitrag gut

Nur Mitglieder können in diesem Forum Antworten schreiben.

Login | Registrieren