Zur Navigation

404 fehler

1 Gustafsson

moin,

in meinen stats finde ich bei einem projekt eine enorme häufung von 404 fehlern... gibts ne möglichkeit denen auf die schliche zu kommen ? ich bin etwas faul und möchte nicht über 200 seiten einzeln kontrollieren.

cu gust.

04.11.2005 09:15

2 Jörg Kruse

Hallo Uwe,

führen deine Stats auch die Seiten auf, die die 404er auslösen? Bei Awstats kann man sich diese z.B. anzeigen lassen, inklusive der verweisenden Seiten. Bei letzteren kann man dann tote LInks beseitigen (lassen).

Ansonsten kann man mit einem Tool wie Xenu's Link Sleuth die Verlinkung checken.

Manchmal sind aber nicht tote Links, sondern dumme Bots die Ursache für die 404 Fehler. Da hilft ein Blick in die Logfiles nach User Agent und IP, gegebenenfalls kann man diesen Bot dann einfach per .htaccess aussperren :) (Leider hatte ich mit Yahoo's Slurp mal derartige Probleme, den ich wegen seiner Bedeutung nicht so einfach aussperren konnte und für den ich dann eine etwas aufwendigere Lösung finden musste, siehe meine Webnotiz Yahoo kennt keine Verzeichnisse)

mfG Jörg

04.11.2005 09:39

3 Gustafsson

ja richtig ;-) da hab ich noch gar nicht geklickt.
es fanden sich dort nur aufrufe nach grafiken, das hing aber mit dem falsch angegebenen verweis auf den ordner der stats grafiken zusammen.

bei we-me.de findet sich aber folgendes ??
//http_ping_latency_check

cu uwe

04.11.2005 10:03

4 Jörg Kruse

Über Google findet man diesen Aufruf im Zusammenhang mit pureserver.info (1und1)

mfG Jörg

04.11.2005 10:52 | geändert: 04.11.2005 10:54

5 Gustafsson

dann kam das von dir ??

04.11.2005 11:15

6 Jörg Kruse

Von mir nicht :) - genaueres könnte man vielleicht sagen, wenn man die IP und den User Agent kennt (sind in den Original Logfiles aufgeführt)

mfG Jörg

04.11.2005 11:21

7 Gustafsson

ist es wichtig, oder eher nicht ?

04.11.2005 11:37

8 Jörg Kruse

Schwer zu sagen, wenn man nicht weiß was es ist ;) Schaden angerichtet hat es mit diesem Aufruf nicht, sonst hätte es keine 404 Fehlermeldung gegeben. Ich wäre aber neugierig genug, wissen zu wollen, ob unter welcher IP noch weitere Dateien aufgerufen wurden

mfG Jörg

04.11.2005 12:08

9 Gustafsson

nun ja ein blick in die log-files hat folgendes ergeben...

xxx.xx.46.52 - - [03/Nov/2005:15:58:14 +0100] "GET //http_ping_latency_check HTTP/1.1" 404 1684 "-" "libwww-perl/5.803"
xxx.xxx.46.52 - - [03/Nov/2005:15:58:14 +0100] "GET //http_ping_latency_check HTTP/1.1" 404 1684 "-" "libwww-perl/5.803"

was nun aber http_ping_latency_check bedeutet, keine ahnung, auch google wirft nur jede menge andere andere log-files aus ??

vielleicht liest dies ja mal jemand, der weiß was es bedeutet.

ansonsten wurde von dieser ip, die einer it-firma in frankfurt gehört, jede einzelne seite unseres projekts aufgerufen, ein bot der sich als IE 6.0 tarnt - wozu ? keine ahnung, gespidert ?

cu gust.

04.11.2005 13:35

10 Jörg Kruse

Ergänzung: das Teil hat sich mit dem User Agent des IE 6 noch brav die robots.txt geholt und danach angefangen zu spidern.

Alles in allem aber etwas obskur. Einen Bot, der den Gepflogenheiten nicht entspricht, und im User Agent keine Info-Adresse mitgibt, und sich sogar als Browser tarnt, könnte man getrost auch gleich als nicht vertrauenswürdig in der .htaccess sperren - in dem Fall über die IP-Adresse.

mfG Jörg

04.11.2005 19:16