Zur Navigation

combined_access_log Files auf Server durchsuchen

1 Mario

gibt es ein Script, welches mir alle "combined_access_log" Files auf dem Server auf die Fehlercodes untersucht? Beispiel: ich möchte monatlich alle 403-er untersuchen, dh. eine Liste erzeugen die jeweils jede Fehlerzeile auflistet. Im Moment downloade ich die Dateien und bearbeite sie mit einem Excel-Makro.

eigentlich müsste man ja nur AWStats anpassen, denn die Daten liegen ja alle vor. Leider wertet AWSTats nur den 404-er aus.

Mario

21.04.2006 17:58

3 Mario

ok danke Jörg... werde mir das Ding mal ansehen

Mario

21.04.2006 22:29

4 Mario

habe das Zeugs mal downgeloadet und eingerichtet. Funktioniert lokal einwandfrei, liest die logfiles direkt im .gz-Format. Nur kann ich die Ausgabe nicht konfigurieren, so wie ich es gerne möchte.

Gezeigt werden Statistiken über die Error-Seiten, so wie es AWStats auch tut, aber wie man die Ausgabe verändert, dass man jeweils die ganze log-Zeile extrahiert bekommt, entbehrt sich meiner Kenntnis.


Mario

23.04.2006 13:41 | geändert: 23.04.2006 13:57

5 Jörg Kruse

Hier steht, wie man den Output konfigurieren kann:

Analog 6.0: Configuring the output

You can turn each report on or off with configuration commands like

FIVEREP OFF
REFSITE ON

Für die Errorseiten muss entsprechend der darüberstehenden Liste wohl folgendes definiert sein:

FAILURE ON

23.04.2006 13:57

6 Mario

Jörg das habe ich schon gelesen, aber:

First, you can change the style of the output using the OUTPUT command. There are seven possible output styles, called XHTML, HTML, PLAIN, ASCII, XML, LATEX and COMPUTER.

in welchem output-file ist das zu konfigurieren? Wo soll man denn den OUTPUT-command eingeben? Bin ich vielleicht blind?

Mario

23.04.2006 14:03

7 Jörg Kruse

Ja, nach dem Namen der Konfigurationsdatei muss man in der Beschreibung lange suchen :/ - schau mal nach der Datei analog.cfg

23.04.2006 16:59

8 Mario

wäre schön, da musste ich nur den Pfad meiner Log-Dateien definieren. Als OUTFILE wird Report.html definiert.

# analog.cfg Configuration file for analog 6.0
LOGFILE logfile.log
OUTFILE Report.html
HOSTNAME "[my organisation]"
ERRFILE errors.txt
REQLINKINCLUDE pages
REFLINKINCLUDE *
REDIRREFLINKINCLUDE *
FAILREFLINKINCLUDE *
SUBBROW */*
SUBTYPE *.gz,*.Z
SEARCHENGINE http://*google.*/* q,as_q,as_epq,as_oq
SEARCHENGINE http://*altavista.*/* q
SEARCHENGINE http://*yahoo.*/* p
SEARCHENGINE http://*lycos.*/* query,wfq
SEARCHENGINE http://*aol.*/* query
SEARCHENGINE http://*excite.*/* search
SEARCHENGINE http://*go2net.*/* general
SEARCHENGINE http://*metacrawler.*/* general
SEARCHENGINE http://*msn.*/* q,MT
SEARCHENGINE http://*netscape.*/* search
SEARCHENGINE http://*looksmart.*/* key
SEARCHENGINE http://*webcrawler.*/* qkw,search,searchText
SEARCHENGINE http://*overture.*/* Keywords
SEARCHENGINE http://*teoma.*/* q
SEARCHENGINE http://*infospace.*/* qkw
SEARCHENGINE http://*alltheweb.*/* q
SEARCHENGINE http://*dogpile.*/* q
SEARCHENGINE http://*ask.*/* q,ask
SEARCHENGINE http://*alltheweb.*/* query
SEARCHENGINE http://*northernlight.*/* qr
SEARCHENGINE http://*nlsearch.*/* qr
SEARCHENGINE http://*dmoz.*/* search
SEARCHENGINE http://*/netfind* query
SEARCHENGINE http://*/pursuit query
ROBOTINCLUDE REGEXPI:robot
ROBOTINCLUDE REGEXPI:spider
ROBOTINCLUDE REGEXPI:crawler
ROBOTINCLUDE Googlebot*
ROBOTINCLUDE msnbot*
ROBOTINCLUDE Infoseek*
ROBOTINCLUDE Scooter*
ROBOTINCLUDE *Slurp*
ROBOTINCLUDE *Validator*
ROBOTINCLUDE Ultraseek*
TYPEALIAS .html ".html [Hypertext Markup Language]"
TYPEALIAS .htm ".htm [Hypertext Markup Language]"
usw. usf.

report.html ist die Ausgabedatei, was wohl mit OUTPUT Command gemeint ist. Dort aber gibt es nicht einfach etwas ein-/auszuschalten. Man müsste dann diese Datei anpassen resp. umprogrammieren.


Mario

23.04.2006 17:36

9 Mario

heureka

http://www.rix-web.com/analyzer/

ich denke, dass man damit ein neues cfg-file generieren kann. Was aber auch hier fehlt ist Extraktion der log-Zeilen, die mit 404 und 403 bedient wurden.

Mario

23.04.2006 18:17 | geändert: 23.04.2006 18:17

10 Mario

wie vermutet, kann man mit diesem Tool keinerlei Einstellunge vornehmen, welches einem ermöglichen würde, wünschenswerte Log-Zeilen von Error-Seiten zu extrahieren, schade. Ansonsten lässt sich die Ausgabeseite selber konfigurieren und sowohl lokal als auch serverseitig einsetzen.
Also suche ich weiter nach einer Software mit der man anhand des Error-codes die entsprechenden Logfile-Zeilen extrahieren kann.

Mario

24.04.2006 08:27