Monstermäßige XML-Dateien.

Falls ich Jörg richtig verstanden habe, dann soll ich meine Fragen auf eine maximale Anzahl an neu zu eröffnenden Themen verteilen. Also dann...

Eine der Dateien, aus denen ich für mein Wörterbuch Wörterlisten in meine Datenbank übertrage, ist die Wörterliste des JMdict (Japanische Wörter und Begriffe in mehrere andere Sprachen übersetzt). Das ist eine XML-Datei. Sie ist sehr umfangreich und legt mir schon beim öffnen den ganzen Computer lahm. Sogar falls ich sie deswegen gleich wieder schließe, läßt sich mein Computer dafür ungefähr eine Stunde Zeit.

Ich hatte schon früher mal die Erfahrung gemacht, daß XML-Dateien Computer lahmlegen können. Deswegen verzichte ich eigentlich auf jede XML-Datei, wo immer ich kann. Nur kann ich das nicht, wenn ich den Inhalt in eine Datenbank überführen will. Darum ein paar Fragen nach Erfahrungen, die mit XML-Dateien gemacht werden.

Ist das normal, daß XML-Dateien Computer lahmlegen?
Ich habe zwar keine Multimediamaschine oder einen auf die neuesten Videospiele ausgelegten High-End-PC, weil ich eigentlich nur Texte verarbeite, aber eine XML-Datei enthält doch auch nur Text?
Ist vielleicht OpenSUSE besonders langsam? Meine früheren schlechten Erfahrungen hatte ich allerdings mit anderen Betriebssystemen gemacht, also kann es daran eigentlich nicht liegen...

Könnte die Kombination aus Apache, PHP und MySQL für Tage lahmgelegt werden, wenn ich die monstermäßige XML-Datei damit verarbeiten will?

Eigentlich sollen XML-Datein dafür da sein, daß man sie mit PHP verarbeitet. Darum müßte das die am einfachsten zu verarbeitende Datei sein. Aber weil sie mir schon beim öffnen in einem Texteditor den ganzen Computer lahmlegt, traue ich mich irgendwie nicht...
Ranma

Ich verwende KWrite als Texteditor. Mir gefällt das Syntax-Highlighting und ich finde die Bedinung einfach. Trotzdem mache ich schon viele Fehler damit, wahrscheinlich käme ich mit einem Editor auf der Konsole nicht klar.

Die XML-Datei ist 77,6 MB groß. Sollten die vom Dateimanager Dolphin angezeigten Informationen korrekt sein, dann würde die Datei 5950 Wörter oder 63415 Zeichen verteilt auf 2122 Zeilen enthalten. Das konnte Dolphin sehr schnell anzeigen, hätte also dann kein Problem, die Datei zu durchsuchen.

Die einfachen Textdateien mit den Wörterlisten haben fast alle deutlich unter 1 MB, nur die beiden Dateien für Englisch haben etwas mehr als 4 MB. Die XML-Datei ist also schon deutlich größer. Aber die Anzahl an Wörtern, Zeichen und Zeilen wäre keineswegs größer, eher etwas kleiner.

Beim Versuch die XML-Datei in den Editor zu laden, bewegt sich garnichts mehr, also nicht nur der Editor liegt lahm, sondern alles. Darum kann ich nicht auf den Systemmonitor schauen. Ich warte dann die ungefähre Stunde ab und schließe den Editor, weil das bis dahin nervig genug ist. Danach läuft alles wieder.

Ich sehe da drei Möglichkeiten:
1. Auch für Dolphin ist die Datei zu groß, so daß die statistischen Angaben deutlich zu klein sind. Es dürften dann eher 70'000 Zeilen enthalten sein, als Minimum.
2. XML-Dateien pumpen den gleichen Inhalt tatsächlich auf eine übermäßige Größe auf. Aber wie soll das gehen, falls tatsächlich nur Text enthalten ist?
3. Irgendetwas anderes, vielleicht nur an dieser besonderen XML-Datei.
Ranma

Ein eingefrorener Systemmonitor ist so oder so genauso nützlich wie ein abgeschalteter Systemmonitor. Also garnicht. Für KWrite habe ich ein einfacheres Farbschema erstellt, weil es sich nicht generell abschalten läßt. Ich hätte nicht gedacht, daß etwas Farbe so einen Unterschied machen kann: Jetzt funktioniert es zwar langsam, aber fließend und fehlerfrei. Das Problem ist also gelöst und die XML-Datei sollte per PHP verarbeitbar sein.
Ranma

Müßte die Datei nicht auch mit meinem einfachem Farbschema geparst werden?

Ich hatte auch versucht, durch anhängen von .txt die Datei als nicht parserwürdig zu deklarieren. Das hat auch nicht funktioniert. Aber das Thema ist nur deshalb noch nicht abgeschlossen, weil PHP wohl doch Probleme mit der großen XML-Datei hat. Zunächst mal wollte ich sie mir einfach nur ausgeben lassen, also:

$Rohdaten=file('JMdict.txt');
print_r($Rohdaten);

Das führt zu der Fehlermeldung, daß der erlaubte Speicher überschritten wurde. 20 Byte wurden nicht untergebracht. So läßt sich natürlich nicht damit arbeiten. Läßt sich irgendwie abschätzen, wieviel mehr Speicher eine richtige Verarbeitung (also herausfinden, welcher Eintrag in welche Datenbankspalte gehört, danach in die passende eintragen) benötigen würde? Meine Überlegung ist nämlich, daß ich die XML-Datei ungefähr in der Mitte in zwei Dateien teile.
Ranma

Die XML-Datei hat dreimillionenfünfhundertsiebenundzwanzigtausend und noch ein paar Zeilen. Daraus zwei Dateien zu machen, klappt per Hand nicht. Das würde ewig und drei Tage dauern. Ich habe damit angefangen, aber es wieder aufgegeben. Die Teilung hätte das Problem bestimmt gelöst. Aber um es per Skript zu machen, müßte wieder alles zeilenweise (ich will schließlich die ungefähre Mitte nach der Hälfte der Zeilen finden) eingelesen werden?
Ranma