Webcrawler [2]

Bei mir verbraucht ein Skript mit Datenbankverbindung erheblich mehr Zeit als eines ohne. Die ersten Skripte, mit denen ich Datensätze aus Dateien in die Datenbank schaufelte, hatten noch keine durch set_time_limit() verlängerte Laufzeit und brauchten trotzdem deutlich länger als dreißig Sekunden. Eher ein bis drei Stunden. Wenn mein Webcrawler also regelmäßig Daten zu einer Datenbank schickt, dann pausiert er also automatisch und oft aus der Sicht der abgegrasten Netzseite?

Damit würde sich das Problem auf der einen Seite von selbst erledigen, andererseits könnte das dem Webhoster sauer aufstoßen. In den Zwischenzeiten würde der Webcrawler ja dort Traffic erzeugen. Aber ich wüßte sowieso nicht, was er sonst mit den Daten machen sollte, wenn er sie nicht sogleich „nach Hause“ schickt. Wie kann ich verhindern, zu viel Traffic beim Webhoster zu generieren?
Ranma

Du meinst den Traffic zwischen Webserver und Datenbankserver (falls Webserver und Datenbank überhaupt auf verschiedenen Servern liegen)?

Bei mir zuhause liegt alles auf der selben Festplatte und innerhalb des selben xampp-Systems. Trotzdem verschlingt die Verbindung zwischen PHP und Datenbank viele Stunden zusätzliche Zeit. Ein PHP-Skript ist ja sonst auf dreißig Sekunden Laufzeit beschränkt. Was könnte also sonst so lange dauern??

Außerdem wird auch die CPU ziemlich beansprucht. Der Arbeitsspeicher füllt sich nur bei richtigen Dauerschleifen. Die Beanspruchung solcher Ressourcen muß man sicherlich auch minimieren. Was wiederum voraussetzt, die Auslastung feststellen zu können. Falls Datenbank und Webserver auf verschiedenen Servern liegen, dann dürfte zwischen den beiden auch noch Traffic entstehen, der dann noch zusätzlich zu minimieren ist.

Nur Sekundenbruchteile dauert das auf meinem xampp-System jedenfalls nicht. Obwohl der Systemmonitor in der CPU-Last mehrere Peaks pro Sekunde zeigt. Der Crawler würde natürlich nicht nur einen INSERT machen, sondern eine Datei einlesen und sie komplett auswerten, also URIs darin suchen und ebenso nach der relevanten Information, beides wird in die Datenbanktabellen eingetragen, dann sind noch die Regeln aus Meta-tags und robots.txt mit den möglichen nächsten URI abzugleichen, schließlich wird davon eine aus der Datenbank geholt und die damit angegebene Datei als nächste verarbeitet. So stelle ich mir das bisher zumindest vor.

Das (gängige) Bild, dass ein Crawler auf fremden Servern unterwegs ist, und von dort die gesammelten Inhalte an den Heimatserver sendet, ist technisch nicht ganz korrekt. Die Crawler-Anwendung läuft auf deinem Server und stellt Anfragen an die entfernten Webserver, und diese schicken ihr (oder auch nicht) die angeforderten Inhalte.

Es ist schon schwierig, sich das vorzustellen. Theoretisch ist es klar, daß das Skript beim Interpreter bleibt, damit es interpretiert werden kann. Andererseits folgt ein Crawler nicht nur absoluten, sondern auch relativen Pfadangaben, falls solche verlinkt sind, befolgt Anweisungen aus Robots.txt oder Meta-tags, kann „ausgesperrt“ oder in eine Teergrube gelockt werden und schließlich zeigen manche Netzseiten auch noch an, welche Bots (und auch andere Nutzer) sich gerade „dort“ befinden. Also muß ein Teil davon irgendwie auch auf dem anderen Server stattfinden, sonst hätte der keine Informationen darüber und auch keinen Grund, sich über den Verbrauch seiner Ressourcen zu beschweren....
Ranma

MIr fiel gerade folgendes auf. Ruft man eine Netzseite aus dem Wiktionary oder der Wikipedia auf, dann wird in der URI als Dateiname der Seitentitel angezeigt, bei dem es sich meistens zugleich um den gesuchten Begriff handelt. Dieser Name hat keine Dateiendung. Speichert man so eine Seite jedoch lokal ab, dann wird automatisch die Endung .html vorgeschlagen. Bedeutet das, daß die Namen solcher Netzseiten durch Redirects in einer .htaccess zustandekommen?
Ranma

Normalerweise sieht man Dateiendungen in der URI-Zeile. Nun, der Brauser kann die Netzseite vom Wiktionary oder der Wikipedia abspeichern. Muß das automatisch bedeuten, daß sich die Netzseite unter dem in der URI angegebenen Namen von einem PHP-Skript auswerten läßt?

Der Content-Type ist ja klar, wenn es sich um eine Seite aus dem Wiktionary oder der Wikipedia handelt. Aber um sie in einem Skript auswerten zu können, muß das Skript den Pfad und Namen der Datei kennen. Oder nicht?
Ranma

Nein, wie gesagt werkelt der Crawler nicht auf dem entfernten Server. Nur der dortige Webserver muss den Pfad kennen, um die Ressource ausliefern zu können.

Ich dachte, das hätte ich einigermaßen verstanden. Hatte ich aber nicht, sondern wollte mich bereits daran machen, einen Crawler zu bauen, der auf meiner eigenen Festplatte herumsucht, um das Prinzip auszuprobieren. Aber so ein Programm müßte natürlich völlig anders funktionieren... Trotzdem bedeutet das eigentlich, daß ein Crawler recht leicht zu bauen ist. Er muß immerzu nur anfordern, auswerten, anfordern, auswerten, anfordern, auswerten...
Ranma