Web Scraping Tool gesucht

Hallo zusammen,
ich bin auf der Suche nach einem Web Scraping Tool um Änderungen auf einer Website zu erfassen. Ein Browser-Plugin fällt raus, da das Tool einen Verzeichnisbaum durchklicken (Hauptkategorie -> Unterkategorie -> Produktseite) und von dort dann diverse Daten in eine CSV speichern muss. Mit dem Tool "ParseHub" habe ich mir ein Script geschrieben, welches auch die gewünschte Funktionalität bietet. Allerdings ist das Script extrem langsam und da es um einen sehr großen Datensatz geht, würde das Script mehrere Tage laufen.

Hat da jemand eine Idee?

ParseHub ist ein "Baukasten" mit dem man sich ein Script quasi zusammenklicken kann. Was dahinter steckt an Scriptsprache sieht man nicht. Der Support sagte mir, dass die Geschwindigkeit von vielen verschiedenen Faktoren abhängig ist. Beispielsweise haben einzelne Befehle wie "Klicke die nächste Seite eines Pageing an" auch Delays verbaut, damit sicher gestellt ist, dass die Seite vollständig geladen ist bevor sie auf abzuspeichernde Elemente untersucht wird. Das Tool ist eigentlich ziemlich cool und auch wirklich sehr gut durchdacht, aber für solche großen Projekte nicht geeignet.

Das Pageing sowie ein "load more"-Button laufen über JavaScript.
Mir ist allerdings gerade bewusst geworden, dass ich nicht die Produktdetailseiten (ca. 130.000 Produkte) überwachen muss, sondern es reicht, wenn ich das Pageing auf 1.000 (das geht über einen URL-Parameter) erhöhe und nur die Produktlistenseiten checke. Somit muss ich mich nur noch um den "load more"-Button kümmern und nicht 130.000 Seiten hintereinander aufrufen. Mal testen wie schnell das dann lädt.