Hi!

Ich möchte einen Crawler bzw. Scraper in Perl schreiben und bräuchte mal ein paar Tipps für die richtige Vorgehensweise.

Bisher habe ich nur wenig Erfahrung mit Perl, bin aber sehr Lernwillig!

Mein Projekt soll wie folgt ablaufen:

*Ich möchte einen Crawler schreiben, der einen Host auf alle Links durchsucht
*Jeder Link dessen URL nicht /forum/ oder /blog/ enthält, soll gecrawlt werden
*Jede Seite die den zuvor genannten Anforderungen entspricht soll auf vordefinierte Tags untersucht werden (z.B. Jazz, Rock, Blues,...)
*Als Ergebnis möchte ich eine Mysql Datenbank erstellen, in der z.B. das Tag "Jazz" mit allen URLs verlinkt wird, in denen das Tag gefunden wurde

Nun meine Frage:
Welche Module sollte ich benutzen?
Wie würdet ihr vorgehen?

Vielen Dank schon mal im Vorraus für eure Hilfe!
Last edited: 2011-02-20 19:52:49 +0100 (CET)