Perl LWP / allgemein Website parsing (Fragen zu Perl-Modulen)

[thread]18898[/thread]

Perl LWP / allgemein Website parsing

Tags: perl5 LWP parsen Similar Threads

Readers: 19

Articles: hide open all | hide show old branches

+7 replies
guest Gerd

2014-02-10 17:40

Hallo zusammen,
habe beim recherchieren zum Thema Website parsing folgendes gefunden ...
http://lwp.interglacial.com/index.html
Ich habe eine Problemstellung in der ich eine Website in regelmässigen Abständen parsen (der Startseite eine Ebene tiefer folgend) und den plain-text analysieren möchte. Ist LWP da noch aktuell oder was würdet ihr mir empfehlen hier einzusetzen. Welche Bücher/Links zu LWP oder einer aktuelleren Methode würdet ihr mir empfehlen. Danke für eure Hilfe!
(LWP = Library for WWW in Perl)

modedit Editiert von pq: link zu online-buch entfernt

modedit Editiert von pq: link wiederhergestellt, ist eine legale online-ausgabe, war zu voreilig
Last edited: 2014-02-10 23:03:44 +0100 (CET)
- +2 replies
- GwenDragon
  
  2014-02-10 19:24
  
  User since
  2005-01-17
  14938 articles
  Admin1
  
  http://oreil.ly/1eK9jxz hast du gefunden?
  
  Was verstehst du unter Plaintext?
  Und was bedeutet eine Ebene tiefer?
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
  - guest Gerd
    
    2014-02-10 20:06
    
    Danke für den Link GwenDragon!
    Das Buch ist von April 1997, ist das noch aktuell in Bezug auf das aktuelle Perl?
    Mit Plaintext meine ich, dass ich alle Textelemente der Seite extrahieren möchte, also z.B. Grafiken, Multimedia-Streams, Flash komplett übergangen werden. Bin nur daran interessiert alles "geschriebene" auf der Seite zu analysieren. Eine Ebene tiefer soll heißen dass ich von einer Startseite ausgehend nur allen diesen Links auf EINE Unterseite folge und dann nicht noch weitern Links auf eine "Unter-Unter-Seite" folgen will.
    Bsp:
    Home --> folge Link auf Seite 1
    Home --> folge Link auf Seite 2
    etc.
    und NICHT:
    Home --> folge Link auf Seite 1 --> folge Link auf Seite 1a --> ...
    
    man sagt glaube ich "Rekursionstiefe von 1" dazu!?
    Gruss Gerd
    Last edited: 2014-02-10 20:14:39 +0100 (CET)
- +2 replies
- kristian
  
  2014-02-11 16:13
  
  User since
  2005-04-14
  684 articles
  BenutzerIn
  
  Hallo,
  
  LWP ist definitiv geeignet.
  Zum Zerlegen der Seite(n) würde ich HTML::Parser nehmen.
  Um die Links auf der Startseite zu komplettieren hilft dir URI.
  Viel mehr brauchst du da nicht.
  
  Gruß
  Kristian
  
  PS: Ich würde es Linktiefe 1 nennen
  - clms
    
    2014-02-11 17:47
    
    User since
    2010-08-29
    373 articles
    BenutzerIn
    
    2014-02-11T15:13:51 kristian
    Zum Zerlegen der Seite(n) würde ich HTML::Parser nehmen.
    
    Ich nur indirekt.
    
    Wenn ich nur an den Links interessiert bin, würde ich die schon erwähnten HTML::LinkExtor nehmen. Wenn ich auch den Text auf der Seite analysieren will, nehme ich i.d.R. HTML::TreeBuilder. Beide Module setzen auf HTML::Parser auf.
- Linuxer
  
  2014-02-11 16:16
  
  User since
  2006-01-27
  3893 articles
  HausmeisterIn
  
  Vielleicht in dem Zusammenhang (Links der Hauptseite ermitteln) noch interessant oder hilfreich: HTML::Link::Extractor und/oder HTML::LinkExtor
  meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
  Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
- sri
  
  2014-02-16 19:35
  
  User since
  2004-01-29
  828 articles
  BenutzerIn
  
  Guest Gerd
  Ich habe eine Problemstellung in der ich eine Website in regelmässigen Abständen parsen (der Startseite eine Ebene tiefer folgend) und den plain-text analysieren möchte.
  
  Nimm doch einfach Mojo::DOM, und eventuell noch Mojo::UserAgent wenns ganz komfortabel sein soll.
  http://mojolicio.us/

View all threads created 2014-02-10 17:40.