LWP::Simple Problem (Allgemeines zu Perl)

[thread]18925[/thread]

LWP::Simple Problem

Tags: perl5 Ähnliche Threads

Leser: 18

Articles: hide open all | hide show old branches

+14 replies
userforusing

2014-02-25 14:25
User since
2014-02-25
4 Artikel
BenutzerIn
Hallo PERL-Community,

ich bin Linguistik Student und mache mich erst seit kurzem mit PERL vertraut. Für eine Aufgabe versuche ich momentan Wikipedia Artikel mit Hilfe von PERL zu crawlen. Später sollen diese auf bestimmte Keywörter untersucht werden.

Ich habe es bereits geschafft, einen Artikel herunterzuladen und in eine Datei zu schreiben.
Code: (dl )

1 2 3 4 5 6 7 8 9 10 11

#!/usr/bin/perl use LWP::Simple; my $ausgabe = "ausgabe.txt"; open (DATEI, ">ausgabe.txt") or die $!; $url = "http://de.wikipedia.org/wiki/Perl_(Programmiersprache)"; $wiki = qx(curl $url); print DATEI "$wiki"; close(DATEI);
Jetzt möchte ich aber nur den reinen Text bekommen, also ohne jegliche HTML oder XML Tags, ich habe versucht mit einem regulären Ausdruck zu arbeiten
Code: (dl )

unless ($_ =~ m/</) {}
Aber das hatte bisher keinen Effekt. Ich weiß nicht genau, wo ich den Ausdruck einsetzen muss.
Wo liegt das Problem, brauche ich hier noch eine while Schleife und muss ich den Text erst zeilenweise splitten und dann in einen Array geben?

Ich hoffe es ist verständlich was ich erreichen möchte und ihr könnt mir aushelfen.
Last edited: 2014-02-25 14:28:13 +0100 (CET)
- +2 replies
- lichtkind
  
  2014-02-25 14:30
  
  User since
  2004-03-22
  5679 Artikel
  ModeratorIn + EditorIn
  
  WWW::Mechanize besitzt eine Methode get_text
  
  hab mir auch erlaubt überschrift zu ändern, so finden es auch neulinge mit dem gleichen problem
  
  modedit Editiert von pq: link zu modul repariert
  Last edited: 2014-02-25 16:51:14 +0100 (CET)
  Tutorien in der Wiki, mein zeug:
  kephra, baumhaus, garten, gezwitscher
  
  Es beginnt immer mit einer Entscheidung.
  - userforusing
    
    2014-02-25 14:36
    
    User since
    2014-02-25
    4 Artikel
    BenutzerIn
    
    Hallo danke für die schnelle Antwort allerdings bekomme ich unter dem Link den du gepostet hast nur eine 404 Not Found.
    Ich würde allerdings gerne mit curl weiterarbeiten und den Text dann tokenisieren bzw. die XML tags ausschließen wie ich es angedeutet habe.
- +10 replies
- Gast wer
  
  2014-02-25 14:53
  Du sagst du benutzt LWP::Simple aber tatsächlich rufst du curl auf LWP::Simple benutzt man so:
  
  Code (perl): (dl )
  
  1 2 3 4 5 6 7 8 9 10 11 12 13 14
  
  #!/usr/bin/perl use strict; use warnings; use LWP::Simple; my $ausgabe_datei = "ausgabe.txt"; my $url = "http://de.wikipedia.org/wiki/Perl_(Programmiersprache)"; open (my $fh, '>', $ausgabe_datei) or die( "ERROR OPEN $ausgabe_datei : $!" ); my $wiki=get($url); print $fh $wiki; close($fh);
  
  weiterhin ein reguläerer Ausdruck der alles HTML wegwirft:
  
  Code (perl): (dl )
  
  $wiki=~s/<[^<>]+>//gs;
  
  Last edited: 2014-02-25 15:08:55 +0100 (CET)
  - +9 replies
  - userforusing
    
    2014-02-25 15:22
    
    User since
    2014-02-25
    4 Artikel
    BenutzerIn
    
    Danke schonmal für die Hilfe nun kann ich erstmal weitermachen. Sollte ich noch andere Probleme haben, werde ich nochmal nachfragen.
    - +8 replies
    - kristian
      
      2014-02-25 15:43
      
      User since
      2005-04-14
      684 Artikel
      BenutzerIn
      
      Wenn es um Sprache geht wirst du wohl weiter denken müssen.
      HTML kennt Überschriften, die werden anders gewertet als 0815-Text, es gibt Links, auch da ist der Text (Anchor) anders zu sehen als normaler Text.
      Es gibt Attribute z.B. bei Bildern, solche Texte sind auch relevant.
      Wenn du den Titel einer Seite (head-Bereich) nicht als solchen filterst und bewertest, dann macht das Ganze IMHO keinen echten Sinn.
      Ich weiß ja nicht wo du hin willst, aber durchgerührter Brei aus Worten kann nicht das Ziel sein. (hoffe ich)
      - +7 replies
      - hlubenow
        
        2014-02-25 18:46
        
        User since
        2009-02-22
        875 Artikel
        BenutzerIn
        
        2014-02-25T14:43:39 kristian
        Ich weiß ja nicht wo du hin willst, aber durchgerührter Brei aus Worten kann nicht das Ziel sein. (hoffe ich)
        
        Vielleicht lieber eine "schöne Suppe"? Für Python gäbe es genau für diesen Zweck (Text aus HTML, u.a) "BeautifulSoup":
        
        http://www.crummy.com/software/BeautifulSoup/
        
        Wäre eigentlich schön, wenn es davon mal eine Perl-Übersetzung gäbe. Sieht bislang aber nicht so aus.
        
        Allerdings: Bei der Seite "http://de.wikipedia.org/wiki/Perl_(Programmierspra..." habe ich ein Encoding-Problem, egal, ob ich sie mit curl oder mit LWP::Simple hereinhole. Da sind Zeichen, die weder in UTF-8, noch in Latin 1 Sinn ergben. Da haken dann auch Parser ...
        
        Gast wer
        
        2014-02-25 19:12
        
        erinnert mich man HTML::TreeBuilder
        Last edited: 2014-02-25 20:03:31 +0100 (CET)
        
        +4 replies
        
        Gast wer
        
        2014-02-25 19:18
        
        2014-02-25T17:46:23 hlubenow
        Allerdings: Bei der Seite "http://de.wikipedia.org/wiki/Perl_(Programmierspra..." habe ich ein Encoding-Problem, egal, ob ich sie mit curl oder mit LWP::Simple hereinhole. Da sind Zeichen, die weder in UTF-8, noch in Latin 1 Sinn ergben. Da haken dann auch Parser ...
        
        Code (perl): (dl )
        
        open (my $fh, '>::encoding(UTF-8)', $ausgabe_datei)
        
        Muss man auch als UTF-8 speichern
        Last edited: 2014-02-25 20:03:44 +0100 (CET)
        
        +2 replies
        
        userforusing
        
        2014-02-26 12:49
        
        User since
        2014-02-25
        4 Artikel
        BenutzerIn
        
        Also momentan bin ich an PERL gebunden, ist Voraussetzung für den Kurs den ich mache.
        Da das auch wirklich nur eine Einführung ist, kann es ruhig mal vorkommen, dass einige Sonderzeichen noch mit da stehen.
        Ich werde aber mal das UTF-8 Coding mit einbinden.
        
        lichtkind
        
        2014-02-26 14:26
        
        User since
        2004-03-22
        5679 Artikel
        ModeratorIn + EditorIn
        
        Bitte sag Perl, PERL gibts auch ist aber ne andere Sprache
        Tutorien in der Wiki, mein zeug:
        kephra, baumhaus, garten, gezwitscher
        
        Es beginnt immer mit einer Entscheidung.
        
        hlubenow
        
        2014-02-26 17:29
        
        User since
        2009-02-22
        875 Artikel
        BenutzerIn
        
        Guest wer
        Muss man auch als UTF-8 speichern
        
        Hast Du das mal getestet? Ich hab' auch dann immer noch diese Encoding-Probleme.
        Schon beim "Holen" gibt es diese Warnungen:
        
        Quote
        "\x{00c2}" does not map to utf8 at ...
        "\x{00bc}" does not map to utf8 at ...
        "\x{00c2}" does not map to utf8 at ...
        "\x{00a9}" does not map to utf8 at ...
        "\x{00c3}" does not map to utf8 at ...
        "\x{0091}" does not map to utf8 at ...
        
        Mit dem Rest des Textes kann man dann auch nur bedingt was anfangen.
        
        Oder:
        
        Code: (dl )
        
        1 2
        
        curl 'http://de.wikipedia.org/wiki/Perl_(Programmiersprache)' -o ausgabe.txt recode UTF-8..ISO-8859-1 ausgabe.txt
        
        Ausgabe:
        
        Quote
        recode: ausgabe.txt failed: Ungültige Eingabe in step `UTF-8..ISO-8859-1'
        
        Tja.
        Last edited: 2014-02-26 17:34:09 +0100 (CET)
        
        sri
        
        2014-03-02 19:03
        
        User since
        2004-01-29
        828 Artikel
        BenutzerIn
        
        Mojo::DOM ist Beautiful Soup sehr aehnlich.
        http://mojolicio.us/
- sri
  
  2014-03-02 19:00
  User since
  2004-01-29
  828 Artikel
  BenutzerIn
  Code: (dl )
  
  1 2 3 4 5
  
  use Mojo::UserAgent; my $ua = Mojo::UserAgent->new; my $tx = $ua->get("http://de.wikipedia.org/wiki/Perl_(Programmiersprache)"); print $tx->res->dom->all_text;
  
  Nimm doch einfach Mojo::UserAgent und Mojo::DOM.
  http://mojolicio.us/

View all threads created 2014-02-25 14:25.