utf8 mit HTML::Treebuilder verarbeiten (Allgemeines zu Perl)

[thread]16897[/thread]

utf8 mit HTML::Treebuilder verarbeiten

Tags: perl5 utf-8 HTML::Treebuilder Similar Threads

Readers: 13

Articles: hide open all | hide show old branches

+9 replies
Nordlicht

2011-11-09 06:22
User since
2005-10-16
182 articles
BenutzerIn
Moin,

Ich hab ein Problem mit HTML::Treebuilder. Ich möchte Informationen von einer Internetseite verarbeiten, die utf8-codiert ist:
Code: (dl )

1 2 3

<?xml version="1.0" encoding="UTF-8" ?> <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.1//EN" "http://www.w3.org/TR/xhtml11/DTD/xhtml11.dtd">
Ich hab also angefangen und einen LWP Post request gesendet um die Antwort dann mit HTML::Treebuilder zu verarbeiten:
Code: (dl )

1 2 3 4 5 6 7 8

use LWP::Simple; use HTML::TreeBuilder; # LWP Post request speichert Ergebnis in $response... ... my $content = $response->content; my $root = HTML::TreeBuilder->new_from_content($content);
leider bereitet mir dabei folgende Fehlermeldung Kopfschmerzen:

Parsing of undecoded UTF-8 will give garbage when decoding entities

Ich hab ehrlich gesagt keine Ahnung von Zeichen-Codierungen und stehe diesem Problem deshalb ziemlich hilflos gegenüber, ich weiß nicht mal welche andere Kodierung ich denn brauche.

Also offenbar mache ich irgendwas falsch... ich weiß nur nicht wo ^^ wäre euch daher für nen Tipp dankbar :)

Gruß, Nordlicht.
Last edited: 2011-11-09 06:40:38 +0100 (CET)
- +7 replies
- bianca
  
  2011-11-09 07:37
  
  User since
  2009-09-13
  7016 articles
  BenutzerIn
  
  Dazu steht was beim HTML::Parser:
  http://search.cpan.org/~gaas/HTML-Parser-3.69/Pars...
  
  Quote
  Parsing of undecoded UTF-8 will give garbage when decoding entities
  (W) The first chunk parsed appears to contain undecoded UTF-8 and one or more argspecs that decode entities are used for the callback handlers.
  
  The result of decoding will be a mix of encoded and decoded characters for any entities that expand to characters with code above 127. This is not a good thing.
  
  The recommened solution is to apply Encode::decode_utf8() on the data before feeding it to the $p->parse(). For $p->parse_file() pass a file that has been opened in ":utf8" mode.
  
  The alternative solution is to enable the utf8_mode and not decode before passing strings to $p->parse(). The parser can process raw undecoded UTF-8 sanely if the utf8_mode is enabled, or if the "attr", "@attr" or "dtext" argspecs are avoided.
  
  10 print "Hallo"
  20 goto 10
  - +6 replies
  - Nordlicht
    
    2011-11-09 11:53
    User since
    2005-10-16
    182 articles
    BenutzerIn
    
    danke, ich hab es mit
    
    Code: (dl )
    
    1 2
    
    use utf8; utf8::decode($content);
    
    gelöst.
    
    Ich hatte diesen Ansatz schon versucht und keine Fehlermeldung mehr bekommen. Allerdings funktionierten meine Abfragen mit den Treebuilder-Methoden nicht, ich bekam nur leere Strings zurück und dachte das läge an einem Problem mit der Decodierung... Bis ich dann feststellte, dass mein post request wegen eines tippfehlers die falsche seite zurück gab und daher auch die class-Attribute nach denen ich gesucht hab gar nicht vorhanden waren :-) Manchmal sieht man einfach das Brett vor dem eigenen Kopf nicht XD
    Last edited: 2011-11-09 11:58:37 +0100 (CET)
    - +5 replies
    - pq
      
      2011-11-09 11:56
      
      User since
      2003-08-04
      12209 articles
      Admin1
      
      nicht utf8::decode benutzen!
      
      aus der doku von utf8:
      
      Quote
      Do not use this pragma for anything else than telling Perl that your script is written in UTF-8.
      
      benutz doch einfach decoded_content, wie ich vorschlug.
      
      und wenn du selber mal de- oder enkodieren musst, dann bitte nicht utf8, sondern das modul Encode dafür verwenden!
      Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
      lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
      - +4 replies
      - Nordlicht
        
        2011-11-09 12:00
        
        User since
        2005-10-16
        182 articles
        BenutzerIn
        
        achso... ja den Hinweis hatte ich gesehen... aber es hat funktioniert ^^ Naja ich probier mal decoded_content.
        
        +3 replies
        
        pq
        
        2011-11-09 12:05
        
        User since
        2003-08-04
        12209 articles
        Admin1
        
        du weisst ja vorher nicht, in welcher kodierung der content vorliegt. decoded_content erledigt das für dich, brauchst dich dann nicht mehr kümmern.
        Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
        lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
        
        +2 replies
        
        Nordlicht
        
        2011-11-09 12:27
        
        User since
        2005-10-16
        182 articles
        BenutzerIn
        
        joa stimmt... funktioniert auch sehr gut mit decoded_content.
        
        Eine frage hab ich dann aber doch noch...
        Ich sammel Informationen aus einer Liste... und in jeder Zeile dieser Liste befindet sich ein Link dem ich folge um von der dahinter liegenden Seite eine Beschreibung auszulesen. Also das Prinzip ist immer:
        
        - Erste Seite einlesen
        - Zeilen finden, link adresse extrahieren
        - dem link folgen, beschreibung extrahieren.
        
        Das Problem ist... wenn ich für jede der Seiten ein HTML::Treebuilder-Objekt erzeuge wird das Script extrem langsam, weil es andauernd die Bäume aufbauen muss und sie einige Sekunden später wieder zerstören.
        
        Ich hab versucht die gleichen Infos mit HTML-TokeParser zu extrahieren, aber das ist irgendwie viel komplizierter und ich bin mir nicht mal sicher ob ich damit etwas Geschwindigkeit rausholen könnte...
        
        Eigentlich ist das Tempo nicht so wichtig, da ich eh die Bandbreite des Servers schonen und nicht im Millisekunden-Takt über die Website rattern will, aber mein Rechner hat halt ne Menge zu tun mit dem Auf- und Abbau der Baum-Strukturen. Würde das gerne irgendwie weniger speicherlastig lösen.
        
        Gibts da ne Möglichkeit?
        
        Last edited: 2011-11-09 12:28:12 +0100 (CET)
        
        bianca
        
        2011-11-09 12:41
        
        User since
        2009-09-13
        7016 articles
        BenutzerIn
        
        Je nach dem wäre vielleicht selbst parsen eine Lösung. Ich weiß nicht, wie viele Infos du rausziehen musst und wie umständlich/fehleranfällig das wäre.
        Aber angenommen du bräuchtest einfach nur ein paar Links aus einem bestimmten Abschnitt der Seite könnte man das ja auch mit eigenen Regex's lösen. Das ist zwar nicht "best practice" aber vielleicht "effektiver", weil nur der Teil "behandelt" wird, der gebraucht wird und nicht pauschal alles.
        10 print "Hallo"
        20 goto 10
- pq
  
  2011-11-09 11:50
  
  User since
  2003-08-04
  12209 articles
  Admin1
  
  versuch mal statt $response->content die methode decoded_content.
  Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
  lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem

View all threads created 2011-11-09 06:22.