XML::LibXML + HTML::TreeBuilder sollen Parsen abbrechen bei defektem HTML (Fragen zu Perl-Modulen) - Perl-Community.de

Start · Board · Anwendungen/Programme/Skripte in Perl · Fragen zu Perl-Modulen

2024-04-26 12:46:51
Europe/Berlin
Einloggen (Registrieren)
- Einstellungen
- Statistics
Jemand zu Hause?
0 Benutzer online

[thread]14993[/thread]

submit to reddit

XML::LibXML + HTML::TreeBuilder sollen Parsen abbrechen bei defektem HTML

Tags: XML Ähnliche Threads

Leser: 25

Articles: hide open all | hide show old branches

+20 replies
Gast bikus

2010-05-04 16:21

Hallo,

kann mir jemand eine HTML-Seite nennen, die sich mit HTML::TreeBuilder parsen lässt, mit XML::LibXML aber nicht?

//Modedit GwenDragon: Titel erweitert
Last edited: 2010-05-05 15:12:27 +0200 (CEST)
- +2 replies
- esskar
  
  2010-05-04 17:05
  
  User since
  2003-08-04
  7321 Artikel
  ModeratorIn
  
  seltsame frage; was heißt, nicht parsen?
  versuch die mal: http://www.angelfire.com/super/badwebs/
  - topeg
    
    2010-05-04 17:31
    
    User since
    2006-07-10
    2611 Artikel
    BenutzerIn
    
    Vom Quelltext her ist die Seite ganz ok.
    Ich habe keine Beispiel zur Hand, aber ich meine auf Facebook gäbe es den schlimmsten HTML-Code
    
    aber hier kann man mal schauen was die Parser so daraus machen:
    http://www.trentmueller.com/Top-10-Websites-with-t...
- +13 replies
- topeg
  
  2010-05-04 17:37
  
  User since
  2006-07-10
  2611 Artikel
  BenutzerIn
  
  Ich denke selbst di Schlimmsten Seiten werden irgend einen Syntaxbaum ausspucken, ob der aber mit den Vorstellungen des Designers zusammenpassen ist eine andere Sache. Anders als beim betrachten ist zum automatischen Verarbeiten jegliche Struktur nutzbar, sofern sie Eindeutig und reproduzierbar ist.
  - +12 replies
  - Gast bikus
    
    2010-05-04 17:54
    
    Ich habe mir das so vorgestellt, dass ich eine Fehlermeldung bekomme und das Skript abbricht.
    Last edited: 2010-05-04 17:59:20 +0200 (CEST)
    - +11 replies
    - GwenDragon
      
      2010-05-04 18:24
      
      User since
      2005-01-17
      14533 Artikel
      Admin1
      
      Parsen lässt sich alles mit den von dir genannten Parsern, wenn es entweder gültiges/wohlgeformtes HTML oder XML ist.
      
      HTML::Parser ist Grundlage von HTML::TreeBuilder. Wenn der HTML-Parser das schluckt (und das tut er oft, weil er kein SGML-Parser ist), wird auch wohl ein Baum aufgebaut.
      
      XML::LibXML ist da zickiger, weil das Parsen von XML strenger gehandhabt wird.
      
      Schau mal das an:
      
      Code (perl): (dl )
      
      1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29
      
      #!/bin/perl use strict; use warnings; #use diagnostics; use HTML::TreeBuilder; use XML::LibXML; eval { print "Parsing with XML::LibXML\n"; my $parser = XML::LibXML->new(); my $doc = $parser->parse_string(<<'EOT'); <html> <A> EOT }; print $@ if ($@); eval{ print "\n\nParsing with HTML::TreeBuilder\n"; my $tree = HTML::TreeBuilder->new; # empty tree $tree->parse(<<'EOT'); <html> <A> EOT $tree->dump; }; print $@ if ($@);
      
      die Drachin, Gwendolyn
      
      Unterschiedliche Perl-Versionen auf Windows (fast wie perlbrew) • Meine Perl-Artikel
      - +10 replies
      - Gast bikus
        
        2010-05-04 18:47
        
        Du bist ungerecht, weil du beim XML::LibXML nicht versuchst, etwas auszugeben. Und mit parse_string_html funktioniert es:
        
        Code (perl): (dl )
        
        1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30
        
        #!/usr/bin/env perl use warnings; use strict; use HTML::TreeBuilder; use XML::LibXML; eval { print "Parsing with XML::LibXML\n"; my $parser = XML::LibXML->new( recover => 2 ); my $doc = $parser->parse_html_string(<<'EOT'); <html> <A> EOT print $doc->toString; }; print $@ if ($@); eval{ print "\n\nParsing with HTML::TreeBuilder\n"; my $tree = HTML::TreeBuilder->new; # empty tree $tree->parse(<<'EOT'); <html> <A> EOT $tree->dump; }; print $@
        
        Last edited: 2010-05-04 18:54:50 +0200 (CEST)
        
        +9 replies
        
        GwenDragon
        
        2010-05-04 19:06
        
        User since
        2005-01-17
        14533 Artikel
        Admin1
        
        Wieso? Du fragtest doch nach einem Beispiel, das sich nicht parsen lässt.
        Wenn ich einen Parser auf einen relaxed Modus umstellen, wird er natürlich nichtwohlgeformtes XML/HTML "repariert" parsen.
        
        Da habe ich nicht verstanden, was du genau willst.
        die Drachin, Gwendolyn
        
        Unterschiedliche Perl-Versionen auf Windows (fast wie perlbrew) • Meine Perl-Artikel
        
        +2 replies
        
        topeg
        
        2010-05-04 19:19
        
        User since
        2006-07-10
        2611 Artikel
        BenutzerIn
        
        Wenn ich es richtig verstanden habe, ist er davon ausgegangen, das Parser nicht "robust" programmiert sind, also das Parsen abbrechen, wenn das HTML einer gewissen Qualität nicht entspricht. Er wollte anhand eines Beispieles wissen wie "gering" diese Qualität sein kann.
        
        GwenDragon
        
        2010-05-04 19:26
        
        User since
        2005-01-17
        14533 Artikel
        Admin1
        
        @topeg
        Wie schlecht dass XML sein kann, dass LibXML meckert, zeigte ich ja.
        
        Aber dieses Problem lässt den Parser auch mit recovr haken:
        
        Code (perl): (dl )
        
        1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44
        
        #!/usr/bin/env perl use warnings; use strict; use HTML::TreeBuilder; use XML::LibXML; eval { print "Parsing with XML::LibXML\n"; my $parser = XML::LibXML->new( recover => 2 ); my $doc = $parser->parse_html_string(<<'EOT'); <html> <head> <title> Das < ist ein Groesserzeichen</title> <A> EOT print $doc->toString; }; print $@ if ($@); eval{ print "\n\nParsing with HTML::TreeBuilder\n"; my $tree = HTML::TreeBuilder->new; # empty tree $tree->parse(<<'EOT'); <html> <head> <title> Das < ist ein Groesserzeichen</title> <A> EOT $tree->dump; }; print $@
        
        @bikus
        Wenn du wissen willst, wann welcher Parser stolpert, verwende bitte einen HTML-Fuzzer zum Generieren von kaputtem XML/HTML.
        Last edited: 2010-05-04 19:30:08 +0200 (CEST)
        die Drachin, Gwendolyn
        
        Unterschiedliche Perl-Versionen auf Windows (fast wie perlbrew) • Meine Perl-Artikel
        
        +6 replies
        
        Gast bikus
        
        2010-05-04 19:30
        
        Bezieht sich "relaxed Modus" auf "recover => 2" oder auf "parse_html_string"?
        Ich wollte nicht unbedingt etwas finden, das sich nicht parsen lässt, sondern mich nur vergewissern, dass XML::LibXML zum Parsen von HTML gleich gut funktioniert wie ein HTML-Parser mit HTML im Namen.
        Last edited: 2010-05-04 19:31:39 +0200 (CEST)
        
        GwenDragon
        
        2010-05-04 19:34
        
        User since
        2005-01-17
        14533 Artikel
        Admin1
        
        Unter relaxed verstand ich allgemein die Fähigkeit, den Parser so einzustellen, dass er auch kaputten Code nimmt.
        Das war nicht auf irgendein Produkt gemünzt.
        
        Ich würde den HTML-Parser zum Parsen von HTML nehmen. Der Autor hat ja geschrieben, dass der Parser so gemacht ist, dass er mit HTML klar kommt, das Draußen existiert, also wohl auch kaputtes, MS-eigenes und sostwie seltsames HTML.
        die Drachin, Gwendolyn
        
        Unterschiedliche Perl-Versionen auf Windows (fast wie perlbrew) • Meine Perl-Artikel
        
        +4 replies
        
        esskar
        
        2010-05-04 23:31
        
        User since
        2003-08-04
        7321 Artikel
        ModeratorIn
        
        hmm.
        wozu das ganze. wenn du x seiten hast, die du parsen musst, und die alle gut gehen, kann es natürlich sein, dass du bei der x+1 Seite nen Problem feststellst. Vorallem, wenn dir die Parsing methoden egal sind.
        
        nimm einfach eins und arbeite solange damit, bis du auf ein problem stösst.
        behandelte fehler und ausnahmen entsprechend gut, so dass du auch nach einem jahr produktiven einsatz darauf arfmerksam gemacht wirst, und gut ist.
        
        module/software kann IMMER irgendwo nen bug haben. die anszahl der möglichen html/xml/sgml dokumente sind unendlich, von daher gibt es eh keine antwort auf deine frage. PROST.
        
        +3 replies
        
        Gast bikus
        
        2010-05-05 14:01
        
        Und überhaupt kann ich auch mit XML::LibXML den HTML::Treebuilder als Parser verwenden:
        
        Code (perl): (dl )
        
        1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34
        
        #!/usr/bin/env perl use warnings; use strict; use HTML::TreeBuilder; # use XML::LibXML; use WebSource::Parser; eval { print "Parsing with XML::LibXML\n"; # my $parser = XML::LibXML->new(); my $parser = WebSource::Parser->new; my $doc = $parser->parse_html_string(<<'EOT'); <html> <A> EOT print $doc->toString; }; print $@ if ($@); eval{ print "\n\nParsing with HTML::TreeBuilder\n"; my $tree = HTML::TreeBuilder->new; # empty tree $tree->parse(<<'EOT'); <html> <A> EOT $tree->dump; }; print $@ if (@)
        
        Last edited: 2010-05-05 14:05:58 +0200 (CEST)
        
        +2 replies
        
        GwenDragon
        
        2010-05-05 14:53
        
        User since
        2005-01-17
        14533 Artikel
        Admin1
        
        Ja, das kannst du machen.
        Wohlmöglich gibt es noch mehr Möglichkeiten verschiedenste Parser einzusetzen.
        
        Hat das noch was mit deiner Ausgangsfrage zu tun oder ist die genügend beantwortet bezüglich nichtparsbarer Webseiten?
        Was möchtest du denn noch wissen?
        die Drachin, Gwendolyn
        
        Unterschiedliche Perl-Versionen auf Windows (fast wie perlbrew) • Meine Perl-Artikel
        
        Gast bikus
        
        2010-05-05 17:05
        
        Ich werde die Fragen in diese Richtung ruhen lassen und mich an diesen Ratschalg halten:
        
        "nimm einfach eins und arbeite solange damit, bis du auf ein problem stösst."
        Last edited: 2010-05-05 17:10:00 +0200 (CEST)
- +2 replies
- bianca
  
  2010-05-05 15:13
  
  User since
  2009-09-13
  6977 Artikel
  BenutzerIn
  
  @Hausmeister: Wäre das nicht besser im Forum Fragen zu Perl-Modulen aufgehoben?
  10 print "Hallo"
  20 goto 10
  - pq
    
    2010-05-05 15:15
    
    User since
    2003-08-04
    12208 Artikel
    Admin1
    
    IMHO nicht, da es nicht um ein einzelnes problem eines speziellen moduls geht, sondern um die machbarkeit unter benutzung verschiedener module.
    Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
    lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
- +2 replies
- lichtkind
  
  2011-04-13 04:59
  
  User since
  2004-03-22
  5679 Artikel
  ModeratorIn + EditorIn
  
  Verschoben von Allgemeines zu Perl nach Fragen zu Perl-Modulen
  Tutorien in der Wiki, mein zeug:
  kephra, baumhaus, garten, gezwitscher
  
  Es beginnt immer mit einer Entscheidung.
  - pq
    
    2011-04-13 10:48
    
    User since
    2003-08-04
    12208 Artikel
    Admin1
    
    nochmal die bitte: kannst du alte threads bitte ohne kommentar verschieben, damit sie nicht alle in der liste der 24h auftauchen? =)
    Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
    lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem

View all threads created 2010-05-04 16:21.