HTML::TreeBuilder- durch HTML tags interieren (Fragen zu Perl-Modulen)

[thread]19511[/thread]

HTML::TreeBuilder- durch HTML tags interieren

Tags: perl5 Ähnliche Threads

Leser: 14

Articles: hide open all | hide show old branches

+6 replies

Gast iamlooking

2015-02-17 09:14

Hallo zusammen,

ich versucher gerade mit HTML::TreeBuilder durch eine Webseite zu iterieren. Sprich, ich möchte alle HTML Tags von oben nach unten durchlaufen. Wenn sich ein Tag in Untertags wie z.B. <ul><li..</li></ul> verzweigt möchte ich erst der Verzweigung nach gehen und dann wieder beim nächsten Tag weiter machen. Bisher habe ich immer HTML::Parser verwendet. Ich dachte HTML::TreeBuilder ist da irgendiwe komfortabler, komme aber nicht weiter wie ich in den Verzweigungen weiter komme.

Mein Testbody sieht so aus:

Code: (dl )

<body>
<p>
<h1>Überschrift H1</h1>
<h2>Überschrift H2</h2>
<h3>Überschrift H3</h3>
<h4>Überschrift H4</h4>
</p>
<p><strong>FETT</strong></p>
<p><em>SCHIEF</em></p>
<p><u>UNTERSTRICHEN</u></p>
<p style="color: #FF0000">Roter Text</p>
<p style="color: #0000FF">Blauer Text</p>
<p><img width="100px" src="bus.jpg"></p>
<p><table style="border: solid 1px">
 <tr><td>Obenlinks</td><td>Obenrechts</td></tr>
 <tr><td>Untenlinks</td><td>Untenrechts</td></tr>
</table></p>
<p>Dolor dignissimos voluptas debitis neque quas. Debitis corporis libero consectetur odio molestias eum sunt. </p>
<p>
<ul>
 <li>Punkt 1</li>
 <li>Punkt 2</li>
 <li>Punkt 3</li>
   <ul>
     <li>Unterpunkt 1</li>
     <li>Unterpunkt 2</li>
     <li>Unterpunkt 3</li>
   </ul>
</ul>
</body>

Das zugehörige Perlskript so:

Code (perl): (dl )

my $Tree  = HTML::TreeBuilder->new();
$Tree->parse_content($html);

my @nodes   = $Tree->elementify();
my @content = $nodes[0]->content_list();

foreach my $elem (@content) {
  $data->{$elem->tag()} = $elem;
}

foreach my $elem ($data->{'body'}->content_list()) {
  if (!$elem->is_empty)) {
    my @list = $elem->content_refs_list(), "\n";
    my $tag = $elem->tag();

    if (ref($list[0]) eq 'SCALAR') {
      $elem->as_text());
    } else {
      #HIER MUESSTE ICH WEITER ABSTEIGEN KOENNEN, ODER?
    }
  }
}

$Tree->delete;

Last edited: 2015-02-17 09:42:46 +0100 (CET)

+3 replies

payx

2015-02-17 10:15

User since
2006-05-04
564 Artikel
BenutzerIn

user image

Hallo iamlooking,

ich hätte mir das gern angesehen, aber Dein "Perlskript" ist überhaupt nicht lauffähig (was ist $data?; syntax error in line 12 , near "))" usw.).

Bitte poste ein Scriptbeispiel, das funktioniert, auch wenn es nicht das tut, was Du willst. Dann findet sich hier bestimmt jemand, die oder der Dir dabei hilft, das gewünschte Verhalten zu erzielen.

Grüße
payx

+2 replies

MagisterTechnicus

2015-02-17 10:46

User since
2015-02-17
2 Artikel
BenutzerIn
[default_avatar]

Ja stimmt, du hast recht. Hier der aufbereitete Code.

Code (perl): (dl )

#!/usr/bin/perl 

use strict;
use warnings;
use utf8;

use HTML::TreeBuilder;
use Data::Dumper;
use utf8;

my $Tree = HTML::TreeBuilder->new();

my $data;

my $html = qq~
<!DOCTYPE html>
<html lang="en">
<head>
  <meta http-equiv="content-type" content="text/html;">
  <title>Scanner</title>
</head>
<body>
<p>
<h1>Überschrift H1</h1>
<h2>Überschrift H2</h2>
<h3>Überschrift H3</h3>
<h4>Überschrift H4</h4>
</p>
<p><strong>FETT</strong></p>
<p><em>SCHIEF</em></p>
<p><u>UNTERSTRICHEN</u></p>
<p style="color: #FF0000">Roter Text</p>
<p style="color: #0000FF">Blauer Text</p>
<p><img width="100px" src="bus.jpg"></p>
<p><table style="border: solid 1px">
 <tr><td>Obenlinks</td><td>Obenrechts</td></tr>
 <tr><td>Untenlinks</td><td>Untenrechts</td></tr>
</table></p>
<p>Dolor dignissimos voluptas debitis neque quas. Debitis corporis libero consectetur odio molestias eum sunt. </p>
<p>
<ul>
 <li>Punkt 1</li>
 <li>Punkt 2</li>
 <li>Punkt 3</li>
   <ul>
     <li>Unterpunkt 1</li>
     <li>Unterpunkt 2</li>
     <li>Unterpunkt 3</li>
   </ul>
</ul>
</body>
</html>
~;

$Tree->parse_content($html);

my @nodes = $Tree->elementify();

my @content = $nodes[0]->content_list();

foreach my $elem (@content) {
  $data->{$elem->tag()} = $elem;
}

foreach my $elem ($data->{'body'}->content_list()) {
  if (!$elem->is_empty()) {
    my @list = $elem->content_refs_list();
    my $tag = $elem->tag();

    if (ref($list[0]) eq 'SCALAR') {
      print $elem->as_text(),"\n";
    } else {
      #HIER MUESSTE ICH WEITER ABSTEIGEN KOENNEN, ODER?
    }
  }
}

$Tree->delete;

Last edited: 2015-02-17 10:50:57 +0100 (CET)

payx

2015-02-17 12:05

User since
2006-05-04
564 Artikel
BenutzerIn

user image

Hallo MagisterTechnicus,

Deine Aufgabe lässt sich prinzipiell mit einer Rekursion lösen: Wenn das Element Unterelemente enthält, ruft sich die Funktion für das Parsen selbst wieder auf.

Ich weiß aber nicht, ob das für den TreeBuilder best practice ist.

Code (perl): (dl )

#!/usr/bin/perl 

use strict;
use warnings;
use utf8;

use HTML::TreeBuilder;
# use Data::Dumper;

my $Tree = HTML::TreeBuilder->new();

my $data;

my $html = qq~
<!DOCTYPE html>
<html lang="en">
<head>
  <meta http-equiv="content-type" content="text/html;">
  <title>Scanner</title>
</head>
<body>
<p>
<h1>Überschrift H1</h1>
<h2>Überschrift H2</h2>
<h3>Überschrift H3</h3>
<h4>Überschrift H4</h4>
</p>
<p><strong>FETT</strong></p>
<p><em>SCHIEF</em></p>
<p><u>UNTERSTRICHEN</u></p>
<p style="color: #FF0000">Roter Text</p>
<p style="color: #0000FF">Blauer Text</p>
<p><img width="100px" src="bus.jpg"></p>
<p><table style="border: solid 1px">
 <tr><td>Obenlinks</td><td>Obenrechts</td></tr>
 <tr><td>Untenlinks</td><td>Untenrechts</td></tr>
</table></p>
<p>Dolor dignissimos voluptas debitis neque quas. Debitis corporis libero consectetur odio molestias eum sunt. </p>
<p>
<ul>
 <li>Punkt 1</li>
 <li>Punkt 2</li>
 <li>Punkt 3</li>
   <ul>
     <li>Unterpunkt 1</li>
     <li>Unterpunkt 2</li>
     <li>Unterpunkt 3</li>
   </ul>
</ul>
</body>
</html>
~;

$Tree->parse_content($html);

my @nodes = $Tree->elementify();

my @content = $nodes[0]->content_list();

foreach my $elem (@content) {
  $data->{$elem->tag()} = $elem;
}

my $content = do_content_parsing($data->{'body'});

$Tree->delete;

#################################################
sub do_content_parsing {
  my $content = shift;
  
  foreach my $elem ($content->content_list()) {
    if (!$elem->is_empty()) {
      
      my @list = $elem->content_refs_list();
      #my $tag = $elem->tag();
      
      if (ref($list[0]) eq 'SCALAR') {
        print $elem->as_text(),"\n";
      } else {
        do_content_parsing($elem);
      }
    }
  }
}

HTH
Grüße
payx

clms

2015-02-17 12:32

User since
2010-08-29
373 Artikel
BenutzerIn

Hallo,

erstmal: Dein Ansatz innerhalb der Foreach-Schleife funktioniert nicht, weil selbst wenn der erste Eintrag in der Content-List ein "plain text string" ist, können die nachfolgenden wieder HTML::Element sein.

HTML::TreeBuilder hält tatsächlich eine Methode bereit, die das Durchsuchen und -laufen des HTML-Baumes vereinfacht: $tree->look_down(...).
Die wird normalerweise zum Suchen verwendet, aber mit look_down(_tag => qr/./) kannst Du sie so einstellen, dass sie jedes Element im Baum findet.
Da sind dann aber noch nicht die reinen Text-Strings dabei. Willst Du die auch in Deiner Ergebnis-Liste haben, musst du sie vorher in HTML::Element umwandeln. Das geht mit $tree->objectify_text().

Wenn Dir look_down() nicht flexibel genug ist oder Dir die Reihenfolge nich passt, musst Du doch wieder auf einen selbstgeschriebene rekursive Funktion zurückgreifen, so wie es payx vorgeschlagen hat.
MagisterTechnicus

2015-02-17 16:19

User since
2015-02-17
2 Artikel
BenutzerIn

Danke für eure Tipps. Sie haben mir sehr weiter geholfen.

View all threads created 2015-02-17 09:14.