HTML::Parser - Attribute von HTML ändern, welche sich nicht(!) unterhalb <pre> oder <code> befinden (solved) (Fragen zu Perl-Modulen)

[thread]21442[/thread]

HTML::Parser - Attribute von HTML ändern, welche sich nicht(!) unterhalb <pre> oder <code> befinden [solved]

Tags: perl5 HTML HTML::Parser Similar Threads

Readers: 10

Articles: hide open all | hide show old branches

Subtree:
Meine Lösung (9 articles) 2023-02-04 09:31

+22 replies

GwenDragon

2023-01-30 18:12

User since
2005-01-17
14749 articles
Admin1

Gibt es eine Möglichkeit bei HTML::Parser die Kind-Elemente de Eltern-Elemente <CODE> und <PRE> unverändert auszugeben?
CPAN:

HTML::Parser ist immer so eine komplizierte Sache.

Meine Lösung (oder geht's noch einfacher oder robuster?):

Code (perl): (dl )

#!/usr/bin/perl

use strict;
use warnings;
use 5.024;
use utf8;

use HTML::Parser;
use URI;

my $current_uri = "https://example.org/tests/"
  ;    # enthält aktuelle URL (notwendig für relative URLs)

my $source = <<'HTML';
<ul>
<li><a href="." title="Anfang">Test</a>
<li><a href="test.html" title="Erster Test" class="c1">Test 1</a>
<li><a href="Test1/test.html">Test 2</a>
<li><a href="http://example.org/example/Test1/test.html">Test 3</a>
<li><a href="//example.org/example/Test1/test.html">Test 4</a>
<li><a href="./example/Test1/test.html">Test 5</a>
<li><a href="./example/.././../../Test1/test.html">Test 6</a>
<li><a href="a/s/d/f/g/h/j//test.html">Test 7</a>
</ul>

<?php
        # auch hier nix ändern 
        # <a href="test.html" title="Erster Test" class="c1">Test 1</a>
?>

<!-- Kommentarblock; auch hier nix ändern!!!!
<ul>
<li><a href="." title="Anfang">Test</a>
<li><a href="test.html" title="Erster Test" class="c1">Test 1</a>
<li><a href="Test1/test.html">Test 2</a>
<li><a href="http://example.org/example/Test1/test.html">Test 3</a>
<li><a href="//example.org/example/Test1/test.html">Test 4</a>
<li><a href="./example/Test1/test.html">Test 5</a>
<li><a href="./example/.././../../Test1/test.html">Test 6</a>
<li><a href="a/s/d/f/g/h/j//test.html">Test 7</a>
</ul>
-->

<pre><code> 
<!-- Hier im PRE oder CODE-Kindern erst recht niemals was ändern!!!! -->
<ul>
        <li><a href=".">Test</a>
        <li><a href="test.html">Test 1</a>
        <li><a href="Test1/test.html">Test 2</a>
        <li><a href="http://example.org/example/Test1/test.html">Test 3</a>
        <li><a href="//example.org/example/Test1/test.html">Test 4</a>
        <li><a href="./example/Test1/test.html">Test 5</a>
        <li><a href="./example/.././../../Test1/test.html">Test 6</a>
        <li><a href="a/s/d/f/g/h/j//test.html">Test 7</a>
</ul>
</code></pre>
HTML

### Hier kommt der Parser
{
    # HTML-Parser erzeugen
    my $p = HTML::Parser->new();

    $p->empty_element_tags( 1 );

    # Handlerroutine für bestimmte Startelemente registrieren
    $p->handler( start => \&start, "tagname,attr,self" );

    # Handlerroutine für normalen Textinhalt registrieren
    $p->handler( text => sub { print shift }, "dtext,self" );

    # Kommentare
    $p->handler( comment => sub { print shift }, "text" );

    # PHP oder anderes
    $p->handler( process => sub { print shift }, "text" );

    # HTML scannen
    $p->parse( $source );

    # Parsen beenden
    $p->eof;

    # Handler für HTML-Startelemente
    sub start {
        my ( $tag, $attr, $self ) = @_;

        # HTML-Element <PRE>
        if ( lc $tag eq "pre" ) {
            $self->handler( start => sub { print shift }, 'text' );
            $self->handler( end   => \&end,               "tagname,self" );
        }

        # <CODE>-Block
        if ( lc $tag eq "code" ) {
            $self->handler( start => sub { print shift }, 'text' );
            $self->handler( end   => \&end,               "tagname,self" );
        }

        # <A> HTML-Element a, ein Link
        if ( lc $tag eq "a" ) {
            $self->handler( end => \&end, "tagname,self" );

            # URLs in RFC-gültige URI umwandeln
            local $URI::ABS_REMOTE_LEADING_DOTS = 1;
            $attr->{ href } = URI->new( $attr->{ href } )->abs( $current_uri );
        }

        # andere HTML Elemente wieder ausgeben (samt Attributen!)
        print "<$tag";
        # zum HTML-Element Attribute und Werte ausgeben
        while ( my ( $att, $val ) = each %{ $attr } ) {
            print qq/ $att="$val"/;
        }
        print ">";
    } ## end sub start

    # Handler für HTML-Endelemente
    sub end {
        my ( $tag, $self ) = @_;

        # HTML-Endelement ausgeben
        print "</$tag>";
    }

}

Ergibt das dann:

Code: (dl )

<ul>
<li><a href="https://example.org/tests/" title="Anfang">Test</a>
<li><a class="c1" href="https://example.org/tests/test.html" title="Erster Test">Test 1</a>
<li><a href="https://example.org/tests/Test1/test.html">Test 2</a>
<li><a href="http://example.org/example/Test1/test.html">Test 3</a>
<li><a href="https://example.org/example/Test1/test.html">Test 4</a>
<li><a href="https://example.org/tests/example/Test1/test.html">Test 5</a>
<li><a href="https://example.org/Test1/test.html">Test 6</a>
<li><a href="https://example.org/tests/a/s/d/f/g/h/j//test.html">Test 7</a>
</ul>

<?php
	# auch hier nix õndern 
	# <a href="test.html" title="Erster Test" class="c1">Test 1</a>
?>

<!-- Kommentarblock; auch hier nix õndern!!!!
<ul>
<li><a href="." title="Anfang">Test</a>
<li><a href="test.html" title="Erster Test" class="c1">Test 1</a>
<li><a href="Test1/test.html">Test 2</a>
<li><a href="http://example.org/example/Test1/test.html">Test 3</a>
<li><a href="//example.org/example/Test1/test.html">Test 4</a>
<li><a href="./example/Test1/test.html">Test 5</a>
<li><a href="./example/.././../../Test1/test.html">Test 6</a>
<li><a href="a/s/d/f/g/h/j//test.html">Test 7</a>
</ul>
-->

<pre><code> 
<!-- Hier im PRE oder CODE-Kindern erst recht niemals was õndern!!!! -->
<ul>
	<li><a href=".">Test</a>
	<li><a href="test.html">Test 1</a>
	<li><a href="Test1/test.html">Test 2</a>
	<li><a href="http://example.org/example/Test1/test.html">Test 3</a>
	<li><a href="//example.org/example/Test1/test.html">Test 4</a>
	<li><a href="./example/Test1/test.html">Test 5</a>
	<li><a href="./example/.././../../Test1/test.html">Test 6</a>
	<li><a href="a/s/d/f/g/h/j//test.html">Test 7</a>
</ul>
</code></pre>

Lösung sieht sauber aus, aber ich frage euch trotzdem mal, vielleicht überseh’ ich was beim Parsen des HTML.

Mist, kaum ist da so ein Schnippsel im HTML:

Code: (dl )

<?php
	# auch hier nix ändern 
	# <a href="test.html" title="Erster Test" class="c1">Test 1</a>
	echo "<a href="test.html" title="Erster Test" class="c1">Test 1</a>";
?>

<? 
	echo "<a href="test.html" title="Erster Test" class="c1">Test 1</a>";
?>

dann erzeugt den Schnippsel:

Code: (dl )

<?php
	# auch hier nix õndern 
	# <a href="test.html" title="Erster Test" class="c1">Test 1</a>
	echo "<a title="Erster Test" class="c1" href="https://example.org/tests/test.html">Test 1</a>";
?>

<? 
	echo "<a href="test.html" title="Erster Test" class="c1">Test 1</a>";
?>

Seltsam, warum schlug das denn beim obigen Code nicht an?
Ich hachte Zeile 76 fängt das ab?
Last edited: 2023-02-01 12:20:00 +0100 (CET)

die Drachin Gwen

Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten

GwenDragon

2023-01-30 18:24

User since
2005-01-17
14749 articles
Admin1

Weiß irgendjemand was?

In den HTML-Programm-Sourcen mit Perl s/// machen ist ja nicht sinnvoll und wäre eh ein Anfängerfehler, weil ja nur bestimmte HTML-Kind-Elemente geändert werden sollen und eine sowieso per Regex kein HTML parsen kann.
Last edited: 2023-01-30 19:53:22 +0100 (CET)
die Drachin Gwen

Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
+2 replies
rosti

2023-01-31 06:54

User since
2011-03-19
3482 articles
BenutzerIn

Ich würde das über ein Template lösen. Also das was *pre und *code ist über Platzhalter einbauen.
- GwenDragon
  
  2023-01-31 10:42
  
  User since
  2005-01-17
  14749 articles
  Admin1
  
  Ich stimme dir zu, Templates sind immer fein, wenn anwendbar. pqs HTML::Template::Compiled is da sehr schön.
  
  Die PRE-CODE-Sequenzen werden aber durch einen HTML-Web-Editor xkeditor4 erzeugt und dienen dazu, Code-Blocks einzufügen. Das kann in dem Umfeld auch nicht geändert werden.
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
+8 replies
haj

2023-01-31 10:09
User since
2015-01-07
557 articles
BenutzerIn
2023-01-30T17:12:57 GwenDragon
Mist, kaum ist da so ein Schnippsel im HTML:

Code: (dl )

1 2 3 4 5 6 7 8 9

<?php # auch hier nix ändern # <a href="test.html" title="Erster Test" class="c1">Test 1</a> echo "<a href="test.html" title="Erster Test" class="c1">Test 1</a>"; ?> <? echo "<a href="test.html" title="Erster Test" class="c1">Test 1</a>"; ?>

dann erzeugt den Schnippsel:

Code: (dl )

1 2 3 4 5 6 7 8 9

<?php # auch hier nix õndern # <a href="test.html" title="Erster Test" class="c1">Test 1</a> echo "<a title="Erster Test" class="c1" href="https://example.org/tests/test.html">Test 1</a>"; ?> <? echo "<a href="test.html" title="Erster Test" class="c1">Test 1</a>"; ?>

Seltsam, warum schlug das denn beim obigen Code nicht an?
Ich hachte Zeile 76 fängt das ab?
Um das zu beheben, musst Du Deinem Parser eine weitere Konfiguration verpassen:
Code (perl): (dl )

$p->xml_pic( 1 );
Der Grund: Per default beendet der HTML::Parser "Processing instructions" (PIs) mit der SGML-Syntax, das heißt, mit einem einfachen '>'. Wenn also Dein PHP-Schnipsel, wie im obigen Beispiel, HTML-Tags enthält, dann hört für den Parser die PI nach dem ersten Tag auf und danach wird wieder HTML interpretiert. Deswegen ist der Link in der echo-Anweisung wieder ein Link. Also muss man dem Parser sagen, dass PIs erst mit '?>' aufhören, wie's in XML üblich ist.

Das Originalbeispiel und Dein zweiter PHP-Schnipsel funktionieren "zufällig", weil das '<a ' auch nach SGML-Syntax noch zur PI gezählt wird!
- +4 replies
- GwenDragon
  
  2023-01-31 10:37
  
  User since
  2005-01-17
  14749 articles
  Admin1
  
  Danke, @haj ❤️
  
  Quote
  $p->xml_pic( 1 );
  
  Das war die Lösung.
  
  Ich denke, die HTML-Sourcen lassen sich nun reparieren und konvertieren.
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
  - +3 replies
  - haj
    
    2023-01-31 14:38
    User since
    2015-01-07
    557 articles
    BenutzerIn
    
    Noch etwas ist mir aufgefallen:
    
    Code (perl): (dl )
    
    1 2
    
    # Handlerroutine für normalen Textinhalt registrieren $p->handler( text => sub { print shift }, "dtext,self" );
    
    Mit dtext wird aus einem < in Deiner HTML-Quelle ein < in der Ausgabe, sowas kann böse enden. Anstelle von dtext solltest Du einfach text verwenden.
    - guest GwenDragon@phone
      
      2023-01-31 16:51
      
      @haj Danke, für den Hinweis.
      Ich notier mir das, ist ja noch kein Code der draußen genutzt wird.
      
      Du hast Recht, das kann im Zweifel böse als Lücke für JS o.ä. enden.
      
      Und anderen, die hier lesen, sollten nicht alles ungetestet und ungefragt übernehmen ohne genau zu wissen was da passieren kann.
      Last edited: 2023-01-31 18:36:31 +0100 (CET)
    - GwenDragon
      
      2023-01-31 18:38
      
      User since
      2005-01-17
      14749 articles
      Admin1
      
      Hätte ich dazu schon einen Perl-Test geschrieben, wäre mir das vielleicht eher aufgefallen. ;-)
      die Drachin Gwen
      
      Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
- +3 replies
- GwenDragon
  
  2023-01-31 12:06
  User since
  2005-01-17
  14749 articles
  Admin1
  @haj
  Ich habe doch noch ’ne Frage.
  
  Kann ich irgendwie dies überspringen?
  
  Code: (dl )
  
  1 2 3 4 5
  
  <% #TEST <a href="test.html" title="Erster Test" class="c1">Test 1</a> %> <%= $header %>
  
  Lassen sich in HTML::Parser denn solche "illegale" Markup-Elemente ignorieren, also nur ausgeben?
  Last edited: 2023-01-31 12:29:46 +0100 (CET)
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
  - +2 replies
  - haj
    
    2023-01-31 14:32
    
    User since
    2015-01-07
    557 articles
    BenutzerIn
    
    Das wird ... Bastelei. Der HTML::Parser behandelt <% als Text und nicht als Markup, Browser machen das genauso. Damit hat der Parser auch keine spezielle Behandlung von "Material zwischen <% und %>", das wird ganz normal geparst.
    Wenn Du sowas behandeln willst, müsstest Du also selber Buch führen, ob Du gerade in so einem Bereich bist und Deine Link-Behandlung dran anpassen. Da gibt's viele eklige Sonderfälle wie zum Beispiel '<% ', bei denen Du das %> nicht als "Text", sondern als Kommentar zu sehen bekommst.
    
    Da würde ich dann vermutlich doch eher solche Bereiche als Ganzes vor dem Parsen rausziehen und hinterher wieder einfügen. Denn vermutlich gelten zwischen diesen Grenzen ganz spezielle Syntaxregeln, die nichts mit HTML zu tun haben müssen.
    - guest GwenDragon@phone
      
      2023-01-31 16:53
      
      OK, dann geht’s nicht, wenn ich da den Parser aufbohren müsste.
      Es ist mir auch bislang kein Markup unter gekommen, das <% %> nutzen würde.
      Last edited: 2023-01-31 18:36:37 +0100 (CET)

GwenDragon

2023-02-01 12:13

Subtree with 10 replies: Meine Lösung

User since
2005-01-17
14749 articles
Admin1

ich wollte das noch teilen, für die es interessiert und die Helfenden (Danke!).
.
Meine Lösung, um in einer Zeichenkette beim HTML mit den Attributen src und href die URLs zu absoluten URIs zu machen.

Code (perl): (dl )

use HTML::Parser;
use URI;

sub replace_with_absolute_uri {
    # Parameter:
    #       $source:                HTML als Zeichenkette
    #       $current_uri:   $current_uri: absoluter URI als Ziel
    # Returns
    #       geändertes HTML als String

    my $source      = shift;
    my $current_uri = shift;

    # Puffer für geänderte Elemente
    my @replaced_data = ();
    # Variablen für Handler der Start-/Endelemente des HTML
    my ( $mystart, $myend );

    # Handler HTML-Startelemente
    $mystart = sub {
        my ( $tag, $attr, $self ) = @_;

        # HTML-Element <PRE>unverändert ausgeben
        if ( lc $tag eq "pre" ) {
            $self->handler(
                start => sub { my $s = shift; push @replaced_data, $s; },
                'text'
            );
            $self->handler( end => $myend, "tagname,self" );
        }

        # HTML-Element <CODE>, Code-Blocks unverändert ausgeben
        if ( lc $tag eq "code" ) {
            $self->handler(
                start => sub { my $s = shift; push @replaced_data, $s; },
                'text'
            );
            $self->handler( end => $myend, "tagname,self" );
        }

        # HTML-Element <A>, ein Link
        if ( lc $tag eq "a" ) {
            $self->handler( end => $myend, "tagname,self" );

            # URLs in RFC-gültige absolute URI umwandeln
            local $URI::ABS_REMOTE_LEADING_DOTS = 1;
            $attr->{ href } = URI->new( $attr->{ href } )->abs( $current_uri )
              if exists $attr->{ href };
        }

        local $URI::ABS_REMOTE_LEADING_DOTS = 1;
        # auch Attribut src, falls esistent! bei anderen HTML-Elemente auf absolute URI ändern
        $attr->{ src } = URI->new( $attr->{ src } )->abs( $current_uri )
          if exists $attr->{ src };

        # andere HTML Elemente wieder ausgeben (samt Attributen!)
        push @replaced_data, "<$tag";
        # zum HTML-Element Attribute und Werte ausgeben
        while ( my ( $att, $val ) = each %{ $attr } ) {
            push @replaced_data, qq/ $att="$val"/;
        }
        push @replaced_data, ">";
    };    ## end sub start

    # Handler HTML-Endelemente
    $myend = sub {
        my ( $tag, $self ) = @_;

        # HTML-Endelement ausgeben
        push @replaced_data, "</$tag>";
    };

    # HTML-Parser erzeugen
    my $p = HTML::Parser->new();
    $p->empty_element_tags( 1 );
    $p->xml_pic( 1 );    # damit auch z.B. <?php .... ?> geparst wird

    # Handlerroutine für bestimmte Startelemente registrieren
    $p->handler( start => $mystart, "tagname,attr,self" );
    # Handlerroutine für bestimmte Endelemente registrieren
    $p->handler( end => $myend, "tagname,self" );
    # Handlerroutine für normalen Textinhalt registrieren
    $p->handler(
        text => sub { my $s = shift; push @replaced_data, $s; },
        "text"
    );
    # Handlerroutine für Kommentare        registrieren
    $p->handler(
        comment => sub { my $s = shift; push @replaced_data, $s; },
        "text"
    );
    # Handlerroutine für PHP und anderes mit <? ?>
    $p->handler(
        process => sub { my $s = shift; push @replaced_data, $s; },
        "text"
    );

    # HTML nun parsen und ändern
    $p->parse( $source );

    return join "", @replaced_data;
} ## end sub replace_with_absolute_uri

Last edited: 2023-02-01 16:58:29 +0100 (CET)

die Drachin Gwen

Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten

View all threads created 2023-01-30 18:12.