HTML::Parser und substr() (solved) (Fragen zu Perl-Modulen)

[thread]21458[/thread]

HTML::Parser und substr() [solved]

Tags: perl5 HTML Similar Threads

Readers: 7

Articles: hide open all | hide show old branches

Subtree:
Sinnvolle Lösung? use bytes; Oder doch nicht. Oder Encode? (37 articles) 2023-05-14 16:04

+47 replies
GwenDragon

2023-05-09 13:09
User since
2005-01-17
14785 articles
Admin1
Ich nutze auf einem Linux-Server HTML::Parser, um mit dtest nur den Textinhalt zu bekommen.
Code (perl): (dl )

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62

use strict; use warnings; use 5.020; use utf8; my $maxlen = 300; # $data wird aus einer Datei gefüllt, ich habe den Code entfernt # kürzen $data = shorten($data); sub shorten { my $source = shift; # Puffer für geänderte Elemente my @replaced_data = (); # HTML-Parser erzeugen my $p = HTML::Parser->new(); $p->empty_element_tags(1); $p->xml_pic(1); # damit auch z.B. <?php .... ?> geparst wird $p->utf8_mode(1); # Handlerroutine für bestimmte Startelemente registrieren $p->handler( start => sub { return "" } ); # Handlerroutine für bestimmte Endelemente registrieren $p->handler( end => sub { return "" } ); # Handlerroutine für Textinhalt + Deskodierung registrieren $p->handler( text => sub { my $s = shift; push @replaced_data, $s; }, "dtext" ); # Handlerroutine für Kommentare registrieren $p->handler( comment => sub { return "" }, "text" ); # Handlerroutine für PHP und anderes mit <? ?> $p->handler( process => sub { return "" }, "text" ); # HTML nun parsen und ändern $p->parse($source); # stop parsing $p->eof(); my $data = join "", @replaced_data; return substr( $data, 0, $maxlen ) . '…'; } ## end sub shorten print "Content-Type: text/html; charset: utf-8\n\n"; print "<!DOCTYPE HTML> <html> <body> <p>$data</p> </body> </html> ";
Soweit ist das ok, wenn ich substr() nicht nutze und dann den kompletten Text ausgebe.

Nun will ich aber den String mit substr() kürzen.
Gehe ich aber dann gekürzte Teilkette aus, ist es an manchen Stellen (z.B. bei Umlauten) innerhalb des Unicodezeichens gekürzt, also wird aus 0xC30xA4 dann 0xC3, was eher invalides HTML5 ergibt.

verstehe ich die Doku zu substr() falsch? Die schreiben doch character.

Was ist mein Denkfehler?
Last edited: 2023-05-09 13:27:32 +0200 (CEST)
die Drachin Gwen

Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
- +3 replies
- haj
  
  2023-05-09 16:20
  User since
  2015-01-07
  561 articles
  BenutzerIn
  Ich vermute, hier:
  
  Code (perl): (dl )
  
  # $data wird aus einer Datei gefüllt
  
  Ich vermute mal, da wird nicht decodiert. 0xC30xA4 sind keine Characters, das sind UTF-8-Bytes.
  
  Der utf8_mode ist speziell für die Verarbeitung nicht dekodierter Strings gedacht, indem er Entities in UTF-8 codierte Bytes entschlüsselt. Der ganze Code arbeitet also mit Bytes, Perl weiß nicht, dass 0xC30xA4 als ein Character interpretiert werden soll.
  - +2 replies
  - GwenDragon
    
    2023-05-09 17:27
    
    User since
    2005-01-17
    14785 articles
    Admin1
    
    Ja, utf8_mode hab ich eingesetzt, damit Entities dekodiert werden.
    Du meinst, ich soll dann noch das nehmen, um von einem Byte-Stream nach Characters zu kommen, damit substr() korrekt abtrennt?
    
    $data = Encode::decode('utf-8', $data);
    
    Das wirft mir woanders bei Digest::MD5::md5_hex Ärger aus.
    So nach dem Motto "Wide Character …"
    $md5_digest = Digest::MD5::md5_hex($data);
    Logisch, weil das einen bytestream will.
    Last edited: 2023-05-09 18:00:59 +0200 (CEST)
    die Drachin Gwen
    
    Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
    - haj
      
      2023-05-09 18:02
      
      User since
      2015-01-07
      561 articles
      BenutzerIn
      
      2023-05-09T15:27:07 GwenDragon
      Ja, utf8_mode hab ich eingesetzt, damit Entities dekodiert werden.
      
      Obacht: Sie werden mit utf8-mode als UTF-8-Bytes generiert, den Vorgang nennt man enkodieren.
      
      2023-05-09T15:27:07 GwenDragon
      Du meinst, ich soll dann noch das nehmen, um von einem Byte-Stream nach Characters zu kommen, damit substr() korrekt abtrennt?
      
      $data = Encode::decode('utf-8', $data);
      
      Ja, genau. Und dann den utf8-mode rauswerfen, damit Dir der Parser UTF8-Characters aus Deinen Entities macht, und natürlich am Ende des Spektakels wieder nach UTF-8 codieren, entweder mit encode oder mit
      
      Code (perl): (dl )
      
      binmode STDOUT,':encoding(UTF-8)';
      
      vor den abschließenden print-Anweisungen.
      
      Noch etwas Kleingedrucktes: Dogmatisch sauber (aber praktisch irrelevant) ist es, wenn Du $data zusammen mit Deinen HTML-Elementen (also ab <!DOCTYPE html>) in UTF-8 codierst. Dein HTTP-Header und Deine HTML-Elemente sind ASCII, da spielt das keine Rolle. Laut Standard wird nämlich der HTTP-Header, zu dem der Content-Type gehört, in ISO-8859-1 codiert - und es gibt HTTP-Header, in denen Umlaute vorkommen dürfen (der Realm, der heute kaum noch verwendet wird, ist ein Beispiel).
- +5 replies
- rosti
  
  2023-05-09 17:51
  User since
  2011-03-19
  3506 articles
  BenutzerIn
  Das liegt daran daß Du den Text als Rohdaten (Binary) bekommst. Die Lösung ist Encode.pm und damit musst Du für Deinen Text die Kodierung (utf-8) einschalten. Dann klappt es auch mit substr(), das arbeitet dann zeichenorientiert. MFG
  
  Code (perl): (dl )
  
  1 2 3 4 5 6 7 8 9 10
  
  use strict; use warnings; use Encode; my $binary = 'äöü'; # Rohdaten # Kodierung einschalten my $chars = Encode::decode("utf-8", $binary); my $substr = substr($chars, 0, 2); use bytes; # für print die Kodierung wieder ausschalten print $substr; # äö
  
  Siehe auch http://rolfrost.de/widechar.html
  
  .
  Last edited: 2023-05-09 17:53:22 +0200 (CEST)
  - +4 replies
  - GwenDragon
    
    2023-05-09 18:11
    
    User since
    2005-01-17
    14785 articles
    Admin1
    
    Danke, lieber Rosti.
    use bytes; war der Rettungsanker.
    
    Ich falle ab und an immer noch über das Problem zwischen Bytes und Unicode und Perls eigener Vorstellung von Zeichensequenzen und Bytesequenzen.
    
    Ich muss mir das doch mal notieren, da das Merken bei 60++ nachlässt. ;-)
    Last edited: 2023-05-09 18:27:29 +0200 (CEST)
    die Drachin Gwen
    
    Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
    - +3 replies
    - rosti
      
      2023-05-09 18:42
      
      User since
      2011-03-19
      3506 articles
      BenutzerIn
      
      Die Sache ist doch ganz einfach. Für alles was nach draußen geht, also STDOUT, FILEHANDLE, DBHANDLE usw. muß die Kodierung ausgeschaltet sein. Eine Kodierung wird nur programmintern gebraucht, bspw. für substr() wenn das zeichenorientiert arbeiten soll.
      
      Das Problem ist, daß man bei Perlmodulen oft nicht weiß ob die zeichenorientiert oder byteorientiert arbeiten. Hinzu kommt daß beim
      Provider Module wie z.B. JSOM.pm bez. Kodierung anders arbeiten als auf der eigenen Windows-Kiste.
      - +2 replies
      - GwenDragon
        
        2023-05-09 18:49
        
        User since
        2005-01-17
        14785 articles
        Admin1
        
        2023-05-09T16:42:11 rosti
        Das Problem ist, daß man bei Perlmodulen oft nicht weiß ob die zeichenorientiert oder byteorientiert arbeiten. Hinzu kommt daß beim
        Provider Module wie z.B. JSOM.pm bez. Kodierung anders arbeiten als auf der eigenen Windows-Kiste.
        Es ist halt ab und an ziemlich aufwändig raus zu bekommen, ob byte- oder zeichenorientiert gearbeitet wird, sicher, es lässt sich im Quellcode suchen.
        Und ich muss mal auffrischen, welche Core-Funktionen zeichenorietiert arbeiten.
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
        
        rosti
        
        2023-05-09 20:27
        
        User since
        2011-03-19
        3506 articles
        BenutzerIn
        
        Quote
        welche Core-Funktionen zeichenorietiert arbeiten.
        
        Das tun alle Stringfunktionen wie substr(), length() und auch die Expressions in dem Moment wenn die Kodierung eingeschaltet ist. Ansonsten arbeiten diese Funktionen bytesemantisch.
        
        MFG
- GwenDragon
  
  2023-05-09 18:09
  
  Subtree with 38 replies: Sinnvolle Lösung? use bytes; Oder doch nicht. Oder Encode?
  User since
  2005-01-17
  14785 articles
  Admin1
  Lösung ist wohl:
  
  Code (perl): (dl )
  
  1 2 3 4 5 6
  
  my $data = join "", @replaced_data; $data = Encode::decode("utf-8", $data); $data = substr( $data, 0, $maxlen ); use bytes; return $data . '…';
  
  Sieht so aus als würde das nun ein valider HTML-Stream.
  Last edited: 2023-05-12 14:19:09 +0200 (CEST)
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten

View all threads created 2023-05-09 13:09.