Catalyst character encoding Latin-1 zu UTF-8 (solved) (Webframeworks, Sonstige Fragen zur Webprogrammierung mit Perl)

[thread]20200[/thread]

Catalyst character encoding Latin-1 zu UTF-8 [solved]

Tags: perl5 Similar Threads

Readers: 10

Articles: hide open all | hide show old branches

+25 replies
cbxk1xg

2016-12-03 19:24
User since
2003-10-20
496 articles
BenutzerIn
Hi!

Ich breche mir seit ein paar Tage die Finger an folgendem Problem.

Ich habe eine Catalyst-App die auf einem Debian 8 (64 Bit) läuft. Die App hat die Aufgabe zunächst auf einem Endpoint Daten via GET oder POST (Is' mir Wurscht) entgegen zunehmen. Die Daten kommen von einem Radio-Broadcast-System welches auf Windows 7 (64 Bit) läuft. Die App soll nach einigen anderen Dingen mit ein paar APIs telefonieren und dann am Ende UTF-8 Content in eine Datenbank schreiben und JSON als Antwort auf die HTTP-Requests liefern. - Das funktioniert auch ganz nett. Allerdings immer nur bis zu nächsten öäüß etc. Leider kann der Client die Ausgabe meiner App gar nicht verarbeiten. Ich sehe also die Antwort von meiner App leider nicht im Broadcast-System. Alles was ich sehe ist ein Eintrag im Protokoll des Broadcast-Systems, daß ein (man weiß aber nie welcher) Request mit dem Status 400 fehlschlug. Das Teil setzt halt nur stumpf seine HTTP-Requests ab. Das erschwert natürlich die Fehlersuche.

Ich habe mir ein kleines CGI-Script geschrieben um herauszubekommen, was mir das Broadcast-System als Anfrage schickt.
Code (perl): (dl )

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57

##!/usr/bin/perl use strict; use warnings; use utf8; use Data::Dumper; use CGI; use Encode qw( encode decode ); my $File = "/var/www/htdocs/DumperFile.dat"; my $query = new CGI(); print $query->header(-type=>'text/html', -charset=>'utf-8'); my @names = $query->param; my $queryParams = ""; my $savedDumpFile = writeFile(@names); printOutput(@names); exit; sub printOutput { my @names = @_; my $queryParams = ""; print "saved mairlist dumper-file: ".$File."\n" if ($savedDumpFile == 1); for my $name ( @names ) { if ( $name =~ /\_/ ) { next; } else { $queryParams .= $name."\t\t".$query->param($name)."\n"; } } my $utf8 = $queryParams; print Dumper($utf8)."\n"; return 1; } sub writeFile { my @names = @_; my $queryParams = ""; open(FILE, ">>$File") || die ("Could not open file"); for my $name ( @names ) { if ( $name =~ /\_/ ) { next; } else { $queryParams .= $name."\t\t".$query->param($name)."\n"; } } print FILE Dumper($queryParams)."\n"; close( FILE ) || die("Could not close file"); return 1; } # EOF
DumperFile.dat
Code: (dl )

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

$VAR1 = 'action start artist HP filePath D:/some/path/HP - Früher War Alles Besser [Dezember 2013]/HP - (Früher War Alles Besser 01).mp3 timestampStart 2016-12-03 01:49:10 title Früher War Alles Besser 01 öäüß type Promo totalTime 00:00:31 '; $VAR1 = 'action stop artist Lady Antebellum filePath D:/some/path/Lady Antebellum - All I Want For Christmas Is You -- 2012.mp3 timestampStart 2016-12-03 01:49:12 title All I Want For Christmas Is You -- 2012 type Music totalTime 00:03:35 ';
Wenn ich das Dump-File mit meiner IDE unter Linux öffne, sehe ich als Encoding Latin-1. Der gleiche Request von einer Linux-Machine zum Test-Script, ergibt am Ende ein Dump-File mit UTF-8 encoding.

Meine Catalyst-App antwortet also leider immer mit einem HTTP-Status Code 400, wenn ein Latin-1 Sonderzeichen (öäüß) im Request vorkommt. Und ich wüsste nun sehr gerne wie ich meiner App beibringen kann, mit einen Request das kein UTF-8 Encoding enthält, umgehen zu können. Ich würde gerne das Latin-1 in brauchbares UTF-8 transcodieren.

Der in Catalyst eingebaute Webserver wirft auf der Shell folgende Fehlermeldung.
Code: (dl )

[error]Caught exception in engine "utf8 "\xF6" does not map to Unicode at /usr/local/share/perl/5.20.2/Catalyst.pm line 3662."
Soweit ich es verstanden habe versucht Catalyst das Encoding zu fixen, hängt sich aber daran auf.

Hat jemand 'ne Idee???

Grüße aus dem nasskalten Berlin!
cbx

Editiert von cbxk1xg: weniger Tabs im Code.
Last edited: 2016-12-05 00:26:54 +0100 (CET)
- guest janus
  
  2016-12-04 08:42
  
  Stelle sicher, dass Deine Datenquelle die erwartete Kodierung liefert. Also prüfe das.
  Last edited: 2016-12-04 16:24:01 +0100 (CET)
- +10 replies
- cbxk1xg
  
  2016-12-04 15:46
  
  User since
  2003-10-20
  496 articles
  BenutzerIn
  
  Danke für die Antwort, leider sehe ich sie nicht. Bei mir steht hier nur: "Noch nicht freigegeben Heute 08:42"
  - +9 replies
  - cbxk1xg
    
    2016-12-04 17:22
    
    User since
    2003-10-20
    496 articles
    BenutzerIn
    
    @Janus: Ich weiss doch welche Codierung ich bekomme: Latin-1
    
    Es geht darum, wie ich Catalyst dazu bewege, damit umzugehen.
    - +8 replies
    - guest janus
      
      2016-12-04 17:39
      
      2016-12-04T16:22:58 cbxk1xg
      @Janus: Ich weiss doch welche Codierung ich bekomme: Latin-1
      
      Es geht darum, wie ich Catalyst dazu bewege, damit umzugehen.
      
      Umkodieren nach UTF-8. siehe Encode.pm
      Last edited: 2016-12-04 18:54:51 +0100 (CET)
      - +7 replies
      - cbxk1xg
        
        2016-12-04 19:00
        
        User since
        2003-10-20
        496 articles
        BenutzerIn
        
        Ich weiß! Aber wo in Catalyst? Das ist kein kleines CGI sondern ich habe diverse Controller, Models, etc... Ich bekomme ja von Catalyst nur Zugriff auf die GET oder POST Variablen, wenn der Request keinen Error 400 produziert. Also ist die Frage: An welcher Stelle kann ich eingreifen und mit Encode aus Latin-1 sauberes UTF-8 machen?
        
        Und wie kann ich herausfinden, ob ein Request UTF-8 oder Latin-1 ist? Denn ich habe auch Linux Clients, die dann wiederum UTF-8 schicken.
        Last edited: 2016-12-04 19:44:19 +0100 (CET)
        
        +6 replies
        
        guest janus
        
        2016-12-05 08:25
        
        Im Request sind Rohdaten, also Oktetten (Bytes). Die Fehlermeldung kommt an der Stelle, wo Catalyst bzw. der Parser versucht, diese Rohdaten in das Perl-interne UTF-8-Format umzuwandeln und dabei annimmt, die Rohdaten seien UTF-8-kodiert. Die Doku sollte hergeben, wo das passiert.
        Last edited: 2016-12-05 12:25:23 +0100 (CET)
        
        +5 replies
        
        cbxk1xg
        
        2016-12-05 13:29
        
        User since
        2003-10-20
        496 articles
        BenutzerIn
        
        Ja. Aber daher ja meine Frage: Wo kann ich das ändern. Denn in der Doku steht dazu nichts passendes. Wenn sich Catalyst immer so verhält, nur weil ein Request eine Exception wirft, ist es eh unbrauchbar.
        
        +4 replies
        
        guest janus
        
        2016-12-05 14:52
        
        2016-12-05T12:29:04 cbxk1xg
        Ja. Aber daher ja meine Frage: Wo kann ich das ändern. Denn in der Doku steht dazu nichts passendes. Wenn sich Catalyst immer so verhält, nur weil ein Request eine Exception wirft, ist es eh unbrauchbar.
        
        http://search.cpan.org/~jjnapiork/Catalyst-Runtime...
        
        Ganz unten: MyApp->config(encoding=>undef);
        
        Würde ich mal ausprobieren. Ansonsten finde ich die Doku ziemlich unverständlich, was aber auch an meiner Behinderung liegen könnte ;)
        
        Im Default arbeitet Perl byte-orientiert, ich vermute, dass mit o.g. Anweisung dieser Default wiederhergestellt wird, Perl byteorientiert arbeitet und die Rohdaten bis zum Speichern in der DB unverfälscht durchreicht. Das schafft klare Verhältnisse, eine Umkdodierung Latin1 => UTF-8 kanns Du somit der DB-Engine überlassen und hast das völlig raus aus dem Code.
        Last edited: 2016-12-05 16:31:35 +0100 (CET)
        
        GwenDragon
        
        2016-12-05 16:39
        
        User since
        2005-01-17
        14837 articles
        Admin1
        
        Manche Clients senden nicht immer UTF manchmal auch Latin-1 oder gar Windows 1252.
        Das ist das eklige Problem: Wie unterscheidet man, ob die Bytes zu ISO-Latin oder Unicode gehören.
        Selbst Encode::Guess kann nicht alles erraten.
        
        Aber wenn es bei Windows 7 nur Latin1 ist, liegt dein Tipp richtig, da encoding in Catalyst abzuschalten.
        
        mal sehen was dann cbxk1xg so rausfindet, bin ich gespannt.
        Last edited: 2016-12-05 16:46:10 +0100 (CET)
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
        
        cbxk1xg
        
        2016-12-05 17:43
        
        User since
        2003-10-20
        496 articles
        BenutzerIn
        
        Danke! Ich denke, dass ist es! Und ich finde die Doku übrigens auch extrem unübersichtlich.
        
        GwenDragon
        
        2016-12-05 18:17
        
        User since
        2005-01-17
        14837 articles
        Admin1
        
        Die Doku bei Perl-Modulen ist auch bei verbreiteten Modulen nicht immer sonderlich gut. Selbst technisch bewanderte Leute haben bei manchen Modulen von CPAN Schwierigkeiten bei der Doku, wenn ich das so an Erfahrungen bei IO::Socket::SSL oder Crypt::SSLeay denke, krieg ich immer noch Zustände und das Haare raufen.
        
        Perl hat den Ruf unlesbar zu sein, ja, aber unlesbare Dokumentation macht dessen Module unverbreitbar und nur für Gurus lesbar. Wenn nur die Programmierer da gut durchblicken, können andere die Dokumentation auch nicht mit verbessern.
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
- +3 replies
- GwenDragon
  
  2016-12-05 13:36
  
  User since
  2005-01-17
  14837 articles
  Admin1
  
  Warum änderst du nicht das Encoding der eingelesenen Daten? https://metacpan.org/pod/distribution/CGI/lib/CGI....
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
  - +2 replies
  - cbxk1xg
    
    2016-12-05 13:46
    
    User since
    2003-10-20
    496 articles
    BenutzerIn
    
    Das macht Catalyst doch alles im Kern selbst?! Ich habe am Ende nur $c->params im Controller. Ich weiß auch nicht, wo ich die params encoden soll. Also im Controller oder im Main Module meiner App?
    - cbxk1xg
      
      2016-12-05 13:51
      
      User since
      2003-10-20
      496 articles
      BenutzerIn
      
      Die params z.B. im Controller zu encoden (da benutze ich sie zum ersten Mal) bringt nichts, weil der Fehler schon vorher auftritt.
- +10 replies
- GwenDragon
  
  2016-12-05 14:08
  
  User since
  2005-01-17
  14837 articles
  Admin1
  
  Deine App sendet alles per GET oder POST an den Server? Und in deiner Oberfläche ist wohl beim Formular kein Encoding angegeben?
  https://www.w3.org/TR/html401/interact/forms.html#...
  Last edited: 2016-12-05 14:13:53 +0100 (CET)
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
  - +9 replies
  - cbxk1xg
    
    2016-12-05 14:20
    
    User since
    2003-10-20
    496 articles
    BenutzerIn
    
    Siehe meine originale Fragestellung. Ich habe keinerlei Einfluss auf den Request. Mit Ausnahme der Zuweisung der Variablen. Es gibt kein Formular.
    - +8 replies
    - GwenDragon
      
      2016-12-05 16:34
      
      User since
      2005-01-17
      14837 articles
      Admin1
      
      Entschuldige, dass ich dir da zeit geraubt hab. Meine Unaufmerksamkeit, liegt wohl auch an meiner vor Jahren erworbenen Einschränkung von Brain 1.0.
      die Drachin Gwen
      
      Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
      - +7 replies
      - cbxk1xg
        
        2016-12-05 17:42
        
        User since
        2003-10-20
        496 articles
        BenutzerIn
        
        Naja, da ich hier der Fragesteller bin, hab ich dann wohl brain 0.5 beta. :-)
        
        +6 replies
        
        GwenDragon
        
        2016-12-05 18:08
        
        User since
        2005-01-17
        14837 articles
        Admin1
        
        Nein, ich hab zu Anfang wirklich schlampig über dein Posting geschaut.
        Aber lassen wir doch die Selbsbezichtigungen, Hauptsache irgendjemand bringt das Problem zu einer Lösung.
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
        
        +5 replies
        
        cbxk1xg
        
        2016-12-05 18:29
        
        User since
        2003-10-20
        496 articles
        BenutzerIn
        
        Danke, so sehe ich das auch. Ich arbeite heute Abend noch mal daran. Ich denke, ich bekomme es gelöst. Werde dann berichten.
        
        +4 replies
        
        cbxk1xg
        
        2016-12-05 21:53
        
        User since
        2003-10-20
        496 articles
        BenutzerIn
        
        Also das Ende vom Lied ist...
        
        Man kann das Encoding ausschalten, allerdings haut dann gar nichts mehr hin. Dann kann kein normales System mehr utf-8 mit der App sprechen. Das ist echt eine Katastrophe. Jetzt kann ich meine App in die Tonne kloppen. 4 Monate Entwicklung in wenigen Stunden zerstört. Und nur weil Catalyst mit anderen Encodings noch schlechter umgehen kann als ein blödes CGI. *stummer Schrei!!!!*
        
        +3 replies
        
        guest janus
        
        2016-12-08 08:32
        
        Encode macht nur Sinn, wenn zeichenorientierte Funktionen zum Einsatz kommen und dafür muss man nicht ganze Frameworks von Byteorientierung auf Zeichenorientierung umschalten. Ich hab mal in einer Firma gearbeitet, die haben das tatsächlich gemacht obwohl es völlig unsinnig war und die haben für diese Umstellung ein halbes Jahr gebraucht.
        
        Am Ende dieser sinnlosen Aktion wurde diese Firma fusioniert und musste von Perl auf PHP umstellen. Nach dieser Umstellung war die UTF-8-Unterstützung auf dem Stand vom Jahr 2000 ;)
        Last edited: 2016-12-08 09:33:29 +0100 (CET)
        
        +2 replies
        
        cbxk1xg
        
        2016-12-08 17:01
        
        User since
        2003-10-20
        496 articles
        BenutzerIn
        
        Ich habe ich mir der Sache noch mal angenommen und es gelöst. Ich habe das encoding utf8 in der Config raus genommen und mir eine kleine Funktion geschrieben, die den Schurken (Broadcast System) identifiziert und dann alle Parameter entsprechend "behandelt".
        
        Code (perl): (dl )
        
        1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
        
        sub decodeRequestParams { my ($self, $c) = @_; my @params = $c->request->param; my %requestParams = (); my $ua = Parse::HTTP::UserAgent->new( $c->request->user_agent ); for my $key (@params) { if ($ua =~ m/MyBadBadKitty/i) { $requestParams{$key} = decode("iso-8859-1", $c->request->param($key)); } else {$requestParams{$key} = $c->request->param($key);} } return (%requestParams); }
        
        Last edited: 2016-12-09 15:44:11 +0100 (CET)
        
        guest janus
        
        2016-12-08 17:47
        
        Ja, Gut!
        
        Viele Grüße ;)
        Last edited: 2016-12-08 19:02:24 +0100 (CET)

View all threads created 2016-12-03 19:24.