Automatisches decodieren von utf-8 aus mysql Datenbank (gelöst) (Datenbanken und Verzeichnisdienste)

[thread]16580[/thread]

Automatisches decodieren von utf-8 aus mysql Datenbank [gelöst]

Tags: perl5 DBI MySQL utf-8 unicode decode Ähnliche Threads

Leser: 26

Articles: hide open all | hide show old branches

Teilbaum:
HTML::Template und utf-8 (19 Artikel) 2011-08-04 13:46

+40 replies

mcfaq

2011-08-01 17:55

User since
2011-04-20
20 Artikel
BenutzerIn
[default_avatar]

Hallo.

Ich habe eine Mysql Datenbank mit dieser Tabelle:

Code: (dl )

CREATE TABLE IF NOT EXISTS `utftbl` (
  `spalte` varchar(256) collate utf8_unicode_ci NOT NULL,
  `id` tinyint(4) NOT NULL auto_increment,
  PRIMARY KEY  (`id`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci AUTO_INCREMENT=1 ;

Diese html Testseite erstellt ein Formular, welches in dieser Tabelle Eingaben speichert und anschließend wieder ausliest:

Code: (dl )

<head>
<meta http-equiv="content-type" content="text/html; charset=UTF-8">
</head>
<body>
  <h1>€€€</h1>
  <form action="form.cgi" method="post">
    <input type="text" name="input">
    <input name="submit" type="submit">
    <input name="reset" type="reset">
    </form>
</body>
</head>

Die Template Datei sieht so aus:

Code: (dl )

<head>
<meta http-equiv="content-type" content="text/html; charset=UTF-8">
</head>
<body>
  <h1>Template Euros: €€€</h1>
  Form Euros:<TMPL_VAR spalte><br>
  Perl Euros:<TMPL_VAR spalte2><br>
  DB Euros(1):<TMPL_VAR spalte3><br>
  DB Euros(2):<TMPL_VAR spalte4>
</body>
</head>

Und der zur Bearbeitung der Formulardaten so:

Code (perl): (dl )

#!/usr/bin/perl -w
use HTML::Template;
use CGI::Simple;
use DBI;
use Data::Dumper;
use CGI::Carp qw(fatalsToBrowser);
use Encode qw( encode decode );
use utf8;



####################### A1 BEGIN ###############################################
#Pragma, welches besagt, dass alle Dateihandles per default auf utf8 eingestellt
#sind und transparent encoded / decoded wird
use open ':encoding(utf8)';
####################### A1 END   ###############################################



#Nicht funktionierende Variante (aus Beispielen aus dem Netz:
#
####################### A2 BEGIN #####################################
#Unterschied zu meiner Anweisung nicht ergründet):
#use open ':encoding(UTF-8)';
#use open ':std';
####################### A2 END   #####################################
#
####################### A3 BEGIN #####################################
#Einem bereits geöffneten Kanal kann nachträglich einen Konverter zuweisen
#binmode(STDOUT, ":encoding(UTF-8)");
####################### A3 END   #####################################



####################### B1 BEGIN ###############################################
my $dbh = DBI->connect(
    'DBI:mysql:database=testdb'
      . ';host=localhost',
    'root',
    'womex',
    { RaiseError => 1, Print_warn => 1, Warn => 1}
  ) or die "Can't connect to database!";
####################### B1 END   ###############################################




#Nicht funktionierende Variante:
#
####################### B2 BEGIN ###############################################
#my $dbh = DBI->connect(
#    'DBI:mysql:database=testdb'
#      . ';host=localhost',
#    'root',
#    'womex',
#    { RaiseError => 1, Print_warn => 1, Warn => 1, mysql_enable_utf8 => 1}
#  ) or die "Can't connect to database!";
####################### B2 END ###############################################
#
#
#
#
#
####### B3 BEGIN ==> B3 == Kombination (B1,B1+) == B2    #############
#
#       ####### B1+ BEGIN ############################################
#       #Alternative zur (ausgeblendeten) Anweisung von oben:  
#       #$dbh->{'mysql_enable_utf8'} = 1;
#       ####### B1+ END ##############################################
#
####### B3 END   ==> B3 == Kombination (B1,B1+) == B2    #############





#Sorgt dafür das Daten in und aus der Datenbank korrekt als UTF-8 gehandelt werden.  
$dbh->do(qq{SET NAMES 'utf8';});

#cgi Objekt für Zugriff auf per GET oder POST erhaltene Formulavariablen
my $cgi = new CGI::Simple;


 #Werte aller Formularelemente in Form eines Hashes
  my %cgiHash = $cgi->Vars();

  # open the html template
  my $template = HTML::Template->new( filename => 'test.tmpl', utf8 => 1 );
  
  $template->param( spalte => $cgiHash{'input'} );
  $template->param( spalte2 => encode('utf-8','5 mal Euro: €€€€€') );
  #SQl Statement, welches die Daten der Pflichfelder aus dem Formular speichern läßt.
  my $sth = $dbh->prepare(
    qq{
       INSERT INTO utftbl
       SET
         spalte = ?
      });
  
  #Durchführen des inserts in die Tabelle mit den Pflichtdaten
  unless (
    $sth->execute(
      $cgiHash{'input'}
    )
    ) {
    warn sprintf( "[Error]: Reason: [%s].", $dbh->errstr );
  }
  
  my ($return_value) = $dbh->last_insert_id( undef, undef, 'utftbl', 'id' );
  $sth = $dbh->prepare(
    qq{
       SELECT spalte from utftbl where id=$return_value
      });

  #Durchführen des selects in die Tabelle mit den Pflichtdaten
  unless (
    $sth->execute()
    ) {
    warn sprintf( "[Error]: Reason: [%s].", $dbh->errstr );
  }
  
  my @arr = $sth->fetchrow_array();
  #Wenn Datenbank String als utf-8 kodierter String eingelesen wurde und
  #wir nichts an diesem verändert haben, dann können wird diesen direkt ohne
  #Dekodierung/Enkodierung direkt rausschreiben, falls die Ausgabe auch in utf-8 deklariert ist.
  $template->param( spalte3 => $arr[0] );
  
  
  
  ####################### C1 BEGIN ###############################################
  #Falls wir mit dem utf-8 kodiertem String irgendetwas machen (z.B. Konkatination), dann
  #müssen wir diesen Dekodieren/Enkodieren
  $template->param( spalte4 => encode('utf-8', "Präfix€uro:" . decode('utf-8',$arr[0])) );
  ####################### C1 END #################################################
  
  
  
  
  #Nicht funktionierende Varianten:
  #  
  ####################### C2 BEGIN ###############################################
  #$template->param( spalte4 => encode('utf-8', "Präfix€uro:" . $arr[0]) );
  ####################### C2 END   ###############################################
  #
  #
  #
  ####################### C3 BEGIN ###############################################
  #$template->param( spalte4 => "PräfixEuro:" . $arr[0] );
  ####################### C3 END   ###############################################
  
  
  print( "Content-Type: text/html; charset=UTF-8\n\n", $template->output );

Das Problem ist, das ich einen Weg suche, die Dekoiderung aus utf-8 von der Datenbank automatisch und implizit erfolgen zu lassen, ähnlich zu den Anweisungen bei Dateihandles, wo man die Enkodierung angeben kann und diese automatisch passiert.

Ich habe in dem Code oben die Variante zu stehen, mit der ich alle Quellen von UTF-8 Ausgaben Fehlerfrei auf der Ergebnisseite erhalte. Die Alternativen, die in Frage kämen, um analoge implizite Dekodierungen der Daten aus der DB Tabelle zu erhalten sind kommentiert und tragen den gleichen Buchstaben, zum zugehörigen funktionierenden Verhalte. Man kann (und das habe ich auch) die alternativen nacheinander untereinander kombinieren, um einen Weg zu finden, mit der die implizite Dekodierung der Utf-8 Daten aus der DB Tabelle erfolgzuversprechen scheint. Aber nach meinr Kombination aller Möglichkeiten klappt keiner dieser Versuche.

Also hier die Essenz meiner Frage. Gibt es eine möglichkeit implizite Dekodierung der Utf-8 Daten aus der DB Tabelle zu realisieren und wenn ja: Wie. Was mache ich falsch?

Gruß

mcfaq.
Last edited: 2011-08-02 12:26:59 +0200 (CEST)

+3 replies
rosti

2011-08-01 18:33

User since
2011-03-19
3194 Artikel
BenutzerIn

Beim Verarbeiten eines HTML-Formulars ist es immer entscheidend, in welcher Kodierung das Formular ausgeliefert wurde.

Was entscheidend ist: Der HTTP-Header like

Content-Type; charset=UTF-8
Content-Type; charset=ISO-8859-1
Content-Type; charset=US-ASCII

oder je nachdem. Wenn der Header stimmt, sind die Zeichen auch in der entsprechenden Kodierung zu erwarten und damit jegliche Konvertierungen überflüssig.
- +2 replies
- pq
  
  2011-08-02 19:45
  
  User since
  2003-08-04
  12208 Artikel
  Admin1
  
  wenn man mit einer webseite arbeitet, die utf-8 ausliefert und empfängt, sollte man die daten zur verarbeitung dekodieren, da sonst stringmanipulationen wie uc(), substr() usw. nicht korrekt arbeiten und man bekommt kaputte strings. daher ist es durchaus sinnvoll, alle CGI-parameter zu dekodieren und erst bei der ausgabe alles wieder zu kodieren. und dasselbe gilt für das schreiben in die bzw. lesen aus der datenbank.
  
  das ist letztendlich einfacher und wartbarer als es manuell nur dann zu machen, wenn man es braucht. evtl. vergisst man es auch hier und da, und es fliegt einem erst dann um die ohren, wenn ein string kaputtgeht.
  Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
  lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
  - pq
    
    2011-08-03 19:16
    
    User since
    2003-08-04
    12208 Artikel
    Admin1
    
    Splitted to use utf8 und Verhalten von String-Operationen
    
    Original message by 'rosti':
    [quote]
    Quote
    wenn man mit einer webseite arbeitet, die u...
    
    Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
    lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
+3 replies
pq

2011-08-01 19:38

User since
2003-08-04
12208 Artikel
Admin1

welche DBD::mysql-version hast du denn? mysql_enable_utf8 kam erst ab 4.004 dazu...

edit: hab mich im changelog verguckt, da finde ich nicht, ab welcher version es dazukam. ich hab hier auf nem server jedenfalls eine 3.0008 rumliegen, die hat es noch nicht.

edit: ab 4.00 ist es drin.
Last edited: 2011-08-01 19:59:32 +0200 (CEST)
Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
- +2 replies
- mcfaq
  
  2011-08-02 12:28
  
  User since
  2011-04-20
  20 Artikel
  BenutzerIn
  
  Hallo pq.
  
  Ich habe Version 4.005.
  - pq
    
    2011-08-02 12:36
    
    User since
    2003-08-04
    12208 Artikel
    Admin1
    
    das ist merkwürdig.
    dann benutze mal das modul Devel::Peek.
    mache ein
    Dump $var;
    wobei $var eine variable direkt aus einem datenbankselect ist.
    wenn mysql_enable_utf8 gesetzt ist, sollte die ausgabe einen string zeigen mit utf8-flag, wenn es nicht gesetzt ist oder DBD::mysql die option noch nicht kennt, fehlt das.
    die ausgabe landet im errorlog des webservers, falls du das als CGI-skript ausfuhrst.
    
    beispiel:
    beim wort "überall" findest du in der korrekten ausgabe von Dump:
    PV = 0x9da5460 "\303\274berall"\0 [UTF8 "\x{fc}berall"]
    
    ansonsten ohne automatisches dekodieren:
    PV = 0xa127460 "\303\274berall"\0
    
    wenn du erstmal die info hast, ob das dekodieren funktioniert, dann kann man weitersehen.
    Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
    lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
+10 replies
kristian

2011-08-02 00:08
User since
2005-04-14
684 Artikel
BenutzerIn
Hallo,
wie pq schon sagte, es hängt am "mysql_enable_utf8".
(Das will man als vierten "$dsn - Prameter" schreiben.)

D.h. für dich:
Zeile 34
Code (perl): (dl )

. ';host=localhost;mysql_enable_utf8=1',
Gruß
Kristian
- +8 replies
- pq
  
  2011-08-02 11:45
  User since
  2003-08-04
  12208 Artikel
  Admin1
  2011-08-01T22:08:35 kristian
  wie pq schon sagte, es hängt am "mysql_enable_utf8".
  (Das will man als vierten "$dsn - Prameter" schreiben.)
  
  D.h. für dich:
  Zeile 34
  
  Code (perl): (dl )
  
  . ';host=localhost;mysql_enable_utf8=1',
  
  hm???
  
  erstens: er hat ja im script gezeigt, dass er mysql_enable_utf8 versucht hat, es hat aber laut seinen angaben nichts gebracht. daher vermute ich, dass es in seiner DBD::mysql-version nicht drin ist.
  
  zweitens: es gehört nicht in den DSN, sondern ist ein attribut:
  DBI->connect($dsn, $user, $pw, { mysql_enable_utf8 => 1, ... });
  Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
  lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
  - +7 replies
  - kristian
    
    2011-08-03 10:51
    User since
    2005-04-14
    684 Artikel
    BenutzerIn
    
    Hallo,
    
    als "vierter DNS-Parameter" ist die Wirkung anders, es beeinflusst die Datenübertragung zwischen MySQL- Client und Server:
    
    Code: (dl )
    
    1 2 3 4 5 6 7 8 9 10 11 12
    
    my $dsn = 'DBI:mysql:' . join( ";", 'database=' . $data->{'database'}, 'host=' . $data->{'server'}, 'port=' . $data->{'port'}, 'mysql_enable_utf8=1' ); my $dbh = DBI->connect( $dsn, $data->{'user'}, $data->{'password'}, { RaiseError => 0, PrintError => 1, AutoCommit => 0, mysql_enable_utf8 => 0 } ) or die( DBI->errstr() );
    
    Code: (dl )
    
    1 2 3 4 5 6
    
    SV = PV(0x8812588) at 0x880f7f0 REFCNT = 1 FLAGS = (POK,pPOK) PV = 0x8809580 "Bakker - Sch\303\266ne G\303\244rten!"\0 CUR = 25 LEN = 28
    
    Code: (dl )
    
    1 2 3 4 5 6 7 8 9 10 11 12
    
    my $dsn = 'DBI:mysql:' . join( ";", 'database=' . $data->{'database'}, 'host=' . $data->{'server'}, 'port=' . $data->{'port'} ); my $dbh = DBI->connect( $dsn, $data->{'user'}, $data->{'password'}, { RaiseError => 0, PrintError => 1, AutoCommit => 0, mysql_enable_utf8 => 0 } ) or die( DBI->errstr() );
    
    Code: (dl )
    
    1 2 3 4 5 6
    
    SV = PV(0xa43e3f0) at 0xa43b650 REFCNT = 1 FLAGS = (POK,pPOK) PV = 0xa4353f0 "Bakker - Sch\366ne G\344rten!"\0 CUR = 23 LEN = 24
    
    Wenn man(in) { mysql_enable_utf8 => 1 } an DBI übergibt wird sowohl die Communication auf UTF-8 gesetzt als auch der Content in das Perl-interne Format gebracht.
    
    Ich habe den Wunsch des OP wohl falsch verstanden oder der hat sich im Laufe der Diskussion geändert, ich hätte geschworen, da steht sowas wie "aus der Datenbank direkt ausgeben ohne decode / encode".
    
    Gruß
    Kristian
    - +4 replies
    - rosti
      
      2011-08-03 11:48
      
      User since
      2011-03-19
      3194 Artikel
      BenutzerIn
      
      Quote
      Wenn man(in) { mysql_enable_utf8 => 1 } an DBI übergibt wird sowohl die Communication auf UTF-8 gesetzt als auch der Content in das Perl-interne Format gebracht.
      
      Mein derzeitiges Thema, hochaktuell *G*
      
      Also, ich bin gerade dran, das etwas näher zu untersuchen und habe bisher keinen Effekt dieses Parameters feststellen können. Wenn Du Lust und Zeit hast, schreib mal ein bischen mehr dazu ;)
      - +2 replies
      - pq
        
        2011-08-03 12:02
        
        User since
        2003-08-04
        12208 Artikel
        Admin1
        
        hochaktuell also, ja?
        
        ich hab es doch erklärt, es ist ganz simpel:
        ein ü steht als \303\274 in der datenbank.
        
        Code (perl): (dl )
        
        1 2 3 4 5 6 7
        
        use Devel::Peek; my $dbh = DBI->connect($dsn, ..., { mysql_enable_utf8 => 0 }); my $sth = $dbh->prepare("SELECT a from utf8test"); $sth->execute; my ($test) = $sth->fetchrow_array; say length $test; Dump $test;
        
        Ausgabe:
        
        Code: (dl )
        
        1 2 3 4 5 6 7
        
        1 SV = PV(0x8616a68) at 0x8449d40 REFCNT = 1 FLAGS = (PADMY,POK,pPOK) PV = 0x85d8410 "\374"\0 CUR = 1 LEN = 4
        
        Dasselbe mit:
        my $dbh = DBI->connect($dsn, ..., { mysql_enable_utf8 => 1 });
        
        Ausgabe:
        1
        
        Code: (dl )
        
        1 2 3 4 5 6 7 8 9 10 11 12
        
        SV = PVMG(0x8f11cc4) at 0x8daed58 REFCNT = 1 FLAGS = (PADMY,SMG,POK,pPOK,UTF8) IV = 0 NV = 0 PV = 0x8da9038 "\303\274"\0 [UTF8 "\x{fc}"] CUR = 2 LEN = 4 MAGIC = 0x8da8bf8 MG_VIRTUAL = &PL_vtbl_utf8 MG_TYPE = PERL_MAGIC_utf8(w) MG_LEN = 1
        
        mysql_enable_utf8 dekodiert also automatisch die werte aus der datenbank. was dekodieren heisst, dürftest du ja jetzt gelernt haben.
        
        aber vermutlich stellt dich das auch nicht zufrieden, weil es von mir kommt.
        Last edited: 2011-08-03 12:05:23 +0200 (CEST)
        Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
        lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
        
        rosti
        
        2011-08-03 12:35
        
        User since
        2011-03-19
        3194 Artikel
        BenutzerIn
        
        Quote
        aber vermutlich stellt dich das auch nicht zufrieden, weil es von mir kommt.
        
        Quatsch. Es ist nur so, dass ich seit Jahren 'äöü'-Zeugs utf-8-kodiert in Datenbanken schreibe und auch so unzerknittert wieder da raushole.
        
        Jedes RDBMS hat eigene String-Funktionen, dazu sind, im Falle utf8, die entsprechenden Flags zu setzen (mysql ab v5) und gut isses.
      - kristian
        
        2011-08-03 12:56
        
        User since
        2005-04-14
        684 Artikel
        BenutzerIn
        
        Welche MySQL-Version hast du denn?
        Wenn nichts gesagt wird gehe ich immer von einer aktuellen Version, sprich 5.x aus.
    - +2 replies
    - pq
      
      2011-08-03 12:16
      
      User since
      2003-08-04
      12208 Artikel
      Admin1
      
      d.h. { mysql_enable_utf8 => 1 } macht das mysql_enable_utf8 im DSN sowieso überflüssig?
      ich glaube, ich hatte wenn dann früher SET NAMES utf8 stattdessen benutzt.
      Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
      lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
      - kristian
        
        2011-08-03 12:52
        
        User since
        2005-04-14
        684 Artikel
        BenutzerIn
        
        Für MySQL 5 gilt:
        "{ mysql_enable_utf8 => 1 } macht das mysql_enable_utf8 im DSN überflüssig"
        
        Bei den Vierer-Versionen klappt(e) der "4. DNS-Parameter Trick" nicht.
        Da musste man
        
        Code (perl): (dl )
        
        1 2
        
        $res = $dbh->do("SET NAMES utf8"); $res = $dbh->do("SET CHARSET utf8");
        
        schreiben.
- mcfaq
  
  2011-08-02 12:30
  
  User since
  2011-04-20
  20 Artikel
  BenutzerIn
  
  Hallo kristian.
  
  Habe ich durch deinen Hinweis im "$dsn -Paramter" platziert ausprobiert. Auch kein Erfolg. Danach durch den Hinweis von pq wieder revidiert!
  
  Cu.
+23 replies

2011-08-02 12:25

User since
2003-08-04
12208 Artikel
Admin1

mcfaq, wieso hast du jetzt dein originalposting ohne kommentar geändert und mysql_enable_utf8 in den dsn aufgenommen?
und wieso antwortest du nicht auf die nachfrage, welche DBD::mysql-version du hast?

perl-code zu ändern, wenn sich andere in antworten schon darauf beziehen, ist unhöflich, und ohne kommentar noch unhöflicher.

was möchtest du bezwecken? antworte doch erstmal auf die nachfrage...

Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
lesen: Wiki:

Wie frage ich & perlintro Wiki:

brian's Leitfaden für jedes Perl-Problem

+22 replies

mcfaq

2011-08-02 12:36

User since
2011-04-20
20 Artikel
BenutzerIn
[default_avatar]

Hallo pq.

Habe nicht daran gedacht Änderungen kommentieren zu können.

* Die erste Änderung bezog sich auf einsetzen als vierten dsn Parameter.
* Dann als ich dein Posting las wieder überschrieben.
* Änderungsgrund allgemein: Hatte bemerkt, dass es konsistent beim ausprobieren nur dann wird, wenn das Wiederauslesen sich auf den zuletzt vorgenommenen Eintragungsvorgang in die Tabelle bezieht. Daher musste ich die DB Tabelle um eine id erweitern, welche dann beim wiederauslesen als Kriterium fürs wiederauffinden des letzten Eintragungsvorgangs dienen kann.

P.S.: Ich werde gleich einen neuen Post schreiben, in dem ich meine Ergebnisse von neuen Versuche erlütere.

Cu

mcfaq.

+21 replies

2011-08-02 12:45

User since
2003-08-04
12208 Artikel
Admin1

ja, wäre schön, wenn du die ausgabe von Devel::Peek posten könntest.

da du in deinem posting behauptet hast, dass das dekodieren nicht funktioniert, auch mit mysql_enable_utf8 nicht, war ich davon augegangen, dass du das mit Devel::Peek überprüft hast. wenn man sich nicht sicher ist, was man für daten hat, ist das modul wirklich eine grosse hilfe und jeder, der mit utf-8 arbeitet, sollte es kennen.

solange du nicht weisst, was du von DBI bekommst, kannst du ja gar nicht wissen, an welcher stelle ein fehler liegt. das ist dann raterei.
vielleicht bin ich einfach neugieriger als andere, vielleicht aber auch fauler, aber wenn ich nicht weiss, was genau in einem string ist, dann gebe ich den inhalt aus, und zwar so genau wie möglich. denn das erspart mir weitere arbeit, weil ich weiss, wenn der inhalt wie erwartet ist, liegt der fehler im code danach, wenn nicht, wurde der string nicht wie erwartet aus der datenbank geholt. ggfs. reduziere ich nun mein testscript nur auf den teil, der falsch läuft, und umso schneller finde ich den fehler.
du kannst kollegen von mir fragen, wenn ich einem fehler auf der spur bin, dann gebe ich i.d.R. nicht auf, bevor ich ihn finde.

noch ein link: http://perlgeek.de/de/artikel/charsets-unicode

Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
lesen: Wiki:

Wie frage ich & perlintro Wiki:

brian's Leitfaden für jedes Perl-Problem

mcfaq

2011-08-02 17:12

Subtree with 20 replies: HTML::Template und utf-8

User since
2011-04-20
20 Artikel
BenutzerIn
[default_avatar]

Hallo pq.

Also ich kannte das Modul Devel::Peek nicht. Ich habe es aber jetzt benutzt und kann dir das Ergebns zeigen.
Es ist am Ende des folgenden Quellcodes aufgeführt:

Code (perl): (dl )

#!/usr/bin/perl -w
use HTML::Template;
use CGI::Simple;
use DBI;
use Devel::Peek;
use CGI::Carp qw(fatalsToBrowser carpout);
open(LOG, ">/var/www/utftest/log.txt");
carpout(LOG);
use Encode qw( encode decode );
use utf8;

binmode(STDIN, ":encoding(utf8)");
#Einem bereits geöffneten Kanal kann nachträglich auch ein Konverter zugewiesen werden_
#binmode(STDOUT, ":encoding(UTF-8)");

my $dbh = DBI->connect(
    'DBI:mysql:database=testdb'
      . ';host=localhost',
    'root',
    'womex',
    { RaiseError => 1, Print_warn => 1, Warn => 1, mysql_enable_utf8 => 1}
  ) or die "Can't connect to database!";

#cgi Objekt für Zugriff auf per GET oder POST erhaltene Formulavariablen
my $cgi = new CGI::Simple;


 #Werte aller Formularelemente in Form eines Hashes
  my %cgiHash = $cgi->Vars();

  # open the html template
  my $template = HTML::Template->new( filename => 'test.tmpl', utf8 => 1 );
  
  $template->param( spalte => $cgiHash{'input'} );
  $template->param( spalte2 => encode('utf-8','5 mal Euro: €€€€€') );
  #SQl Statement, welches die Daten der Pflichfelder aus dem Formular speichern läßt.
  my $sth = $dbh->prepare(
    qq{
       INSERT INTO utftbl
       SET
         spalte = ?
      });
  
  #Durchführen des inserts in die Tabelle mit den Pflichtdaten
  unless (
    $sth->execute(
      $cgiHash{'input'}
    )
    ) {
    warn sprintf( "[Error]: Reason: [%s].", $dbh->errstr );
  }
  my ($return_value) = $dbh->last_insert_id( undef, undef, 'utftbl', 'id' );
  $sth = $dbh->prepare(
    qq{
       SELECT spalte from utftbl where id=$return_value
      });

  #Durchführen des selects in die Tabelle mit den Pflichtdaten
  unless (
    $sth->execute()
    ) {
    warn sprintf( "[Error]: Reason: [%s].", $dbh->errstr );
  }
  
  my @arr = $sth->fetchrow_array();
  #Wenn Datenbank String als utf-8 kodierter String eingelesen wurde und
  #wir nichts an diesem verändert haben, dann können wird diesen direkt ohne
  #Dekodierung/Enkodierung direkt rausschreiben, falls die Ausgabe auch in utf-8 deklariert ist.
  $template->param( spalte3 => $arr[0] );
 
  $template->param( spalte4 => encode('utf-8',"Präfix€uro:") . $arr[0] );
  
  print( "Content-Type: text/html; charset=UTF-8\n\n", $template->output );
  
  Dump($cgiHash{'input'});
  Dump($arr[0]);
  Dump($template);

__END__

SV = PV(0x84b8930) at 0x8488d28
  REFCNT = 1
  FLAGS = (POK,pPOK,UTF8)
  PV = 0x84f4aa8 "Das BU\303\242\302\202\302\254RO"\0 [UTF8 "Das BU\x{e2}\x{82}\x{ac}RO"]
  CUR = 14
  LEN = 16
SV = PV(0x84ca9d0) at 0x8532288
  REFCNT = 1
  FLAGS = (POK,pPOK,UTF8)
  PV = 0x851c1f0 "Das BU\303\242\302\202\302\254RO"\0 [UTF8 "Das BU\x{e2}\x{82}\x{ac}RO"]
  CUR = 14
  LEN = 16
SV = RV(0x8180df0) at 0x8450788
  REFCNT = 1
  FLAGS = (PADBUSY,PADMY,ROK)
  RV = 0x81cbd78
  SV = PVHV(0x8158820) at 0x81cbd78
    REFCNT = 1
    FLAGS = (PADBUSY,PADMY,OBJECT,SHAREKEYS)
    IV = 4
    NV = 0
    STASH = 0x8154744   "HTML::Template"
    ARRAY = 0x84f4b08  (0:4, 1:4)
    hash quality = 137.5%
    KEYS = 4
    FILL = 4
    MAX = 7
    RITER = -1
    EITER = 0x0
    Elt "param_map" HASH = 0xfaf3dd80
    SV = RV(0x8180d24) at 0x852a7f0
      REFCNT = 1
      FLAGS = (ROK)
      RV = 0x852a7a8
      SV = PVHV(0x85510b0) at 0x852a7a8
        REFCNT = 1
        FLAGS = (SHAREKEYS,HASKFLAGS)
        UV = 4
        NV = 0
        ARRAY = 0x8517b40  (0:5, 1:2, 2:1)
        hash quality = 91.7%
        KEYS = 4
        FILL = 3
        MAX = 7
        RITER = -1
        EITER = 0x0
        Elt "spalte4" [UTF8 "spalte4"] HASH = 0xcf2c47e3
        SV = RV(0x8180e48) at 0x8532078
          REFCNT = 1
          FLAGS = (ROK)
          RV = 0x8532048
    Elt "parse_stack" HASH = 0x4c50ad1
    SV = RV(0x8180d1c) at 0x852a808
      REFCNT = 1
      FLAGS = (ROK)
      RV = 0x8531b44
      SV = PVAV(0x8487eb4) at 0x8531b44
        REFCNT = 1
        FLAGS = ()
        IV = 0
        NV = 0
        ARRAY = 0x8361280
        FILL = 8
        MAX = 11
        ARYLEN = 0x852a700
        FLAGS = (REAL)
        Elt No. 0
        SV = RV(0x8180e24) at 0x852a5f8
          REFCNT = 1
          FLAGS = (ROK)
          RV = 0x821092c
        Elt No. 1
        SV = RV(0x8180e2c) at 0x8531d18
          REFCNT = 1
          FLAGS = (ROK)
          RV = 0x8256718
        Elt No. 2
        SV = RV(0x8180e34) at 0x8531d48
          REFCNT = 1
          FLAGS = (ROK)
          RV = 0x8220084
        Elt No. 3
        SV = RV(0x8180e38) at 0x8531e08
          REFCNT = 1
          FLAGS = (ROK)
          RV = 0x8531d00
    Elt "options" HASH = 0xa12ff3a2
    SV = RV(0x8180c50) at 0x8488d1c
      REFCNT = 1
      FLAGS = (ROK)
      RV = 0x8488e24
      SV = PVHV(0x84d8568) at 0x8488e24
        REFCNT = 1
        FLAGS = (SHAREKEYS,HASKFLAGS)
        UV = 33
        NV = 0
        ARRAY = 0x851a8c0  (0:37, 1:22, 2:4, 3:1)
        hash quality = 105.3%
        KEYS = 33
        FILL = 27
        MAX = 63
        RITER = -1
        EITER = 0x0
        Elt "cache_debug" HASH = 0x3cb23b45
        SV = IV(0x8480070) at 0x848e8a8
          REFCNT = 1
          FLAGS = (IOK,pIOK)
          IV = 0

In diesem veränderten und kürzeren Quellcode wird durch weglassen einer der "utf8 Anweisungen" das Ergebnis wieder falsch.

Ich habe folgende Schlüsse gezogen.

A)
Wenn ich binmode(STDIN, ":encoding(utf8)"); weglasse, dann:
* erhalte ich folgende Warnung im LOG ->

Quote
[Tue Aug 2 16:29:11 2011] form.cgi: Wide character in print at /var/www/utftest/form.cgi line 74.

* Alle Euros außer die aus der DB Tabelle werden falsch dargestellt: nämlich so â¬

B1.1)
Wenn ich , mysql_enable_utf8 => 1 weglasse, dann:
* werden nur die Euros aus der DB Tabelle falsch dargestellt: nämlich so â¬

B1.2)
Wenn ich zusätzlich zu Wegnahme , mysql_enable_utf8 => 1 noch
$arr[0] = decode('utf-8',$arr[0]) hinter my @arr = $sth->fetchrow_array(); einfüge, dann klappt es wieder fehlerfrei.

B1.3)
Wenn ich dann noch zusätzlich $template->param( spalte4 => encode('utf-8',"Präfix€uro:") . $arr[0] ); in
$template->param( spalte4 => ,"Präfix€uro:" . $arr[0] ) , dann:
* erhalte ich folgende Warnung im LOG -> [/quote][Tue Aug 2 16:35:21 2011] form.cgi: Wide character in print at /var/www/utftest/form.cgi line 73.[quote]
* es wird nur der Euro, welches direkt im Perl Program steht richtig ausgegeben und ansonsten â¬ angezeigt.

C) Wenn ich , utf8 => 1 entferne:
* passiert nichts -> alles bleibt korrekt.

Ich hoffe jemandem fällt ein Weg ein, wie man gelesene Ergebnisse aus der mysql DB Tabelle in dekodierter Form erhält, ohne explizit decode anwenden zu müssen.

Nochmal zur Verdeutlichung. Hier in diesem Beispiel mag es ja nicht erforderlich zu sein, da man ja auch utf-8 Strings konkatinieren kann und den Ergebnis Utf-8 String in template schreiben kann.

Mir geht es aber darum, dass ich auch andere String Funtionen, welche nicht auf Binärstrings korrekt arbeiten , wie z.B. length uc lc ..., anwenden zu können. Ich will also den String in der überwiegenden Zeit der Programmausführung in dekodierter Form haben.

Gruß

mcfaq.

modedit Editiert von pq: Teilbaum "HTML::Template und utf-8", da der mysql-Teil korrekt ist
Last edited: 2011-08-02 18:10:26 +0200 (CEST)

View all threads created 2011-08-01 17:55.