fÃƒÂ¼r in der MySQL-Datenbank ... (gelöst) (Datenbanken und Verzeichnisdienste)

[thread]18768[/thread]

fÃƒÂ¼r in der MySQL-Datenbank ... [gelöst]

Tags: perl5 DBI Ähnliche Threads

Leser: 27

Articles: hide open all | hide show old branches

+13 replies
rtp_de

2013-11-26 15:48
User since
2013-08-17
8 Artikel
BenutzerIn
Hallo miteinander,

"Ich kann lesen." steht auf einem T-Shirt, das ich mal von einer Buchmesse mit nach Hause gebracht habe. Und ich habe die letzten Tage wirklich viel Ergebnisseiten von Google und Einträge in diesem Forum hier zu diesem Thema gelesen. Das alles hat mich auch schlauer gemacht. Einzig: Eine Lösung habe ich noch nicht. Das tötet mir echt den Nerv - und dabei kam noch nicht einmal "Last Christmas" im Radio!! (Radio zerstören - Radio vergraben - Loch ausbetonieren - Mahnmal aufstellen.)

Worum geht es?

Zunächst lese ich mit LWP eine XML-Datei ein, die UTF8-codiert ist. Die Codierung belasse ich beim Einlesen auch so, weil es sich um einen RSS-Feed handelt. (Als ich testweise die Codierung bereits beim Einlesen geändert habe, hat XML:RSS beim Parsen gestreikt.)

Anschließend verarbeitet eine Schleife den Feed. An eine Stelle wende ich für z. B. "title" aus dem Feed $_=Encode::encode("ISO-8859-1",$_); an.

Wenn ich anschließend das Ganze in eine neue Text-Datei schreibe, erfreut sich mein Herz an schönen Umlauten. Wenn ich das Ganze aber mit DBI in eine MySQL-Datenbank schiebe, verätzen mit dir ÃƒÂ¼ dieser Welt die Hornhaut.

Zur Erklärung: Ich mache solche versauten Sachen sonst nicht. Normalerweise schreibe ich CGI-Skripte, die Benutzereingaben im Browser in Tabellen auf einem MySQL-Server speichern. Ohne viel darüber nachzudenken habe ich als Kollation für MySQL immer latin1_german1_ci ausgewählt und alle Umlaute blieben Umlaute und ich hatte über Jahre damit nie Probleme.

Das Problem - argh - tritt beim oben beschriebenen Fall erstmals auf. Ich habe auch schon versucht, den ganzen Prozess von vorne bis hinten einheitlich auf UTF-8 auszurichten, d. h. z. B.
- Skriptdateien in dieser Codierung speichern;
- use utf8;
- $dbh->{'mysql_enable_utf8'} = 1;
- $dbh->do("SET NAMES utf8");
- binmode(STDOUT, ":utf8");
usw.
Es war aber immer noch nicht so, dass in der MySQL-Tabelle einfach nur der Umlaut stand. (Habe ich den nervtötenden Aspekt bei diesem Thema schon erwähnt?)

Kurzum: Wenn ich den String in eine Datei schreibe, passt es. Wenn ich ihn in eine MySQL-Tabelle schreibe, passt es nicht. Wie kann ich einen UTF-8-Sonderzeichen in einen Umlaut (z. B. nach ISO-8859-1 oder etwas Darüberliegendes) umwandeln und in eine MySQL-DB schreiben?

Wer die Antwort weiss rettet meiner Familie und mir die Adventszeit und hat echt was gut...

PS: Ich ergänze dieses Codebeispiel noch hier bei der Threaderöffnung:
Code (perl): (dl )

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30

#!/usr/bin/perl use DBI; use LWP::UserAgent; use XML::RSS; use Encode; use warnings "all"; # Datenbankverbindung aufbauen my $dbh=DBI->connect('dbi:mysql:***','***','***'); # Datei-Fetching mit LWP my $url = "http://www.dieter-broers.de/blog.xml"; my $ua = LWP::UserAgent->new(); $ua->agent('Opera'); my $response = $ua->get($url); my $ticker=$response->content(); # Irgendetwas aus dem RSS extrahieren und das in die Datenbank schreiben my $rss = XML::RSS->new(); $rss->parse($ticker); foreach $item (@{$rss->{'items'}}){ my $title = $item->{'title'}; my $sth = "INSERT INTO `meinetabelle` (`titel`) VALUES ('$title');"; my $query=$dbh->prepare($sth); $query->execute; } # Datenbankverbindung trennen $dbh->disconnect;
modedit Editiert von GwenDragon: Titel gekürzt
Last edited: 2013-11-27 11:05:57 +0100 (CET)
- +2 replies
- topeg
  
  2013-11-26 16:15
  User since
  2006-07-10
  2611 Artikel
  BenutzerIn
  Also wenn die DB auf "latin1_german1_ci" steht bringt es dir auch nichts wenn du eine Übertragung als "UTF-8" machst ($dbh->{'mysql_enable_utf8'}). Das bringt die DB nur durcheinander ( Sie Versucht UTF8 Daten in eine latin1 spalte zu schreiben ).
  
  Als dumme Fragen zu Kontrolle:
  
  In wie weit hat du warnings verwendet?
  
  Hast du es schon ganz ohne UTF-8 bei den DB Einträgen versucht?
  also:
  
  Code (perl): (dl )
  
  1 2 3 4 5 6 7
  
  # ... my $ret=$lwp->get('http://www.example.org/xml_data.xml'); die unless $ret->is_success; my $xml=$ret->encoded_content(); $xml = Encode::encode("ISO-8859-1",$xml); $dbh->do('INSERT INTO whin_auch_immer (xml) VALUES (?)', undef, $xml); # ...
  
  oder hast mal du die Kodierung der DBI überlassen?
  
  Code (perl): (dl )
  
  1 2 3 4 5 6
  
  # ... my $ret=$lwp->get('http://www.example.org/xml_data.xml'); die unless $ret->is_success; my $xml=$ret->encoded_content(); $dbh->do('INSERT INTO whin_auch_immer (xml) VALUES (?)', undef, $xml); # ...
  
  Hast du auch geschaut wo und ob die utf8 Flags stehen?
  
  Code (perl): (dl )
  
  use Devel::Peek 'Dump'; print Dump($xml);
  
  Hast du geschaut ob es auch wirklich Durchgängig UTF-8 Daten in der von dir geschriebenen Datei sind?
  
  Hast du ein Minimalbeispiel wo dein Problem auftritt?
  - rtp_de
    
    2013-11-26 17:21
    
    User since
    2013-08-17
    8 Artikel
    BenutzerIn
    
    Hallo topeg,
    
    als ich es durchgängig mit utf-8 versucht habe, war natürlich auch die Datenbank-Kollation entsprechend bei utf-8. (Das habe ich nur vergessen zu erwähnen - insofern: Richtiger Hinweis.)
    
    Zu Deiner ersten Frage (ganz ohne utf-8): Ja, das habe ich versucht, indem ich bereits beim Fetching mit LWP die Datei direkt in iso-88591-1 gewandelt habe. Allerdings muss ich den Dateiinhalt zwischen dem Fetching und dem Speichern in der MySQL noch mit XML:RSS parsen - was in diesem Fall mit Fehlermeldungen abgebrochen hat. (Vermutlich, weil die XML-Datei im Header als utf-8 gekennzichnet war, aber nach der Umwandlung beim Fetching nicht (mehr) in utf-8 vorlag.)
    Ohne diesen Zwischenschritt (RSS-Parsing) würde das ansonsten sicher so funktionieren. (Konkret hatte ich es nahezu 1:1 wie im ersten Quellcodesegment von Dir umgesetzt.)
    
    Zur zweiten Frage: Das war mein allererster Ansatz. (So war ich Dummerchen es aus den letzten Jahren immer gewohnt: Einfach gar nicht drum kümmern...) In diesem Fall leider ohne Erfolg.
    
    Die Frage mit den dritten Quellcodeschnipsel verstehe ich so nicht, sorry... aber ich vermute es macht mehr Sinn, wenn ich wie vorgeschlagen das Ganze mal auf ein konkretes Minimalbeispiel verdichte. Ich mache mich mal daran und extrahiere das aus dem Quellcode.
    
    Melde mich dann wieder. Schon mal danke und Gruß!
- +8 replies
- rtp_de
  
  2013-11-26 17:48
  User since
  2013-08-17
  8 Artikel
  BenutzerIn
  Hallo topeg,
  
  hier nun das gewünschte Codebeispiel. (Es gibt sicherlich elegantere Wege, das zu tun, ich weiss.)
  
  Code (perl): (dl )
  
  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30
  
  #!/usr/bin/perl use DBI; use LWP::UserAgent; use XML::RSS; use Encode; use warnings "all"; # Datenbankverbindung aufbauen my $dbh=DBI->connect('dbi:mysql:***','***','***'); # Datei-Fetching mit LWP my $url = "http://www.dieter-broers.de/blog.xml"; my $ua = LWP::UserAgent->new(); $ua->agent('Opera'); my $response = $ua->get($url); my $ticker=$response->content(); # Irgendetwas aus dem RSS extrahieren und das in die Datenbank schreiben my $rss = XML::RSS->new(); $rss->parse($ticker); foreach $item (@{$rss->{'items'}}){ my $title = $item->{'title'}; my $sth = "INSERT INTO `meinetabelle` (`titel`) VALUES ('$title');"; my $query=$dbh->prepare($sth); $query->execute; } # Datenbankverbindung trennen $dbh->disconnect;
  
  Um das lauffähig zu bekommen, bedarf es eben noch einer Datenbankverbindung und einer Tabelle namens "meinetabelle". Diese besteht nur aus einem Feld des Typs "text" mit dem Namen "titel".
  Last edited: 2013-11-26 23:02:40 +0100 (CET)
  - +2 replies
  - Raubtier
    
    2013-11-27 00:25
    User since
    2012-05-04
    1054 Artikel
    BenutzerIn
    
    2013-11-26T16:48:22 rtp_de
    Hallo topeg,
    
    hier nun das gewünschte Codebeispiel. (Es gibt sicherlich elegantere Wege, das zu tun, ich weiss.)
    
    Code (perl): (dl )
    
    1 2 3 4 5
    
    ... # Irgendetwas aus dem RSS extrahieren und das in die Datenbank schreiben my $rss = XML::RSS->new(); $rss->parse($ticker); ...
    
    XML::RSS sagt in der Doku, dass es als Default-Encoding utf8 annimmt, wenn man beim new nichts sagt. Versuch doch einfach mal, dem parse utf8 zu geben, d.h.:
    
    Code: (dl )
    
    $rss->parse( encode( "utf8", $ticker ) );
    
    Ich habe testweise unten mal dein SQL-Statement ge-print-ed. Wenn ich obige Zeile einsetze, sehen die SQL-Befehle zumindest richtig aus.
    
    Quote
    
    Code: (dl )
    
    1 2 3
    
    my $sth = "INSERT INTO `meinetabelle` (`titel`) VALUES ('$title');"; my $query=$dbh->prepare($sth); $query->execute;
    
    Und hier hoffe ich doch mal inständig, dass du das NIE wirklich so machst - vor allem benutzt du ja schon prepare + execute, dann kannst du auch Platzhalter verwenden! (Stichwort SQL injection) Alternativ $dbh->do verwenden und dann $dbh->quote($title) einsetzen! Aber niemals, wirklich NIE NIE NIEMALS direkt einen Wert in ein SQL-Statement schreiben, der auch noch aus dem Internet kommt (nochmal schlimmer).
    
    Und $sth sollte ein Statement-Handle sein, nicht die SQL-Query. Das ist verwirrend.
    Last edited: 2013-11-27 00:28:47 +0100 (CET)
    - rtp_de
      
      2013-11-27 09:19
      
      User since
      2013-08-17
      8 Artikel
      BenutzerIn
      
      Hallo Raubtier,
      
      ja, das stimmt, die SQL-Befehle, d. h. die Umlaute darin, sehen dann richtig aus. (Zumindest, wenn ich den SELECT einfach mit Print ausgebe.) In der Datenbank kommt aber dennoch nur ÃƒÂ¼ an.
      
      In der Datenbank steht Tabellen-Kollation auf latin1_german1_ci, ebenso die Kollation für die Spalte des Typs text.
      
      Viele Grüße!
  - +4 replies
  - topeg
    
    2013-11-27 10:17
    
    User since
    2006-07-10
    2611 Artikel
    BenutzerIn
    
    Bedenke das "UTF-8" und "perl-utf8" nicht das selbe sind. Perl behandelt binäre Scalare anders als "dekodierte". Ein dekodierter Scalar bekommt von Perl ein "utf8-Flag". Darum fragte ich, ob du mal mit Devel::Peek geschaut hast ob das Flag gesetzt ist.
    
    Du ließt Binäre Daten aus LWP::UserAgent my $ticker=$response->content();, die du dann an XML::RSS übergibst, das daraus einen Hash-Baum macht, dessen Elemente wahrscheinlich auch Binäre UTF-8 Scalare sind. (prüfe das mal mit $ok=utf8::is_utf8($str) oder halt mit Devel::Peek). Die übergibst du dann an DBI. DBI erkennt das die Daten binär vorliegen (kein utf8-Flag) und versendet sie als latin1. Die MySQL will aber nur UTF-8 speichern und wandelt das vermeintliche latin1 in UTF-8, und du es kommt Daten-müll heraus.
    Ähnlich mag es gelaufen sein als du $dbh->{'mysql_enable_utf8'} benutzt hast. Da hat DBI das vermeintliche latin1 in UTF-8 gewandelt.
    
    Das von dir erwähnte $str=Encode::encode("ISO-8859-1",$str) funktioniert auch nicht wie erwartet, da die Daten schon binär sind (kein utf8-flag) wird nichts gewandelt. Wenn du vorher ein $str=Encode::decode("UTF-8",$str) gemacht hättest, wäre wahrscheinlich das erwartete heraus gekommen.
    
    Das ist erst mal eine Vermutung, die sich aber mit deinen Informationen deckt.
    
    Mein Vorschlag ist erst mal zu schauen ob das utf8-flag durchgängig gesetzt ist. Wenn nicht, encodiere die Scalare, die du an die DB sendest. Und wenn das nicht hilft setze 'mysql_enable_utf8'. Wenn das alles nicht funktioniert müssen wir weiter schauen.
    - +3 replies
    - rtp_de
      
      2013-11-27 11:12
      
      User since
      2013-08-17
      8 Artikel
      BenutzerIn
      
      Hallo topeg,
      
      Du lagst vollkommen richtig!
      
      Quote
      Das von dir erwähnte $str=Encode::encode("ISO-8859-1",$str) funktioniert auch nicht wie erwartet, da die Daten schon binär sind (kein utf8-flag) wird nichts gewandelt. Wenn du vorher ein $str=Encode::decode("UTF-8",$str) gemacht hättest, wäre wahrscheinlich das erwartete heraus gekommen.
      
      Wenn ich schlicht das tue, funktioniert es! Damit ich es richtig verstehe: Der Aufruf von $str=Encode::decode("UTF-8",$str) setzt das Flag, weshalb dann der darauf folgende Aufruf von $str=Encode::encode("ISO-8859-1",$str) überhaupt erst funktioniert? Wäre es denn ein gangbarer Weg, den Code in diesem Fall so zu belassen oder gibt es noch einen anderen, sinnvolleren Weg, das Flag zu setzen?
      
      Unabhängig davon schon einmal vielen herzlichen Dank! Du hast mir sehr, sehr geholfen.
      - GwenDragon
        
        2013-11-27 11:30
        
        User since
        2005-01-17
        14533 Artikel
        Admin1
        
        Ich finde den Weg
        
        Code (perl): (dl )
        
        1 2
        
        $str=Encode::decode("UTF-8",$str); $str=Encode::encode("ISO-8859-1",$str);
        
        sinnvoll.
        Du bist damit auf der sicheren Seite.
        die Drachin, Gwendolyn
        
        Unterschiedliche Perl-Versionen auf Windows (fast wie perlbrew) • Meine Perl-Artikel
      - topeg
        
        2013-11-27 12:24
        
        User since
        2006-07-10
        2611 Artikel
        BenutzerIn
        
        Als Beispiel:
        Binär ist "ë" als UTF-8 unterschiedlich zu ISO-8859-1 und unterscheidet sich zu ISO-8859-5 und das unterschiedet sich zu UTF-16. Die Kodierungen unterscheiden sich alle. Nicht nur die "Position" des Zeichen in der Tabelle ist unterschiedlich, auch die Anzahl der verwendeten Bytes unterscheiden sind. length gibt verschiedne Werte aus.
        
        Es gibt nun zwei Wege damit umzugehen. Man kann es dem Programmierer überlassen für jede Kodierung spezialisierte Funktionen und Methoden zu benutzen, oder man hilft ihm alles auf eine Codierung umzustellen und dann dafür ein einziges Funktions-set anzubieten. PHP z-B. ist den ersten weg gegangen. Alle Daten sind binär und du musst für jede Kodierung spezialisierte Funktionen benutzen. Perl hat den zweiten Weg gewählt. Erst wandelt du die ein kommende Kodierung in das perl-interne Format und dann kannst du normal damit arbeiten. length gibt dann z.B nicht die Anzahl der Bytes sondern die Anzahl der Zeichen aus. Das hat einige Vorzüge. So ist es einfach Kodierungen umzustellen (wenn man von Anfang an darauf achtet), es ist leicht verschiedenen Quelle zu kombinieren, usw.
        Alles was man beachten muss ist: Alle eingehenden Daten werden dekodiert und alle Ausgehenden enkodiert. Das betrifft manchmal auch Module, wenn diese das utf8-Flag nicht beachten. (vornehmlich kompiliere also Binäre-Module)
        
        Was nun dein konkretes Beispiel betrifft. Zuerst wandelst du die UTF-8 Bytes in das perl-interne utf8 um. Dann wandelst du das interne utf8 in ISO-8859-1. Dabei macht decode mehr als nur das utf8-flag zu setzen. Es prüft auch, ob es sich wirklich um UTF-8 Daten handelt. Es gibt zwar Möglichkeiten das Flag selber zu setzen. Das kann aber zu großen Problemen führen wenn man keine echten utf8 Daten hat. Besser ist es man benutzt Encode
  - gelöscht 2013-11-27 15:25
- +2 replies
- clms
  
  2013-11-26 20:42
  
  User since
  2010-08-29
  373 Artikel
  BenutzerIn
  
  Ich hatte mit MySQL mal ähnliche Probleme.
  Damals war die Lösung nach dem $dbh->connect(...) ein
  $dbh->do("set names latin1"); abzusetzen.
  - rtp_de
    
    2013-11-26 23:00
    
    User since
    2013-08-17
    8 Artikel
    BenutzerIn
    
    In diesem Fall leider nicht. Trotzdem danke.

View all threads created 2013-11-26 15:48.