Probleme mit umlauten bei Serverupdate Perl / Postgress (Datenbanken und Verzeichnisdienste)

[thread]20418[/thread]

Probleme mit umlauten bei Serverupdate Perl / Postgress

Tags: perl5 DBI PostgreSQL Ähnliche Threads

Leser: 12

Articles: hide open all | hide show old branches

+7 replies
ALE1981

2018-01-19 09:46

User since
2016-03-04
9 Artikel
BenutzerIn

Hallo zusammen,

aktuell muss ich ein bereits in die Jahre gekommenes Projekt mit neuem OS versorgen. Das Projekt läuft auf einem Cluster mit mehreren Webservern und der Ubuntu Version 14.04. Diese soll auf 16.04 geupdatet werden.

Meine Vorgehensweise war es nun einen Clone der bestehenden 14.04er Server zu erzeugen, diesen auf 16.04 zu updaten und mal schauen was passiert. Nachdem ich alle nach dem Update fehlenden Module nachinstalliert habe und die Scripte gelaufen sind, bemerkte ich das Umlaute die aus der Datenbank kommen falsch dargestellt wurden. Nach einigem Suchen habe ich festgestellt das auf den aktuell funktionierenden Servern libdbd-pg-perl 2.19.3-2 verwendet wird, auf dem neuen Server allerdings 3.5.3-1build1 . Ab der 3.0.0er Version wurde wohl der Schalter pg_enable_utf8 so geändert das das UTF8 Flag in PERL immer auf aktive gesetzt wird, was sich aber mit unserer Software nicht verträgt. Ich habe nun alle Datenbankverbindungen mit $ALL_DBH->{pg_enable_utf8} = 0; ausgestattet. Danach war die Darstellung auf den alten und auf den neuen Systemen passend. Leider viel mir nun nach einiger Zeit auf das beim Speichern der Daten in die Datenbank auf den neuen Systemen die Umlaute nochmal gewandelt werden. Und zwar landet statt einem ü ein Ã¼ in der Datenbank und dieses wird mir dann auch auf den alten und neuen Systemen angezeigt. Speichere ich das ü mit den alten Servern klappt alles so wie es soll.

Das ist nun leider die Stelle an der ich nicht mehr weiter komme. Ich suche eine Möglichkeit beide Systeme parallel laufen zu lassen, so das ich einen Server nach dem anderen in Cluster updaten kann.

Gruß

Alex
- +2 replies
- GwenDragon
  
  2018-01-19 09:53
  
  User since
  2005-01-17
  14533 Artikel
  Admin1
  
  Interessanter Artikel zu dem Flag und UTF auf Postgres: https://www.endpoint.com/blog/2014/02/19/dbdpg-utf...
  https://www.endpoint.com/blog/2017/07/21/postgres-...
  
  Wie ist denn dein Client-Encoding?
  https://metacpan.org/pod/DBD::Pg#pg_enable_utf8-(i...
  https://metacpan.org/pod/DBD::Pg#Encoding
  Last edited: 2018-01-19 09:57:57 +0100 (CET)
  die Drachin, Gwendolyn
  
  Unterschiedliche Perl-Versionen auf Windows (fast wie perlbrew) • Meine Perl-Artikel
  - ALE1981
    
    2018-01-19 10:19
    
    User since
    2016-03-04
    9 Artikel
    BenutzerIn
    
    Wenn ich das festlegen könnte. In den Quelltexten ist hier mal ein &utf8::decode da mal ein &utf8::encode vor der Ausgabe kommt mal ein binmode(STDOUT, ":utf8)"); und print "Content-Type: text/html; charset=utf-8\n\n";
    
    Alles recht durcheinander und unüberschaubar. Das Problem ist wohl auch das ich nicht sagen kann das zu 100% UTF8 in der Datenbank steht. Da schreiben auch Windows Clients (Delphi) rein.
    
    Den von dir genannten Beitrag hatte ich schon gelesen, allerdings ist es egal wie ich pg_enable_utf8 setze. Es gibt immer Unterschiede zwischen den beiden Versionen.
    
    Gruß
    Alex
- +4 replies
- rosti
  
  2018-01-19 10:29
  
  User since
  2011-03-19
  3194 Artikel
  BenutzerIn
  
  Solange die richtigen Bytesequenzen in PG landen ist alles OK. Wa dein kleines ü betrifft, ist Ã¼ jedenfalls die richtige Bytesequenz.
  
  Ein _enable_utf8 brauchst Du nur, wenn Du die Collation utf-8 auch benutzen willst, z.B. für Fulltext. MfG
  
  Ansonsten: Setze ein lauffähiges System einmalig auf und clone die HDD mit dd (Device Dump), so hab ich das immer gemacht.
  - +3 replies
  - ALE1981
    
    2018-01-19 10:42
    
    User since
    2016-03-04
    9 Artikel
    BenutzerIn
    
    Mit jedem erneutem Abspeichern von Ã¼ wird das aber schlimmer da Ã¼ als 2 Sonderzeichen erkannt wird, aus dem dann vier Zeichen gemacht werden. Dann acht usw...
    
    Einen Clone erzeugen ist nicht das Problem. Sind alles VM Ware`s.
    
    Ich scheue mich nur davor alle Scripte für die neue Serverumgebung anzupassen da hier in der Zwischenzeit noch andere Änderungen gemacht werden. Einen Parallelbetrieb würde ich gerne vermeiden da es geschätzt ca. 100.000 Zeilen Code in 30 verschiedenen Programmen sind. Aber da werde ich wohl nicht drum herum kommen.
    
    Gruß
    
    Alex
    - +2 replies
    - ALE1981
      
      2018-01-19 12:01
      
      User since
      2016-03-04
      9 Artikel
      BenutzerIn
      
      Mir geht es nun nur nicht in den Kopf warum das falsch in die Datenbank geschrieben wird. Um zu überprüfen ob die Daten an beidern Serverversionen gleich sind habe ich nun mal folgendes getestet:
      
      Code: (dl )
      
      1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
      
      my $debug_liste = "Titel = $titel = "; my $hex_output; my @values2 = split(undef,$titel); foreach my $val (@values2) { $hex_output .= ord($val)." "; } if( is_utf8($titel) ) { $debug_lise .= "$hex_output = Flag ON"; } else { $debug_lise .= "$hex_output = Flag OFF"; } open (DATEI, ">>/www/tmp_share/log_ale/logdat.log") or die $!; print DATEI "\n $debug_lise \n"; close (DATEI);
      
      Mit wird dann der Titel (in diesem Fall ü) dann der Hexcode des Strings und ob das Interne UTF8 Flag gesetzt ist angezeigt. In beiden Fällen bekomme ich das gleiche Ergebniss:
      
      Titel = ü = 195 188 = Flag OFF
      
      Warum speichert der eine Server nun ein ü in die Datenbank und der andere Ã¼ ?
      
      Gruß
      
      Alex
      
      Nachtrag:
      
      ich bin nun schon mal einen Schritt weiter. Zumindest so weit das sich beide Server gleich verhalten. Wenn ich im HTML das an den Browser übermittelt wird ein ♦ einsetze (Reicht als Kommentar), dann wird auf beiden Systemen als Ã¼ dargestellt. Dann müsste ich ja nur nochmal ein decode ausführen und es sollte klappen. Es sind dann zwar Anpassungen zu machen, allerdings versetzte ich beide Systeme in den gleichen Zustand und muss nichts parallel machen.
      
      Gruß
      
      Alex
      Last edited: 2018-01-19 13:06:32 +0100 (CET)
      - rosti
        
        2018-01-19 15:17
        
        User since
        2011-03-19
        3194 Artikel
        BenutzerIn
        
        Quote
        Warum speichert der eine Server nun ein ü in die Datenbank und der andere Ã¼ ?
        
        Eine DB speichert gundsätzlich nur Bytesequenzen. Was Du siehst jedoch, hängt davon ab auf welche Zeichenkodierung Dein Ausgabegerät (Browser, Konsole...) eingestellt ist.
        
        Zum Prüfen ob es die richtigen Bytesequenzen sind, nimm die Hex-Ansicht. Mfg
        
        PS: Pipe Deine Ausgabe mal hier drauf, dann zeigt die Konsole alles in Hex;
        
        Code (perl): (dl )
        
        1 2 3 4 5
        
        BEGIN { $| = 1 } while( read(*STDIN, my $buffer, 1 )){ printf "%02X ", unpack "C", $buffer; }

View all threads created 2018-01-19 09:46.