Encoding, Umlaute, ... (Allgemeines zu Perl)

[thread]19720[/thread]

Encoding, Umlaute, ...

Tags: perl5 encoding Umlaute Ähnliche Threads

Leser: 26

Articles: hide open all | hide show old branches

+20 replies
roli

2015-07-10 14:04
User since
2004-12-31
424 Artikel
BenutzerIn
Hallo,

wie es aussieht mache ich einen Grundsätzlichen Fehler, den ich aber bislang noch nicht erkannt habe.
Ich sitze an einem Windows Rechner, in der Dosbox habe ich Codepage 1252 eingestellt. Meine Perl Datei ist mit Notepad++ als "Windows-1252" mit Dos\Windows Zeilenumbruch gespeichert. Ich möchte jetzt gerne Umlaute, Euros, ... in eine Datei und in die Dosbox schreiben, leider ohne Erfolg.
Code (perl): (dl )

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

use Modern::Perl '2015'; my $encoding = $^O eq 'MSWin32' ? 'cp1252' : 'utf8'; say "Encoding: $encoding <"; binmode(STDOUT, ":encoding($encoding)" ); binmode(STDERR, ":encoding($encoding)" ); binmode(STDIN, ":encoding($encoding)" ); # each open() automatically uses :encoding($encoding) use open ':encoding($encoding)'; my $res_file = "Erg.txt"; open(my $fh, ">:encoding($encoding)", $res_file) or die "Could not open file '$res_file'"; say $fh "Umlaute: äöüßÄÖÜ"; say $fh "Euro €"; say "Umlaute: äöüßÄÖÜ"; say "Euro €"; close $fh;
In der Konsole sehe ich: Konsole
In der Datei steht: Datei

Danke
Roland
--
"Steh vorn, während du fragst;
sitzen soll, wer antwortet."
Aus "Die Edda des Snorri Sturluson" "Gylfis Täuschung" Strophe 2
- +3 replies
- Raubtier
  
  2015-07-10 14:13
  
  User since
  2012-05-04
  1075 Artikel
  BenutzerIn
  
  Wenn von von Kodierung X nach X konvertieren willst, brauchst du überhaupt nichts tun.
  
  Ansonsten fehlt dir das "decode". Alles, was im als Text im Script steht, muss decoded werden (mit der Kodierung des Scriptes)!
  
  Wenn dein Script in utf8 ist, kannst du auch "use utf8" reinschreiben, dann passiert das automatisch.
  
  Ich lege dir nochmal den Link aus meiner vorherigen Antwort ans Herz: perlgeek.de/de/artikel/charsets-unicode
  - roli
    
    2015-07-10 14:30
    
    User since
    2004-12-31
    424 Artikel
    BenutzerIn
    
    Hallo Raubtier,
    
    "I'll do my very best" um es mal so zu sagen. Mal sehen ob/wann der Knoten platzt. Es kann allerdings sein, das ich erst nächste Woche wieder dazu komme.
    
    Danke & schönes WE
    Roland
    --
    "Steh vorn, während du fragst;
    sitzen soll, wer antwortet."
    Aus "Die Edda des Snorri Sturluson" "Gylfis Täuschung" Strophe 2
  - roli
    
    2015-07-13 11:48
    User since
    2004-12-31
    424 Artikel
    BenutzerIn
    
    Hi Raubtier,
    
    eigentlich dachte ich, das ich es endlich verstanden hätte, leider ist es nicht so :-(
    Den Artikel habe ich gelesen.
    Auf einem Windows Rechner schaffe ich es einfach nicht "ÄÖÜßäöü" + das Euro Zeichen sowohl in der Dos-Box als auch einer Datei auszugeben.
    Was ich meine verstanden zu haben:
    Ein "use utf8" im Script bedeutet, das der Perl Interpreter alle Stings die im Script stehen als UTF8 Strings ansieht, dazu muß dann die Script Datei auch mit UTF8 Encoding gespeichert sein. Was mache ich hier auf Windows, ein "use cp1252" gibt es nicht?
    Folgendes Script ist mit Encoding "Windows-1252" gespeichert:
    
    Code (perl): (dl )
    
    1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39
    
    use Modern::Perl '2015'; use Encode qw( encode decode ); #use utf8; my $encoding = $^O eq 'MSWin32' ? 'cp1252' : 'utf8'; #$encoding = 'Windows-1252'; #$encoding = 'cp1252'; #$encoding = 'utf8'; say "Encoding: $encoding <"; binmode(STDOUT, ":encoding($encoding)" ); binmode(STDERR, ":encoding($encoding)" ); binmode(STDIN, ":encoding($encoding)" ); # each open() automatically uses :encoding($encoding) use open ':encoding($encoding)'; my $res_file = "erg_1252.txt"; open(my $fh, ">:encoding($encoding)", $res_file) or die "Could not open file '$res_file'"; my $eur = decode("$encoding", "€"); my $uml = decode("$encoding", "äöüßÄÖÜ"); say $fh "Umlaute: äöüßÄÖÜ"; say $fh "Euro: €"; say $fh "decodiert"; say $fh "Uml: $uml"; say $fh "Eur: $eur"; say "\nNicht decodiert"; say "Umlaute: äöüßÄÖÜ"; say "Euro: €"; say "\ndecodiert"; say "Uml: $uml"; say "Eur: $eur"; close $fh;
    
    In der Dos Box, zuvor mit chcp 1252 zur Sicherheit die Codepage nochmal gewählt, sehe ich folgendes:
    Konsole output
    
    In der Ausgabedatei erg_1252.txt sehe: Datei inhalt
    Die erg_1252.txt Datei hat laut Notepad++ das 1252 Encoding, wenigstens das habe ich geschafft.
    
    Unter Linux habe ich kein Problem, das System läuft mit utf8, meine Perl Scripte sind als utf8 gespeichert, und im Script verwende ich "use utf8".
    
    <Update>Wenn ich das Script unter der Überschrift "Die Arbeitsumgebung testen" aus dem perlgeek Artikel hier ausführe, wird KEINE Zeile korrekt angezeigt. Egal ob das Script als UTF8 oder 1252 gespeichert ist, und egal welche Codepage in der Konsole aktiv ist. Ich habe auch die Liste der Encodings mal um cp850 und cp1252 erweitert.</Update>
    
    Danke
    Last edited: 2015-07-13 11:54:29 +0200 (CEST)
    Roland
    --
    "Steh vorn, während du fragst;
    sitzen soll, wer antwortet."
    Aus "Die Edda des Snorri Sturluson" "Gylfis Täuschung" Strophe 2
- +12 replies
- bianca
  
  2015-07-13 12:15
  User since
  2009-09-13
  7016 Artikel
  BenutzerIn
  Wenn ich folgendes Script in Notepad++ mit der Kodierung "ANSI" speichere und starte...
  
  Code (perl): (dl )
  
  1 2 3 4 5 6 7 8 9 10
  
  #!/usr/bin/perl use strict; use warnings; use Encode qw(decode encode_utf8); my $testtext = 'öäüÖÄÜß€'; my $data = encode_utf8 decode "windows-1252", $testtext; open my $fh, '>', "test.txt" or die $!; print $fh $data; close($fh);
  
  ...kommt raus, was das Bild zeigt. Wichtig: UTF-8 auswählen im Lister unter "Optionen":
  
  Quelle: msg #172597
  
  Editiert von bianca: Quelle ergänzt
  Anhänge
  
  image/png
  409 x 485
  
  roli1.png
  
  Last edited: 2015-07-13 12:16:49 +0200 (CEST)
  10 print "Hallo"
  20 goto 10
  - bianca
    
    2015-07-13 12:22
    
    User since
    2009-09-13
    7016 Artikel
    BenutzerIn
    
    Man kann das auch direkt in der Konsole kontrollieren.
    Erst Schriftart in der Konsole auf Lucida Console ändern und dann siehe Bild:
    Anhänge
    
    image/png
    397 x 147
    
    roli2.png
    
    Last edited: 2015-07-13 12:23:59 +0200 (CEST)
    10 print "Hallo"
    20 goto 10
  - +10 replies
  - roli
    
    2015-07-13 12:32
    
    User since
    2004-12-31
    424 Artikel
    BenutzerIn
    
    Hi bianca,
    
    der Dateiinhalt sieht aus wie gewünscht, aber wenn ich noch zusätzlich ein:
    print "$testtext \n";
    mit an das Ende des Scriptes hänge kommt eben nicht öäüÖÄÜß€ raus, sondern das, was ich in meinem Posting vor 40 Minuten als Screenshot von der Konsole mitgeschickt habe nur neu sortiert, in deinem Script öäüÖÄÜß€, und bei mir war's äöüßÄÖÜ.
    Wie gesagt, ich möchte erreichen, das in der Dos-Box und in der Datei äöüßÄÖÜ sowie ein Euro Zeichen zu sehen ist.
    
    Danke
    Roland
    --
    "Steh vorn, während du fragst;
    sitzen soll, wer antwortet."
    Aus "Die Edda des Snorri Sturluson" "Gylfis Täuschung" Strophe 2
    - bianca
      
      2015-07-13 12:42
      
      User since
      2009-09-13
      7016 Artikel
      BenutzerIn
      
      Bei mir stimmen die Zeichen auch dann noch, wenn die Zeile mit \n endet. Kein Problem.
      
      Hast du bei der Ansicht der Ausgabe dran gedacht, in der Dosbox die Codepage und Schriftart vorher zu ändern?
      10 print "Hallo"
      20 goto 10
    - +8 replies
    - roli
      
      2015-07-13 12:43
      
      User since
      2004-12-31
      424 Artikel
      BenutzerIn
      
      Nachtrag:
      Ich habe den Konsolen Font auf Lucida Console umgestellt, und chcp 65001 ausgeführt. Dein Script habe ich um die Bildschirmausgabe erweitert:
      
      Code (perl): (dl )
      
      1 2 3 4 5 6 7 8 9 10 11
      
      #!/usr/bin/perl use strict; use warnings; use Encode qw(decode encode_utf8); my $testtext = 'öäüÖÄÜß€'; my $data = encode_utf8 decode "windows-1252", $testtext; open my $fh, '>', "test.txt" or die $!; print $fh $data; close($fh); print "\nDecode: > $data <\n";
      
      Das Ergebnis ist: Konsole in UTF8
      Auch nicht so ganz das was ich erwarten würde.
      Das muss doch schon mal wer auch unter cp850 oder cp1252 geschafft haben, oder?
      Roland
      --
      "Steh vorn, während du fragst;
      sitzen soll, wer antwortet."
      Aus "Die Edda des Snorri Sturluson" "Gylfis Täuschung" Strophe 2
      - +7 replies
      - bianca
        
        2015-07-13 12:58
        
        User since
        2009-09-13
        7016 Artikel
        BenutzerIn
        
        Was hast denn immer mit deinem cp850 und cp1252? Wo kommt das her, was willst du damit?
        Und deine letzte Konsolenausgabe sah doch gut aus. Was gefällt dir daran nicht?
        Und wieso lädtst du die Bilder nicht hier hoch?
        
        Sonst sag bitte nochmal ganz genau, was am Ende in der Ausgabe raus kommen soll. Ich hab es bisher so verstanden, dass UTF-8 rauskommen soll und das tut mein Script.
        Last edited: 2015-07-13 13:00:03 +0200 (CEST)
        10 print "Hallo"
        20 goto 10
        
        +6 replies
        
        roli
        
        2015-07-13 13:24
        
        User since
        2004-12-31
        424 Artikel
        BenutzerIn
        
        2015-07-13T10:58:21 bianca
        Was hast denn immer mit deinem cp850 und cp1252? Wo kommt das her, was willst du damit?
        
        Diese Codepages sind nun mal die Standardeinstellungen für das Encoding der Dos-Box an den Windows Rechnern mit denen ich zu tun habe. Was ich damit will, ganz einfach, ich möchte es den Nutzern der Scripte so einfach wie möglich machen. Wenn man jedem erklären muss, wie man "Windows Perl komatibel macht" indem man die Codepage wechselt, den Konsolenfont umstellt, ..., steigert das nicht wirklich die Akzeptenz.
        
        2015-07-13T10:58:21 bianca
        Und deine letzte Konsolenausgabe sah doch gut aus. Was gefällt dir daran nicht?
        Sind dir die zweite und dritte Zeile nicht aufgefallen? Da gab es noch:
        Quote
        ß€ <
        <
        gratis obendrauf, um es mal so zu sagen.
        
        2015-07-13T10:58:21 bianca
        Und wieso lädtst du die Bilder nicht hier hoch?
        
        Keine Ahnung, die Information ist doch auch so zugänglich.
        
        2015-07-13T10:58:21 bianca
        Sonst sag bitte nochmal ganz genau, was am Ende in der Ausgabe raus kommen soll. Ich hab es bisher so verstanden, dass UTF-8 rauskommen soll und das tut mein Script.
        
        Ich möchte ein Script haben, das auf einem Windows System läuft, nach Möglichkeit nichts vorher an den Systemeinstellungen verändert, und mir dann in der Dos-Box sowie in einer Datei "äöüßÄÖÜ€" ausgibt.
        
        Ich habe dein Script jetzt nochmal etwas angepasst, und bin beinahe so weit:
        
        Code (perl): (dl )
        
        1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
        
        #!/usr/bin/perl use Modern::Perl '2015'; use Encode qw(decode encode); my $encoding = $^O eq 'MSWin32' ? 'cp1252' : 'utf8'; binmode(STDOUT, ":encoding($encoding)" ); binmode(STDERR, ":encoding($encoding)" ); binmode(STDIN, ":encoding($encoding)" ); my $testtext = 'öäüÖÄÜß€'; my $data2 = decode "$encoding", $testtext; open my $fh, '>', "test.txt" or die $!; say $fh $data2; close($fh); say "\nData2: > $data2 <\n";
        
        Die Datei ist ok, der Output in der Dosbox auch weitestgehend, nur das "Wide character in say at y.pl line 13." stört noch. In der Dos-Box wird Kodepage 1252 verwendet, das Script ist laut Notepad++ als ANSI kodiert.
        
        Danke
        Roland
        --
        "Steh vorn, während du fragst;
        sitzen soll, wer antwortet."
        Aus "Die Edda des Snorri Sturluson" "Gylfis Täuschung" Strophe 2
        
        +5 replies
        
        bianca
        
        2015-07-14 17:37
        
        User since
        2009-09-13
        7016 Artikel
        BenutzerIn
        
        2015-07-13T11:24:08 roli
        2015-07-13T10:58:21 bianca
        Was hast denn immer mit deinem cp850 und cp1252? Wo kommt das her, was willst du damit?
        
        Diese Codepages sind nun mal die Standardeinstellungen für das Encoding der Dos-Box an den Windows Rechnern mit denen ich zu tun habe. Was ich damit will, ganz einfach, ich möchte es den Nutzern der Scripte so einfach wie möglich machen. Wenn man
        
        Ja, und beim Modul Encode heißt das windows-1252 und nicht "cp1252" soweit ich weiß. Wieso beharrst du an der Stelle auf "cp1252", wenn ich lauffähig gezeigt habe, dass es nicht so heißt aber trotzdem das ist, was du haben willst?
        Na ja, seis drum, scheint ja gelöst zu sein.
        10 print "Hallo"
        20 goto 10
        
        +4 replies
        
        FIFO
        
        2015-07-15 00:07
        
        User since
        2005-06-01
        469 Artikel
        BenutzerIn
        
        2015-07-14T15:37:33 bianca
        Ja, und beim Modul Encode heißt das windows-1252 und nicht "cp1252" soweit ich weiß.
        
        "cp1252" ist ein gültiges Encoding:
        
        Code (perl): (dl )
        
        1 2
        
        use Encode; print "$_\n" for Encode->encodings(":all");
        
        Everyone knows that debugging is twice as hard as writing a program in the first place. So if you're as clever as you can be when you write it, how will you ever debug it? -- Brian Kernighan: "The Elements of Programming Style"
        
        +3 replies
        
        bianca
        
        2015-07-15 08:53
        
        User since
        2009-09-13
        7016 Artikel
        BenutzerIn
        
        Und worin unterscheiden sich die beiden?
        
        Im übrigen fehlt bei mir auf Strawberry 5.14 in der Auflistung windows-1252. Wieso klappt das denn trotzdem?
        Last edited: 2015-07-15 08:55:43 +0200 (CEST)
        10 print "Hallo"
        20 goto 10
        
        +2 replies
        
        Raubtier
        
        2015-07-15 09:00
        
        User since
        2012-05-04
        1075 Artikel
        BenutzerIn
        
        Gar nicht.
        
        Zitat aus Encode::Supported:
        
        Quote
        All cp* are also available as ibm-*, ms-*, and windows-* .
        
        bianca
        
        2015-07-15 09:16
        
        User since
        2009-09-13
        7016 Artikel
        BenutzerIn
        
        Das ist ja interessant. Wieso hat dann das Script bei roli etwas anderes ergeben als bei mir?
        10 print "Hallo"
        20 goto 10
- +4 replies
- FIFO
  
  2015-07-13 13:34
  User since
  2005-06-01
  469 Artikel
  BenutzerIn
  Ich verstehe das Problem nicht so ganz. Wenn Dein Skript cp1252 (Windows-ANSI) kodiert ist und Deine Konsole (per chcp 1252) ebenfalls, kannst Du einfach losprinten ohne encode/decode.
  
  Das Eurozeichen gibt es in cp437/850 nicht.
  
  Code (perl): (dl )
  
  1 2 3 4 5 6 7 8 9 10 11
  
  my $str = "Ä Ö Ü ß €\n"; system( "chcp 1252" ); print $str; my $res_file = "erg_1252.txt"; open( my $fh, ">", $res_file ) or die "Could not open file '$res_file'"; print $fh $str; close $fh;
  
  Wenn Du ein portables Skript erstellen willst, kannst Du über use utf8 nachdenken, in diesem Fall musst Du die Ausgabe entsprechend encoden, falls Du Stringliterale aus dem Sourcecode ausgibst.
  Everyone knows that debugging is twice as hard as writing a program in the first place. So if you're as clever as you can be when you write it, how will you ever debug it? -- Brian Kernighan: "The Elements of Programming Style"
  - +3 replies
  - roli
    
    2015-07-13 13:43
    
    User since
    2004-12-31
    424 Artikel
    BenutzerIn
    
    Hi FIFO,
    
    "das tut!"
    Warum der ganze Umstand, ganz einfach, ich hab's letzte Woche irgendwie nicht hinbekommen. Dann das Internet befragt, und wie man jetzt hier sieht, wurde es damit nur schlimmer!
    
    Danke
    Roland
    --
    "Steh vorn, während du fragst;
    sitzen soll, wer antwortet."
    Aus "Die Edda des Snorri Sturluson" "Gylfis Täuschung" Strophe 2
    - FIFO
      
      2015-07-13 13:53
      
      User since
      2005-06-01
      469 Artikel
      BenutzerIn
      
      Wenn Du portabel sein willst/musst:
      
      Sourcecode als UTF-8 abspeichern. Dann bei Ausgabe ggf. encode:
      
      Code (perl): (dl )
      
      1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
      
      use utf8; # Skript in UTF-8 kodiert use Encode qw( encode ); my $str = "Ä Ö Ü ß €\n"; if ( $^O eq "MSWin32" ) { $str = encode( "cp1252", $str ); system( "chcp 1252" ); } print $str; my $res_file = "erg_1252.txt"; open( my $fh, ">", $res_file ) or die "Could not open file '$res_file'"; print $fh $str; close $fh;
      
      Editiert von FIFO: system() in Win32-Block verschoben
      Last edited: 2015-07-13 13:57:33 +0200 (CEST)
      Everyone knows that debugging is twice as hard as writing a program in the first place. So if you're as clever as you can be when you write it, how will you ever debug it? -- Brian Kernighan: "The Elements of Programming Style"
    - Raubtier
      
      2015-07-13 15:29
      
      User since
      2012-05-04
      1075 Artikel
      BenutzerIn
      
      Naja, wenn du zum Beispiel möchtest, dass die Funktion "lc" auch Umlaute umwandelt, dann muss Perl schon wissen, in welcher Kodierung dein Script vorliegt.
      
      Wenn du nur irgendwelche Datein rein/rausgeben willst, brauchst du natürlich nichts weiter zu zun, sofern das Script und die Ausgabe identische Kodierungen haben.

View all threads created 2015-07-10 14:04.