Korrekter Umgang mit Fileencodings (Allgemeines zu Perl)

[thread]19722[/thread]

Korrekter Umgang mit Fileencodings

Tags: perl5 Ähnliche Threads

Leser: 18

Articles: hide open all | hide show old branches

+4 replies
pinwheel

2015-07-11 12:56
User since
2015-07-11
3 Artikel
BenutzerIn
Hallo zusammen,

ich muss eine Textdatei, von der das Fileencoding für mich im Vorfeld nicht bekannt ist, einlesen und verarbeiten. Versucht habe ich es (Minimalbsp) mit folgendem Code:
Code: (dl )

1 2 3 4 5 6 7 8 9 10 11 12 13

#!/usr/bin/env perl use strict; use warnings; my $test_file = "test.txt"; #ISO-8859 / UTF-8 codiert my $test_handle; open($test_handle, "<:encoding(UTF-8)", "$test_file"); while(my $line = <$test_handle>) { print($line); }
Die Datei test.txt könnte nun aber ISO-8859 oder UTF-8 codiert sein - beides kann auftreten. Wenn ich nun - wie oben gezeigt
Code: (dl )

open($test_handle, "<:encoding(UTF-8)", "$test_file");
verwende und test.txt ist UTF-8 codiert - läuft alles nach Wunsch. Ist dann aber text.txt ISO-8859 codiert, bekomme ich Fehler der Art
Code: (dl )

utf8 "\xD6" does not map to Unicode at ./test.pl line 11, <$test_handle> line 73.
Wie gehe ich dieses Problem an? Eine erschwerende Randbedingung könnte sein, dass nach Möglichkeit keine zusätzlichen Module verwendet werden sollen und die benötigte Perl-Version auch nicht zu neu sein darf (<= 5.10).

Bekommt man das irgendwie in den Griff?

--pinwheel
Last edited: 2015-07-11 14:57:58 +0200 (CEST)
- GwenDragon
  
  2015-07-11 15:09
  
  User since
  2005-01-17
  14533 Artikel
  Admin1
  
  Es ist ein bisschen schwierig immer korrekt des Encoding zu "erkennen".
  Es gibt Module, die können das erraten, oft richtig.
  
  Schau dir mal Module zu encode guess an.
  die Drachin, Gwendolyn
  
  Unterschiedliche Perl-Versionen auf Windows (fast wie perlbrew) • Meine Perl-Artikel
- +2 replies
- betterworld
  
  2015-07-11 15:35
  
  User since
  2003-08-21
  2613 Artikel
  ModeratorIn
  
  Zum Einlesen kannst du dann nicht den utf-8-Modus nehmen, weil der eben solche Fehler wirft.
  Im Latin1-Modus kannst du jede Datei einlesen.
  
  Wenn die Datei utf-8 war, kannst du einen fälschlicherweise als Latin1 eingelesenen String einfach "dekodieren", zum Beispiel mit decode_utf8 aus dem Modul Encode. Wenn decode_utf8 einen Fehler wirft, nimmst du halt das undekodierte Ergebnis (das ist dann halt Latin1).
  
  Auf diese Weise kannst du UTF-8 und Latin-1 "korrekt" dekodieren. Es klappt in den meisten Fällen. Es gibt natürlich immer Fälle, die doppeldeutig sind (aber selten). Du hast aber nicht dazugeschrieben, ob Du noch mehr Encodings erkennen möchtest. Mit diesen beiden klappt es jedenfalls relativ gut.
  
  Nun kommt das Problem: Es ist oft etwas fummelig, den Fehler von decode_utf8 zu erkennen und dann im Fehlerfall an das undekodierte Ergebnis ranzukommen. Guck Dir halt "perldoc Encode" an (das Modul gibt es seit ca. Perl 5.8) und versuch es hinzukriegen. Wenn ich mich richtig errinere, war das Recovern von Fehlern auch zeitweise etwas buggy, daher ist es wie gesagt fummelig.
  Lieblingsmodule: IPC::System::Simple, Path::Class
  - Gast pinwheel
    
    2015-07-13 16:48
    
    Hallo zusammen,
    
    vielen Dank für die Hinweise. Mit dem Modul Encode bin ich ans Ziel gekommen.
    
    Grüße
    pinwheel
    Last edited: 2015-07-13 17:23:39 +0200 (CEST)

View all threads created 2015-07-11 12:56.