Zeichensätze UTF-8 -> Latin-1 konvertieren (Allgemeines zu Perl)

[thread]15791[/thread]

Zeichensätze UTF-8 -> Latin-1 konvertieren

Leser: 37

Articles: hide open all | hide show old branches

+22 replies
Glasperlenspieler

2011-01-04 09:53

User since
2010-01-02
8 Artikel
BenutzerIn

Guten Morgen allerseits!

Ich musss – zur Weiterverarbeitung mit einem älteren Programm – immer wieder mal zehntausende Textdateien aus UTF-8 nach Win Latin-1 (iso-8859-1) konvertieren. Dazu habe ich bisher einfach iconv verwendet, das aber den Dienst verweigert, wenn einzelne Zeichen nicht im Zielzeichensatz enthalten sind.

Das ließe sich zwar mit dem Parameter -c unterdrücken, aber dann wären die betreffenden Zeichen verloren. Gibt es denn eine Möglichkeit, irgendwie die Zeichen zu identifizieren, die im Zielzeichensatz nicht enthalten sind? Dann ließen sich dafür im Vorfeld sinnvolle Ersetzungen finden.

Vielen Dank!

K.
- BernhardSchmalhofer
  
  2011-01-04 10:20
  
  User since
  2009-03-26
  56 Artikel
  BenutzerIn
  
  Hallo,
  
  etwas ähnliches macht Text::Unidecode. Allerdings ist der Ziel-Zeichensatz US-Ascii und nicht iso-8859-1.
  
  Grüße,
  Bernhard
- clms
  
  2011-01-04 11:11
  
  User since
  2010-08-29
  373 Artikel
  BenutzerIn
  
  2011-01-04T08:53:51 Glasperlenspieler
  Ich musss – zur Weiterverarbeitung mit einem älteren Programm – immer wieder mal zehntausende Textdateien aus UTF-8 nach Win Latin-1 (iso-8859-1) konvertieren. Dazu habe ich bisher einfach iconv verwendet, das aber den Dienst verweigert, wenn einzelne Zeichen nicht im Zielzeichensatz enthalten sind.
  
  Gibt es denn eine Möglichkeit, irgendwie die Zeichen zu identifizieren, die im Zielzeichensatz nicht enthalten sind?
  
  Ich verwende für einen ähnlichen Fall ein Perl-Modul, bei dem man als Option angeben kann, dass die nicht unterstützten Unicode-Zeichen als HTML-Entities ausgegeben werden. Bei Bedarf und Gelegenheit kann ich den Code raussuchen. Allerdings muss dann natürlich auch & in die entsprechende HTML-Entity verwandelt werden.
  
  Wenn Du aber einfach nur wissen willst, ob ein kritisches Zeichen in Deinem Text vorkommt, kannst Du das mit m/[^\040-\177 (hier die weiteren unterstützten Zeichen rein)]/ relativ einfach testen.
- +2 replies
- GwenDragon
  
  2011-01-04 11:49
  
  User since
  2005-01-17
  14533 Artikel
  Admin1
  
  Es kommt darauf an, ob die Zeichen aus dem UTF-8-Zeichensatz sich überhaupt nach ISO-8859-1 konvertieren lassen. Wenn sie außerhalb von ISO-8859-1 liegen, was soll dann passieren?
  die Drachin, Gwendolyn
  
  Unterschiedliche Perl-Versionen auf Windows (fast wie perlbrew) • Meine Perl-Artikel
  - Glasperlenspieler
    
    2011-01-04 13:42
    
    User since
    2010-01-02
    8 Artikel
    BenutzerIn
    
    Mich würde in erster Linie mal interessieren, um welche Zeichen es sich eigentlich handelt. Manche werde ich ziemlich sicher substituieren müssen, andere können evtl. rausfallen.
- GwenDragon
  
  2011-01-04 14:23
  User since
  2005-01-17
  14533 Artikel
  Admin1
  Testkäse:
  
  Code (perl): (dl )
  
  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28
  
  #!/usr/bin/perl use Encode qw/from_to/; #cat utf8.txt | perl -MEncode=from_to -pe 'from_to($_,"utf8","latin1");' while (<DATA>) { print "Original: $_"; from_to($_,"utf8","latin1"); print; } __DATA__ Das ist ein tödlicher Täst für die 1€ (nicht ganz kostenlose!) Programmierung. ÄÖÜß =AeOeUeSz ΔΦΚ =Delta Phi Kappa 訁=U+8A01 (CJK) א =Aleph U+05D0 € =Euro Š š =Scaron scaron Ž ž =Zcaron zcaron Œ œ =Oe oe Ÿ =Yideresis ¤ =Yen ¦ =Bar ¨ =Dieresis ´ =Tick ¸ =cedille ¼ ½ ¾ =1/4 1/2 3/4
  
  Du kannst ja das als Beispiel wählen für dein Konvertierprogramm.
  Last edited: 2011-01-04 14:25:10 +0100 (CET)
  die Drachin, Gwendolyn
  
  Unterschiedliche Perl-Versionen auf Windows (fast wie perlbrew) • Meine Perl-Artikel
- +4 replies
- GwenDragon
  
  2011-01-04 15:09
  User since
  2005-01-17
  14533 Artikel
  Admin1
  Konvertierprogramm conv.pl:
  
  Code (perl): (dl )
  
  1 2 3 4 5 6 7 8 9 10 11 12 13
  
  #!/usr/bin/perl use strict; use warnings; use Encode qw/from_to/; my $DEBUG = 0; while (<>) { print STDERR "Original: $_" if $DEBUG; from_to($_,"utf8","latin1"); print; }
  
  Aufzurufen (Beispiel):
  
  conv.pl < UTF8.txt > Latin1.txt
  die Drachin, Gwendolyn
  
  Unterschiedliche Perl-Versionen auf Windows (fast wie perlbrew) • Meine Perl-Artikel
  - +3 replies
  - Glasperlenspieler
    
    2011-01-04 17:47
    
    User since
    2010-01-02
    8 Artikel
    BenutzerIn
    
    Hm, aber das führt ja auch nur zum sofortigen Abbruch, sobald das erste Zeichen nicht konvertiert werden konnte, zumal mit einer etwas umständlichen Fehlermeldung:
    
    Quote
    Cannot decode string with wide characters at /System/Library/Perl/5.10.0/darwin-thread-multi-2level/Encode.pm line 182
    
    Ich werde mich heute Abend mal an clms' Vorschlag machen.
    - +2 replies
    - GwenDragon
      
      2011-01-04 19:39
      
      User since
      2005-01-17
      14533 Artikel
      Admin1
      
      Das sollte eigentlich gehen, aber dann hat Perl 5.10 wohl was geändert.
      
      Dann ersetze mal
      
      Code (perl): (dl )
      
      from_to($_,"utf8","latin1");
      
      durch
      
      Code (perl): (dl )
      
      from_to($_,"utf8","latin1", Encode::FB_QUIET);
      
      oder testhalber
      
      Code (perl): (dl )
      
      from_to($_,"utf8","latin1", Encode::FB_DEFAULT);
      
      Last edited: 2011-01-04 19:42:46 +0100 (CET)
      die Drachin, Gwendolyn
      
      Unterschiedliche Perl-Versionen auf Windows (fast wie perlbrew) • Meine Perl-Artikel
      - topeg
        
        2011-01-05 11:56
        
        User since
        2006-07-10
        2611 Artikel
        BenutzerIn
        
        Man kann auch so was schreiben:
        
        Code (perl): (dl )
        
        from_to($_,"utf8","latin1", sub{printf("Keine Entsprechung: U+%04X\n",$_[0])});
        
        Das gibt bei einem nicht konvertierbaren Zeichen die Unicode-ID aus.
- +12 replies
- leo11
  
  2011-01-04 20:42
  
  User since
  2008-08-14
  250 Artikel
  BenutzerIn
  
  2011-01-04T08:53:51 Glasperlenspieler
  UTF-8 nach Win Latin-1 (iso-8859-1) konvertieren.
  
  Dir ist klar, das Win Latin-1 nicht ISO-8859-1 ist?
  
  Quote
  Dazu habe ich bisher einfach iconv verwendet,
  
  Probier mal recode. Ich weiß dass es sich anders verhält, das genaue Verhalten jedoch habe ich beim Überfliegen eben in man recode/ info recode nicht finden können. Falls es jemand findet, postet es bitte. Hier ein schneller Test:
  
  Quote
  Hexcode 80 is in Windows-1252 das Euro Zeichen.
  
  iconv -f WINDOWS-1252 -t UTF8 win1252_file -o utf8_file
  führt zu:
  e2 82 ac
  
  iconv -f UTF8 -t ISO-8859-1 utf8_file iso8859-1_file
  iconv: illegal input sequence at position 0
  
  recode UTF-8..ISO-8859-1 utf8_file
  ergibt
  45 55 52 Das sind die Glyphen EUR
  
  Quote
  Gibt es denn eine Möglichkeit, irgendwie die Zeichen zu identifizieren, die im Zielzeichensatz nicht enthalten sind? Dann ließen sich dafür im Vorfeld sinnvolle Ersetzungen finden.
  
  Intressante Frage. Wie zuvor schon jemand schrieb: Was soll dann damit passieren?
  
  Bitte poste doch dann mal wie du es gemacht hast.
  - +10 replies
  - Glasperlenspieler
    
    2011-01-04 21:19
    
    User since
    2010-01-02
    8 Artikel
    BenutzerIn
    
    Quote
    Dir ist klar, das Win Latin-1 nicht ISO-8859-1 ist?
    
    Macht das denn in der Praxis einen Unterschied oder ist das etwas, über das man hinwegsehen kann?!
    
    Quote
    Probier mal recode.
    
    Wird gemacht!
    
    Quote
    Wie zuvor schon jemand schrieb: Was soll dann damit passieren?
    
    Hmpf, habe ich das nicht schon beantwortet? Mir geht es im Endeffekt darum, eine Liste der Zeichen zu erhalten, die nicht konvertiert werden können.
    - Dubu
      
      2011-01-04 22:13
      
      User since
      2003-08-04
      2145 Artikel
      ModeratorIn + EditorIn
      
      AFAIK gibt es auch bei recode keine Möglichkeit, sich einfach die nicht konvertierbaren Zeichen ausgeben zu lassen. Allerdings gibt sich recode (mit Default-Einstellungen) große Mühe, Zeichen in der Quellkodierung durch andere Zeichen(folgen) der Zielkodierung zu ersetzen - und das unbedingt so, dass die Konversion reversibel ist. Wenn das nicht möglich ist, gibt es eine Fehlermeldung (die man wiederum mit --force abschalten kann). Umgekehrt wird recode mit der Option --strict so pingelig wie iconv.
    - +3 replies
    - topeg
      
      2011-01-04 22:46
      
      User since
      2006-07-10
      2611 Artikel
      BenutzerIn
      
      Hier ein kleines Script, welches alle UTF-8 Zeichen in einem Text ausgibt.
      
      Code (perl): (dl )
      
      1 2 3 4 5 6 7 8 9 10
      
      #!/usr/bin/perl use strict; use warnings; binmode(STDIN); my %found; while(<STDIN>) { while(/((?:(?:[\xF0-\xF4][\x90-\xBF]|[\xE0-\xEF])[\x80-\xBF]|[\xC2-\xDF])[\x80-\xBF])/g) { print "UTF-8 CHAR: $1\n" unless( $found{$1}++ ); } }
      
      Aufruf:
      
      Code: (dl )
      
      perl print_utf8_chars.pl < text.txt
      
      Welche Zeichen unkonvertierbar sind zeigt es nicht an. Dazu bedarf es einer Zuweisungstabelle.
      - +2 replies
      - clms
        
        2011-01-05 00:18
        
        User since
        2010-08-29
        373 Artikel
        BenutzerIn
        
        2011-01-04T21:46:19 topeg
        Hier ein kleines Script, welches alle UTF-8 Zeichen in einem Text ausgibt.
        
        Ich habe es nicht ausprobiert, aber wenn ich den Code richtig interpretiere, gibt Dein Skript nur die UTF-8 Zeichen aus, die nicht in ASCII enthalten sind.
        
        topeg
        
        2011-01-05 00:37
        
        User since
        2006-07-10
        2611 Artikel
        BenutzerIn
        
        Ja eine falsche Formulierung. Gemeint sind die speziell UTF-8 kodierten Zeichen. Den ASCII Zeichensatz teilen sich fast alle Zeichenkodierungen.
    - clms
      
      2011-01-05 01:25
      
      User since
      2010-08-29
      373 Artikel
      BenutzerIn
      
      2011-01-04T20:19:54 Glasperlenspieler
      Quote
      Dir ist klar, das Win Latin-1 nicht ISO-8859-1 ist?
      
      Macht das denn in der Praxis einen Unterschied oder ist das etwas, über das man hinwegsehen kann?!
      
      Die Win-Codierung verwendet AFAIK auch die Zeichenpositionen (Hex) 0x80-0x9f, kennt also ein paar Zeichen mehr (u.a. €, Promille, n-Strich, m-Strich, Anführungszeichen links und rechts, ...). Insgesamt 27 Zeichen. 5 Positionen sind nicht belegt.
      
      Wenn Du Dich aber auf ISO-latin-1 beschränken kannst, macht es die Sache einfacher, weil die ISO-latin-1 Hexcodes denen von Unicode entsprechen.
    - +4 replies
    - leo11
      
      2011-01-05 06:03
      
      User since
      2008-08-14
      250 Artikel
      BenutzerIn
      
      2011-01-04T20:19:54 Glasperlenspieler
      Quote
      Dir ist klar, das Win Latin-1 nicht ISO-8859-1 ist?
      
      Macht das denn in der Praxis einen Unterschied oder ist das etwas, über das man hinwegsehen kann?!
      
      Das zeigt mein Beispiel. Ich hab ein Zeichen aus WINDOWS-1252 genommen das nicht in ISO-8859-1 enthalten ist und es nach UTF8 gewandelt. Dann hab ich eine Wandlung mit iconv und recode nach ISO-8859-1 versucht/gemacht. Wenn die Daten die dir vorliegen ursprünglich von WINDOWS-1252 nach UTF-8 konvertiert wurden, und du sie nun nach ISO-8859-1 konvertieren möchtest, weil dir nicht klar war, dass auch WINDOWS-1252 völlig ok/richtig wäre, dann macht es also den Unterschied ziwschen einer Lösung ohne Probleme und einer mit. Eben genau das zeigt mein Beispiel.
      
      Quote
      Quote
      Wie zuvor schon jemand schrieb: Was soll dann damit passieren?
      
      Hmpf, habe ich das nicht schon beantwortet? Mir geht es im Endeffekt darum, eine Liste der Zeichen zu erhalten, die nicht konvertiert werden können.
      
      Schon klar. Nur was machst du dann damit. Nehmen wir mal an du hast dann ISO-8859-1 mit besonders codierten Zeichen alla HTML. Was nutzt das? Programme müssen das ja auch interpretieren können. Gibt es Programme die ISO-8859-1 gemischt mit bspw. UTF8 richtig interpretieren? Selbst wenn, klingt das recht ungewöhnlich.
      - +3 replies
      - Glasperlenspieler
        
        2011-01-05 11:06
        
        User since
        2010-01-02
        8 Artikel
        BenutzerIn
        
        Quote
        Schon klar. Nur was machst du dann damit. Nehmen wir mal an du hast dann ISO-8859-1 mit besonders codierten Zeichen alla HTML. Was nutzt das? Programme müssen das ja auch interpretieren können. Gibt es Programme die ISO-8859-1 gemischt mit bspw. UTF8 richtig interpretieren? Selbst wenn, klingt das recht ungewöhnlich.
        
        Ach so! Einzelne Zeichen, die für's Verständnis notwendig sind (z.B. das €-Zeichen) werde ich dann halt z.B. durch "Euro" ersetzen usw.; Pfeile u.Ä. können meinetwegen wegfallen.
        
        Ich habe gerade schon mal ein bisschen mit recode herumexperimentiert, brauche dafür aber definitv noch etwas mehr Zeit (=> Wochenende!). Das mit den Zeichensätzen ist'n ziemlicher Scheiß. :-)
        
        +2 replies
        
        leo11
        
        2011-01-05 16:20
        
        User since
        2008-08-14
        250 Artikel
        BenutzerIn
        
        Quote
        Ich habe gerade schon mal ein bisschen mit recode herumexperimentiert, brauche dafür aber definitv noch etwas mehr Zeit (=> Wochenende!). Das mit den Zeichensätzen ist'n ziemlicher Scheiß. :-)
        
        Ich mag das Thema. Was ich gar nicht mag sind Fließkommaproblematiken... . (-:
        Wie gesagt schreib dann bitte mal wie's läuft. Mich intressiert das. Ansonsten hast du hier ja prima Hilfe bei der Frage nach der Erkennung von invalid chars. Muss ich unbedingt mal selber probieren. Was mich nach wie vor wundert ist die Aufgabe. Meinst du nicht es ist sinnvoller sich mal zu erkundigen, aus welchem Zeichensatz die Texte enstehen. Kann ja sein, das alles nur aus 1 Firma mit nur Windows Rechnern kommt, evtl aus 1 Programm, dass den eingestellten Defaultzeichensatz, bspw WINDOWS-1252 (synonym auch cp1252 genannt) beim Speichern automatisch nach UTF8 konvertiert. Oder das die Tastaturen eh nur ... erlauben. Schau doch mal bei den Rechnern nach, wenn du kannst. Unter Umständen kannst du dann dein Wochenende anders verbringen.
        
        Glasperlenspieler
        
        2011-01-06 20:43
        
        User since
        2010-01-02
        8 Artikel
        BenutzerIn
        
        Ich hab's gerade noch mal mit iconv und den zusätzlichen Parametern "//TRANSLIT//IGNORE" versucht. Das sieht auf den ersten Blick ganz gut aus!
        
        Auf den Original-Zeichensatz der Texte habe ich erst mal keinen Einfluss. Dabei handelt es sich um wissenschaftliche Korpora, die von den unterschiedlichsten Leuten zu den unterschiedlichsten Zeiten erstellt wurden.
  - GwenDragon
    
    2011-01-05 16:39
    
    User since
    2005-01-17
    14533 Artikel
    Admin1
    
    Grauenhaft, ich habe auch überlesen, dass wohl Windows-1252 gemeint ist, welches sich bei Microsoft selbst wieder ANSI Latin1 nennt.
    ANSI Latin1 != ISO Latin1.
    
    die Drachin, Gwendolyn
    
    Unterschiedliche Perl-Versionen auf Windows (fast wie perlbrew) • Meine Perl-Artikel

View all threads created 2011-01-04 09:53.