Encoding (Sonstige Beiträge (auch Spaß und Sinnloses))

[thread]13591[/thread]

Encoding

Leser: 21

Articles: hide open all | hide show old branches

+5 replies
leo11

2009-05-30 18:45

User since
2008-08-14
250 Artikel
BenutzerIn

Hallo,

ich habe eine Datei iso.txt.
file -ik iso.txt zeigt mir an:
iso.txt: text/plain; charset=iso-8859-1

In der Datei steht:

Quote
pâté

Das entspricht in ISO-8859-1 dem Hexcode: 70 E2 74 E9
Nun konvertiere ich die Dtaei mit
iconv -f ISO-8859-1 -t UTF8 enc > utf8.txt
file -ik zeigt mir an, dass die Konvertierung funktioniert hat. In der Datei steht sonst nichts. Also kein Header mit einer Zeichensatzangabe wie in Http-Headern. Wie wurde dann der Zeichensatz erkannt?

Der Hexcode ist nach der Konvertierung in UTF8: 70 C3 A2 74 C3 A9
Ich war überrascht, dass das Zeichen â mit C3 A2 16 Bit sind. Aber wie ich nun weiß werden Unicode-Zeichen größer als 127 in UTF8 zu 2-4 Byte kodiert.
Nehmen wir mal an ich hätte file -ik nicht zur Verfügung und müsste mir den verwendeten Zeichensatz herleiten. Wie kann ich das machen?

Gibt es Alternativen zu file -ik? Bei XML funktioniert es bspw. nicht.

Schau ich mir nun die Datei utf8.txt mit vi, jedit, kate oder khexedit an erscheint der String pÃ¢tÃ©.
Offensichtlich haben die Programme im Gegensatz zu file -ik UTF8 nicht erkannt. Erst die Auswahl des Menüs "Reload with encoding-> UTF8" zeigt mir den korrekten String wieder an. Wieso haben die Programme das nicht selbstständig erkannt?

Was mir auch noch nicht klar ist ist der Zusammenhang zum Unicode. Nehmen wir wieder das Zeichen â:
Es wird im Unicode durch "U+00E2 LATIN SMALL LETTER A WITH CIRCUMFLEX beschrieben" Das bedeutet ein einzelnes Zeichen wird im Unicode hexadezimal mit führendem U+ dargestellt. 00E2 entspricht hier UTF16 und ISO-8859-1. Aber nicht UTF-8. Dort wird â durch C3 A2 angezeigt. Irgendwie bringt mich das durcheinander. In welchem Zusammenhang stehen Unicode, UTF-8, UTF-16, ISO-8859-1? Ist Unicode die für Eindeutigkeit sorgende Definition, die sich bei Verwendung des Algorithmus von UTF-16 als 00 E2 darstellt, während der Algorithmus von UTF-8 C3 A2 ergibt? Warum hat man das so gemacht?

Nun habe ich die iso-8859-1 Datei und die utf-8 datei mal in Unicode gewandelt. file -ik zeigt mir charset=utf-16 an!? Im Hexcode sieht man,das der String nun mit ff fe beginnt. Wie ich nachgelesen habe gibt das die Byte-Reihenfolge als Little-Endian an. Es wird immer komplizierter. Ich glaub ich mach erstmal Schluss für heute.

Nur noch schnell eine letzte Frage:
Kann man eine Datei in der steht charset: UTF-8 auf korrektes UTF-8 prüfen?

Fragen über Fragen. Fällt euch das Thema auch so schwer? Hoffe jemand hilft mir hier weiter.

VG
leo11
- +4 replies
- murphy
  
  2009-05-30 22:51
  
  User since
  2004-07-19
  1776 Artikel
  HausmeisterIn
  
  2009-05-30T16:45:29 leo11
  [...]
  file -ik zeigt mir an, dass die Konvertierung funktioniert hat. In der Datei steht sonst nichts. Also kein Header mit einer Zeichensatzangabe wie in Http-Headern. Wie wurde dann der Zeichensatz erkannt?
  [...]
  
  file errät anhand der Bytesequenzen, die in der Datei vorkommen, welchen Zeichensatz sie haben könnte. Das liefert zwar keine garantiert zuverlässigen Ergebnisse, funktioniert aber doch in den meisten Fällen.
  
  Quote
  [...]
  Nehmen wir mal an ich hätte file -ik nicht zur Verfügung und müsste mir den verwendeten Zeichensatz herleiten. Wie kann ich das machen?
  [...]
  
  Wenn Du eine ähnliche Art von Zeichensatzerkennung in Perl machen möchtest, gibt es dafür das Modul Encode::Guess.
  
  Quote
  [...]
  Schau ich mir nun die Datei utf8.txt mit vi, jedit, kate oder khexedit an erscheint der String pÃ¢tÃ©. [...] Wieso haben die Programme das nicht selbstständig erkannt?
  [...]
  
  Wieso sollten sie? Gerade wenn man eine Datei bearbeiten und nicht nur irgendwie Informationen auslesen will, sollte man sich besser nicht auf geratene Kodierungen verlassen...
  
  Quote
  [...]
  In welchem Zusammenhang stehen Unicode, UTF-8, UTF-16, ISO-8859-1?
  [...]
  
  Unicode ist ein Standard, der unter anderem beschreibt, welche Zeichen es überhaupt auf der Welt gibt, wie man sie klassifizieren kann und der jedem Zeichen eine eindeutige Identifikationsnummer zuordnet. Diese Identifikationsnummer hat nun aber nicht unbedingt etwas mit der Darstellung der Zeichen im Arbeitsspeicher oder in einer Datei zu tun.
  
  Die verschiedenen Kodierungen wie ISO-8859-1, UTF-8 oder UTF-16 beschreiben im Prinzip jeweils eine Zuordnung zwischen den Unicodeidentifikationsnummern von Zeichen und bestimmten Sequenzen von Bytes, die sich zum Ablegen im Arbeitsspeicher oder in Dateien eignen.
  
  Die Unterschiede zwischen den Kodierungen rühren daher, dass sie für verschiedene Zwecke gemacht sind: ISO-8859-1 speichert zum Beispiel jedes Zeichen in nur einem Byte ab, kann dafür aber fast nur Zeichen kodieren, die in den Sprachen Mitteleuropas vorkommen; UTF-8 stellt Zeichen als variabel lange Bytesequenzen dar, was unpraktisch zu verarbeiten sein kann und im Speicherverbrauch je nach Sprache des kodierten Textes stark variiert, dafür aber zumindest alle Unicodezeichen beherrscht und kompatibel mit ASCII ist; UTF-16 stellt die meisten Zeichen in jeweils zwei Bytes dar und beherrscht auch alle Unicodezeichen, verschwendet dafür aber zum Beispiel auch ein Byte Speicher pro Zeichen das eigentlich auch mit ASCII kodierbar wäre und man muss darauf achten, ob das Speicherformat little- oder big-endian ist. Darüberhinaus gibt es natürlich auch noch dutzende weitere Zeichenkodierungen...
  
  Quote
  [...]
  Kann man eine Datei in der steht charset: UTF-8 auf korrektes UTF-8 prüfen?
  [...]
  
  Die Antwort lautet natürlich ja :-)
  
  Lies Dir zum Beispiel mal die Dokumentation des Perlmoduls Encode oder die Manpages zu den Backendfunktionen von iconv durch, dann wirst Du feststellen, dass man in beiden Fällen beim Dekodieren für den Fall fehlerhafter Eingabedaten verschiedene Behandlungsmöglichkeiten einstellen kann.
  When C++ is your hammer, every problem looks like your thumb.
  - leo11
    
    2009-05-31 08:25
    
    User since
    2008-08-14
    250 Artikel
    BenutzerIn
    
    Hi murphy,
    
    deine Antworten helfen mir sehr weiter. Vielen Dank und Grüße,
    
    leo11
  - +2 replies
  - leo11
    
    2009-05-31 09:41
    User since
    2008-08-14
    250 Artikel
    BenutzerIn
    
    2009-05-30T20:51:35 murphy
    Wenn Du eine ähnliche Art von Zeichensatzerkennung in Perl machen möchtest, gibt es dafür das Modul Encode::Guess.
    
    Ich habe gerade mal mit dem Bsp. aus der Doku experimentiert:
    
    Code (perl): (dl )
    
    1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
    
    #!/usr/bin/perl use strict; use warnings; use Encode; use Encode::Guess; my $data='pâté'; #my $data='pate'; my $enc = guess_encoding($data, qw/ascii utf8 utf16 iso-8859-1/); ref($enc) or die "Can't guess: $enc"; # trap error this way #my $utf8 = $enc->decode($data); # or my $utf8 = decode($enc->name, $data); print $utf8,"\n\n";
    
    Das Bsp. bringt mir den Fehler:
    UTF-16:Unrecognised BOM 70e2 at /usr/lib/perl5/5.8.8/i386-linux-thread-multi/Encode/Guess.pm line 135.
    
    Lass ich utf16 weg geht es. Wie kann ich mir eine Liste der unterstützen Zeichensätze ausgeben lassen? So etwas wie iconv --list.
    
    Die Funktionsweise des Beispiels ist mir auch nicht klar. Ich hätte erwartet, dass ich eine Meldung bekomme, welche Zeichenkodierung der String hat. So wie bei file -ik. Wie macht man dass? Aus der Doku werd ich nicht schlau.
    
    Mein Ziel ist ein Oneliner der mir die Kodierung eines Files angibt wie es file -ik tut. Optimal wäre, wenn er auch bei XML-Dateien geht.
    Last edited: 2009-05-31 09:43:00 +0200 (CEST)
    - murphy
      
      2009-05-31 18:28
      
      User since
      2004-07-19
      1776 Artikel
      HausmeisterIn
      
      2009-05-31T07:41:23 leo11
      [...]
      
      Code (perl): (dl )
      
      1 2 3 4
      
      my $enc = guess_encoding($data, qw/ascii utf8 utf16 iso-8859-1/); ref($enc) or die "Can't guess: $enc"; # trap error this way [...] my $utf8 = decode($enc->name, $data);
      
      [...]
      
      Bereits ohne Blick in die Dokumentation fällt mir auf, dass $enc hier im Erfolgsfall ganz offensichtlich ein Objekt enthält, das die erratene Kodierung beschreibt, und dass man den Namen dieser Kodierung wohl über die Methode name des besagten Objektes abrufen kann.
      
      Quote
      [...]
      Das Bsp. bringt mir den Fehler:
      UTF-16:Unrecognised BOM 70e2 at /usr/lib/perl5/5.8.8/i386-linux-thread-multi/Encode/Guess.pm line 135.
      
      Lass ich utf16 weg geht es.
      [...]
      
      Das ist allerdings doof. Es könnte fast sein, dass Du da auf einen Bug in Encode::Guess gestoßen bist, denn beim Erraten der Kodierung sollte eigentlich nicht einfach ein Fehler erzeugt werden.
      
      Quote
      [...]
      Wie kann ich mir eine Liste der unterstützen Zeichensätze ausgeben lassen? So etwas wie iconv --list.
      [...]
      
      Ein kurzer Blick in die Dokumentation fördert zu Tage, dass man mit der Methode encodings der Klasse Encode eine Liste aller unterstützten Kodierungen abrufen können müsste. Und in der Tat produziert der Befehl
      
      Code: (dl )
      
      perl -MEncode -le 'print for (Encode->encodings(":all"));'
      
      bei mir auf der Kommandozeile eine lange Liste mit Namen von Zeichensätzen.
      
      Quote
      [...]
      Mein Ziel ist ein Oneliner der mir die Kodierung eines Files angibt wie es file -ik tut. Optimal wäre, wenn er auch bei XML-Dateien geht.
      
      Ich habe etwas herumgespielt und komme zu dem Schluss, dass Encode::Guess mit langen Listen möglicher zu ratender Kodierungen nicht gerade sehr zuverlässig funktioniert. Allerdings kann dir folgender Einzeiler, der versucht den Zeichensatz über STDIN verfütterter Daten zu erraten, vielleicht als Ausgangspunkt dienen:
      
      Code: (dl )
      
      perl -MEncode -MEncode::Guess -le 'my $enc = guess_encoding(<STDIN>, grep !m/^UTF-(?:16|32).*(?![BL]E)$/i, Encode->encodings(":all")); if (ref $enc) { print $enc->name } else { exit 1 }'
      
      When C++ is your hammer, every problem looks like your thumb.

View all threads created 2009-05-30 18:45.