Lesen einer Unicode Datei (gelöst) (Allgemeines zu Perl)

[thread]15926[/thread]

Lesen einer Unicode Datei [gelöst]

Leser: 24

Articles: hide open all | hide show old branches

+7 replies
Gast Dominik

2011-02-06 15:15
Hallo zusammen,

ich möchte eine Unicode-Datei einlesen. Aber irgendetweas scheint mit dem Zeichensatz nicht zu stimmen.

Hier der Code:
Code: (dl )

1 2 3 4 5 6 7 8

use warnings; use strict; my $filename = "Testfile.txt"; open FILE, $filename or die "Dateifehler: $!"; print <FILE>; close FILE; <>;
Die Unicode-Datei hat folgenden Inhalt:
Full Tilt Poker Game #27714898282: $2 + $0.15 Sit&Go (Sup Turbo) (215431399), Table 1 - 15/30 - No Limit Hold'em - 13:25:11 ET - 2011/01/29
Seat 1: pamixfirst (300)
Seat 2: lucian-bucur (300)
Seat 3: Drexo21 (300)
Seat 4: BaccoFromHell (300)
Seat 5: alexutzu09 (300)
Seat 6: blue6label (300)
Seat 7: koshca (300)
Seat 8: parkbank (300)
Seat 9: nklein (300)

Wenn ich nun aber die Datei einlese und den Inhalt ausgebe, erscheint die Ausgabe scheinbar in einem falschen Format. Wie folgt zu sehen ist:

Screenshot

Übrigens ist die Ausgabe richtig wenn ich die Datei als ANSI-Datei abspeicher.

Wie kann ich Perl dazu bringen den Zeichensatz beim Lesen zu konvertieren?

MfG, Dominik
Last edited: 2011-02-06 15:25:35 +0100 (CET)
- +2 replies
- Gast Dominik
  
  2011-02-06 15:36
  
  Der Screenshot soll die Leerzeichen zeigen, die zwischen jeden Zeichen eingefügt werden. Das Problem ist auch wenn ich eine Zeile aus dieser Datei lese, denk Perl das da Leerzeichen mit drinnen sind. Deshalb kann ich auf einzelne Zeilen auch keine vernünftigen regulären Ausdrücke anwenden..
  
  Hoffe jetzt ist mein Problem bischen klarer.
  
  MfG Dominik
  Last edited: 2011-02-06 17:04:01 +0100 (CET)
  - moritz
    
    2011-02-06 17:19
    
    User since
    2007-05-11
    923 Artikel
    HausmeisterIn
    
    Ich vermute, dass es keine Lehrzeichen sind, sondern Null-Bytes von der UTF-16-Kodierung. Ein Hex-Editor wird dir Klarheit verschaffen.
    Perl 6 - Perls Zukunft
- bianca
  
  2011-02-06 16:08
  
  User since
  2009-09-13
  6978 Artikel
  BenutzerIn
  
  Hast Du mal den Binärmodus über binmode() versucht?
  10 print "Hallo"
  20 goto 10
- moritz
  
  2011-02-06 17:01
  
  User since
  2007-05-11
  923 Artikel
  HausmeisterIn
  
  Vermutlich ist die Datei in UTF-16LE abgespeichert ("Unicode" ist keine Zeichenkodierung, sondern ein Repertoir).
  
  Mit Encode kannst du das in die Kodierung deiner Wahl umsetzen.
  Perl 6 - Perls Zukunft
- +2 replies
- leo11
  
  2011-02-06 17:33
  
  User since
  2008-08-14
  250 Artikel
  BenutzerIn
  
  Wie moritz bereits sagte ist Unicode keine Zeichencodierung. Bring in Erfahrung um welche es sich handelt. Am besten du kannst das in der App o.ä. nachschauen, die den Dateiinhalt produziert. Ansonsten muss man schätzen. Unter Linux würde evtl file -ik datei hilfreich sein. Ansonsten kann man noch nach einer Byte Order Mark Ausschau halten. Moritz hat ja bereits auf einen Hexeditor hingewiesen. Unter Windows ginge bspw. Ultraedit. Wenn du dann das Encoding weißt, les die Datei entsprechend ein. Bei der folgenden Ausgabe, musst du dann auch den Zeichensatz der Shell oder cmd.exe berücksichtigen. Hilfreich wär hier auch Ultraedit professional. Das ist die kommerzielle Version. Damit kannst du die Datei in allen möglichen Encodings laden. Unter Linux geht das mit JEdit auch sehr bequem. Das Tool ist umsonst.
  
  Wenn du die Datei zum Download zur Verfügung stellen kannst, schau ich sie mir mal an. Am besten vorher zippen.
  - Gast Dominik
    
    2011-02-06 19:24
    Problem ist gelöst.
    
    Eingabe von "file Testfile.txt" in Ubuntu gab mir folgende Information:
    
    Little-endian UTF-16 Unicode English text, with CRLF, CR line terminators
    
    Das Dateiformat habe ich beim Öffnen der Datei berücksichtigt:
    
    Code: (dl )
    
    open FILE, "<encoding(utf16)", $filename or die "Dateifehler: $!";
    
    Vielen Danke für eure schnelle Hilfe!!!
    
    MfG Dominik
    Last edited: 2011-02-06 19:38:43 +0100 (CET)

View all threads created 2011-02-06 15:15.