From : UTF-16LE => To : UTF8 (gelöst) (Allgemeines zu Perl)

[thread]16096[/thread]

From : UTF-16LE => To : UTF8 [gelöst]

Leser: 22

Articles: hide open all | hide show old branches

+16 replies

Gast etsej

2011-03-21 16:39

Hi,
wie kann man eine Datei (from 'UTF16-LE' to 'UTF8') konvertieren?

Code (perl): (dl )

#!/usr/bin/perl

use strict;
use warnings;
use Encode qw/from_to/;

open my $input, "<:encoding(UTF-16LE)", ".input.txt" or die "kann das Lexikon nicht öffnen: $!";

from_to($input,"UTF16LE","UTF8");
print "$input\n";

Ich bekomme nur folgende Meldung : "Segmentation fault"
Danke.

pktm

2011-03-21 16:55
User since
2003-08-07
2921 Artikel
BenutzerIn
Hm, ich weiß nicht genau, ob das hier, das bei from_to() steht, bei deinem Code zutrifft:

Quote
The data in $octets must be encoded as octets and not as characters in Perl's internal format.

Aber versuchs doch hiermit:
Code (perl): (dl )

1 2

use Encode; my $utf8 = decode("UTF16LE", $var);
(hier gesehen)
http://www.intergastro-service.de (mein erstes CMS :) )
+3 replies
topeg

2011-03-21 21:12

User since
2006-07-10
2611 Artikel
BenutzerIn

Mit "<:encoding(UTF-16LE)" Sagst du schon dass perl die Daten Dekodieren soll. Sie ist dann im Perl eigenen internen Format gespeichert willst du dann UTF8 ausgeben musst du die Ausgabe entsprechend setzen.
Z.B.:binmode(STDOUT, ':utf8');.
- +2 replies
- pktm
  
  2011-03-21 22:24
  
  User since
  2003-08-07
  2921 Artikel
  BenutzerIn
  
  Mal so aus Interesse, wie kann ich die Daten aus der Datei in diesem Oktet-Format einlesen?
  http://www.intergastro-service.de (mein erstes CMS :) )
  - moritz
    
    2011-03-22 08:07
    
    User since
    2007-05-11
    923 Artikel
    HausmeisterIn
    
    Wenn du die Datei ohne :encoding(...) öffnest, wird sie automatisch in "Oktets" gelesen.
    Perl 6 - Perls Zukunft
+10 replies

kristian

2011-03-22 08:40

User since
2005-04-14
684 Artikel
BenutzerIn

Irgendwie stimmt in dem Code gar nichts.
Mir wäre neu, dass from_to / encode / decode mit einem Filehandle arbeiten.

+9 replies

Gast etsej

2011-03-22 08:50

Könntest du noch genauerer erklären, was du meinst?
Was muss ich ändern?
Last edited: 2011-03-22 09:09:07 +0100 (CET)

+8 replies

kristian

2011-03-22 09:21

User since
2005-04-14
684 Artikel
BenutzerIn

Machen wir es kurz:

Code (perl): (dl )

#!/usr/bin/perl
use strict;
use warnings;
use Encode;

open my $input, "<", "input.txt" or die "kann das Lexikon nicht öffnen: $!";

my($raw_octets,$perl_scalar,$utf8_octets);
while($raw_octets = <$input>){
    $perl_scalar = decode("UTF-16LE", $raw_octets);
    $utf8_octets = encode("utf8", $perl_scalar);
    print $utf8_octets;
}

close($input);

+7 replies

Gast etsej

2011-03-22 09:36

Sorry, aber ich bekomme wie folgt

Code: (dl )

㘀㄀㄀　　崀䌀伀䐀䔀㨀㐀嬀㄀㐀㌀　　崀䌀伀䐀䔀㨀 䰀愀猀琀琀爀愀攀最攀爀 嬀戀攀愀爀戀攀椀琀攀琀崀儀唀䄀㨀 嬀䌀匀㌀崀䌀伀䐀䔀㨀　　嬀䴀䄀㠀崀䌀伀䐀䔀㨀㐀笀匀紀਀　　　　　　　嬀㘀㄀㄀　　崀䌀伀䐀䔀㨀㔀嬀㄀㔀　　　崀䌀伀䐀䔀㨀 嬀唀渀琀攀爀琀攀椀氀崀䈀䔀娀㨀 嬀䌀匀㌀崀䌀伀䐀䔀㨀　　 一䌀㜀㐀笀匀紀਀嬀嘀　崀䌀伀䐀䔀㨀　㄀　　嬀㄀　　㠀崀倀䄀䌀㨀㄀ 䐀爀甀挀欀攀爀最攀栀愀攀甀猀攀 䴀愀爀挀栀攀猀椀笀匀紀਀嬀嘀　崀䌀伀䐀䔀㨀　㄀　　嬀㄀　　㠀崀倀䄀䌀㨀㈀ 嬀匀愀攀甀氀攀崀䈀䔀娀㨀 䴀愀爀挀栀攀猀椀笀匀紀਀嬀嘀　崀䌀伀䐀䔀㨀　㄀　　嬀㄀　　㠀崀倀䄀䌀㨀㐀 嬀匀愀攀甀氀攀崀䈀䔀娀㨀 䴀愀爀挀栀攀猀椀笀匀紀਀嬀圀　　㄀崀䌀伀䐀䔀㨀　　㈀　　㠀㔀 䰀愀猀琀琀爀最攀爀 嬀䌀愀爀爀椀攀爀崀吀夀倀㨀笀匀紀਀嬀圀　　㄀崀䌀伀䐀䔀㨀　　㈀　　㠀㘀 嬀唀渀琀攀爀琀攀椀氀崀䈀䔀娀㨀 戀漀琀琀漀渀 嬀瀀愀爀琀崀䘀刀䴀㨀笀匀紀਀嬀圀　　㄀崀䌀伀䐀䔀㨀　　㈀　　㠀㜀 嬀唀渀琀攀爀琀攀椀氀崀䈀䔀娀㨀 一䌀㜀㐀 戀漀琀琀漀渀 嬀瀀愀爀琀崀䘀刀䴀㨀笀匀紀਀嬀圀　　㄀崀䌀伀䐀䔀㨀　　㈀　㄀㈀㌀ 䐀爀甀挀欀攀爀最攀栀愀攀甀猀攀 䴀愀爀挀栀攀猀椀笀匀紀਀嬀圀　　㄀崀䌀伀䐀䔀㨀　　嬀㈀　㄀㈀㐀崀䌀伀䐀䔀㨀 嬀匀愀攀甀氀攀崀䈀䔀娀㨀 䴀愀爀挀栀攀猀椀笀匀紀਀

Könntest du mir sagen, woran es liegt, und wie kann ich es vermeiden?
Last edited: 2011-03-22 09:55:54 +0100 (CET)

+6 replies

kristian

2011-03-22 09:59

User since
2005-04-14
684 Artikel
BenutzerIn

Du wirst wohl am Ende feststellen, dass es sich bei den Daten die du einliest nicht um UTF-16LE handelt.
Kannst du uns die Daten mal zeigen?

+5 replies

Gast etsej

2011-03-22 10:14

Code: (dl )

([BLECH]FRM: 1,5 [NIROSTA]MAT:)
[4X20X32]MASS: [NIROSTA]MAT:
[5Min]MASS:. Empfindlichk. [D=15mm]MASS:
[M5x8]MASS: [DIN 912]NORM: [Niro]FRM:
[DIN 912]NORM: [M4x10]MASS:
BLINDSCHRAUBE [M8X11]MASS:
FUSSCHRAUBE, [KPL.]QUA: [M 24X75]MASS:
[STELLSCHRAUBE]BEZ:, [KPL.]QUA:
[STELLSCHRAUBE]BEZ:, [NIROSTA]MAT:
[STELLSCHRAUBE]BEZ: [M 16X100]MASS: [KPL.]QUA: ([NIRO]FRM:)
[HALTER]BEZ:
[DRUCKSTUECK]BEZ:
[UNTERTEIL]BEZ:
[Tellerfeder]BEZ:
NETZZULEITUNG,
LAUFROLLENTRAEGER
[BUCHSE]BEZ:
[LAUFROLLE]BEZ: [MIT KUGELLAGER]ATTRQUA:
[SCHRAUBE]BEZ:
[WELLE]BEZ:
[WELLE]BEZ: [MIT HUELSE]ATTRQUA:
[WELLE]BEZ:
[HUELSE]BEZ:
ANSCHLAGSTIFT
SPERRSCHEIBE

Code: (dl )

1
2

$ file input.txt 
input.txt: Little-endian UTF-16 Unicode text

Last edited: 2011-03-22 10:32:51 +0100 (CET)

+4 replies
kristian

2011-03-22 11:16
User since
2005-04-14
684 Artikel
BenutzerIn
Die Daten sind nicht hilfreich. Du hättest sie mit einem Editor öffnen müssen, der kein UTF-16LE kann.
Egal, ich habe den Fehler gefunden, es liegt am Zeilenumbruch.
Code (perl): (dl )

1 2 3 4 5 6

while($raw_octets = <$input>){ chomp $raw_octets; $perl_scalar = decode("UTF-16LE", $raw_octets); $utf8_octets = encode("utf8", $perl_scalar); print $output $utf8_octets . "\n"; }
sollte passen
- +3 replies
- Gast etsej
  
  2011-03-22 12:13
  
  Sorry, leider habe ich immer noch das gleiche Problem.
  Ich habe meine Datei mit einem Editor geöffnet, und die Datei ist wirklich UTF-16LE.
  Last edited: 2011-03-22 12:17:32 +0100 (CET)
  - +2 replies
  - kristian
    
    2011-03-22 13:51
    User since
    2005-04-14
    684 Artikel
    BenutzerIn
    
    Seltsam, seltsam...
    
    Versuch es mal damit:
    
    Code (perl): (dl )
    
    1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
    
    #!/usr/bin/perl use strict; use warnings; use Encode; my $from = $ARGV[0]; my $to = $ARGV[1]; my $in_file = $ARGV[2]; my $out_file = $ARGV[3]; open my $input, "<:encoding($from)", $in_file or die "$!"; open my $output, ">:encoding($to)", $out_file or die "$!"; while(<$input>){ print $output $_; } close($input); close($output);
    
    ./script.pl UTF-16LE utf8 in.txt out.txt
    
    Wenn das nicht funktioniert legst du die Datei am besten mal gezippt irgendwo zum Download hin.
    - Gast etsej
      
      2011-03-22 14:06
      
      Super!!
      Es läuft jetzt, vielen vielen Dank.
      Last edited: 2011-03-22 14:11:21 +0100 (CET)

kristian

2011-03-22 15:00

User since
2005-04-14
684 Artikel
BenutzerIn

Interessante Sache das...
Folgende Lösungen funktionieren:

Code (perl): (dl )

#!/usr/bin/perl
use strict;
use warnings;
use Encode;

my $from     = $ARGV[0];
my $to       = $ARGV[1];
my $in_file  = $ARGV[2];
my $out_file = $ARGV[3];

open my $input, "<", $in_file or die "$!";
open my $output, ">", $out_file or die "$!";

local $/ = undef;

my($raw_octets,$perl_scalar,$utf8_octets);
while($raw_octets = <$input>){
    $perl_scalar = decode($from, $raw_octets);
    $utf8_octets = encode($to, $perl_scalar);
    print $output $utf8_octets;
}

close($input);
close($output);

Code (perl): (dl )

#!/usr/bin/perl
use strict;
use warnings;
use Encode qw(from_to);

my $from     = $ARGV[0];
my $to       = $ARGV[1];
my $in_file  = $ARGV[2];
my $out_file = $ARGV[3];

open my $input, "<", $in_file or die "$!";
open my $output, ">", $out_file or die "$!";

local $/ = undef;

while(my $octets = <$input>){
    from_to($octets,$from,$to);
    print $output $octets;
}

close($input);
close($output);

Code (perl): (dl )

#!/usr/bin/perl
use strict;
use warnings;
use Encode;

my $from     = $ARGV[0];
my $to       = $ARGV[1];
my $in_file  = $ARGV[2];
my $out_file = $ARGV[3];

open my $input, "<:encoding($from)", $in_file or die "$!";
open my $output, ">:encoding($to)", $out_file or die "$!";

while(<$input>){
    print $output $_;
}

close($input);
close($output);

Bei den oberen beiden hat es etwas gedauert, bis ich auf die Idee kam, $/ auf undef zu setzen.
Bei UTF-16LE entstehen wohl Linebreaks, die eigentlich keine sind.
Tss tss tss, so kommt man an die grauen Haare...

EDIT:
Es ist der Linebreak selbst, der in UTF-16LE aus chr(10) und chr(0) besteht.
Das chr(0) wandert in die nächste Zeile und dann gibt es nur noch Datenmüll.
Es geht also auch so:

Code (perl): (dl )

#!/usr/bin/perl
use strict;
use warnings;
use Encode qw(from_to);

my $from     = $ARGV[0];
my $to       = $ARGV[1];
my $in_file  = $ARGV[2];
my $out_file = $ARGV[3];

open my $input, "<", $in_file or die "$!";
open my $output, ">", $out_file or die "$!";

if($from eq 'UTF-16LE'){
    $/ = "\012\000";
}

while(my $octets = <$input>){
    from_to($octets,$from,$to);
    print $output $octets;
}

close($input);
close($output);

Last edited: 2011-03-22 15:26:15 +0100 (CET)

View all threads created 2011-03-21 16:39.