Bei UTF-8 file wird erste Zeile nicht gelesen (Allgemeines zu Perl)

[thread]16403[/thread]

Bei UTF-8 file wird erste Zeile nicht gelesen

Tags: perl5 Similar Threads

Readers: 22

Articles: hide open all | hide show old branches

+10 replies
crojay

2011-06-10 10:05
User since
2011-03-08
81 articles
BenutzerIn
Hi,

ich habe ein seltsame Problem. Ich lese eine Datei in einen Hash, damit ich mir dann auf einfache Weise Werte aus der Datei anhand des keys holen kann. Grundsätzlich funktioniert das auch :-) aber jetzt habe ich einen Sonderfall. Den Key den ich holen will ist in der aktuellen Datei in der ersten Zeile, wenn die Datei mit UTF-8 gespeichert wird, dann wird dieser Value des keys nicht gefunden. Positioniere ich diese Zeile an eine andere Stelle dann wird alles gefunden. Wenn ich die DAtei als ANSI speichere wird es der Wert des Key auch an erster Zeile gefunden. Ich habe bereits über den Bimode auf utf geschaltet aber das hat auch nichts gebracht, verstehe nicht weshalb es an im UTF-8 Format einfach nicht gefunden wird, wenn der Key in der ersten Zeile ist. Also der Key wird immer gefunden aber nicht der zugehörige Wert, sobald ich die Datei auf ANSI stelle ist alles gut.

Hier mein Code
Code: (dl )

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57

my $jobFile = $_[0]; my $key =$_[1]; binmode STDOUT, ':utf8'; print "searching for key $key\n"; if (-e $jobFile){ my $propertyHashRef = &readFileIntoHash($jobFile,":"); my @keys = keys %{$propertyHashRef}; print "@keys\n"; my @values = values %{$propertyHashRef}; print "@values\n"; if (defined $propertyHashRef){ if (!exists $propertyHashRef{$key}){ print "key $key exists in file $jobFile with value ". $propertyHashRef->{$key} ."\n"; return $propertyHashRef->{$key}; } else{ print "key: $key does not exist in file $jobFile\n"; } } else{ &log_this($customer,$ordername,"hash is not defined"); print "hash is not defined\n"; } } else{ &log_this($customer,$ordername,"cannot find file $jobFile"); print "cannot find file $jobFile\n"; } print "no form id found in file $jobFile\n"; return undef; sub readFileIntoHash{ my $inputFile = $_[0]; my $seperatorChar = $_[1]; if (! $seperatorChar){ $seperatorChar = "="} &log_this($customer,$ordername,":using input file $inputFile") ; my %exportHash; if (-e $inputFile){ open (HASHFILE,$inputFile) || die "file $inputFile konnte nicht geoeffnet werden\n"; binmode(HASHFILE, ":encoding(UTF-8)"); %exportHash = map { chomp; split /\s*$seperatorChar\s*/, $_, 2; } <HASHFILE>; #while (<HASHFILE>){ # print "$_\n"; #} # close(HASHFILE); return \%exportHash; } else{ &log_this($customer,$ordername,":file $inputFile does not exist, returning undef"); return; } }
Meine Datei sieht wie folgt aus
Code: (dl )

1 2 3

Formid : XXXXXXXXX InstanceID : test Queue: test
Ist die Datei in ANSI gespeichert liefert mit meine obige Methode XXXXXXX als Wert zurück im, ist es im UTF-8 gespeichert so wird kein Wert für die Formid gefunden

Kann mir jemand einen Rat geben?

Danke
- +3 replies
- topeg
  
  2011-06-10 10:42
  User since
  2006-07-10
  2611 articles
  BenutzerIn
  Du hast die Datei wahrscheinlich in UTF-8 mit BOM gespeichert. Die erste Zeile wird gelesen. Der Schlüssel hat nur noch das BOM vorne dran, weshalb du ihn nicht findest. Entweder lässt du das BOM weg, das wird bei UTF-8 nicht gebraucht, oder du entfernst die ersten drei Zeichen in der Datei, wenn sie "\xEF\xBB\xBF" sind.
  
  Du kannst das lesen so schreiben:
  
  Code (perl): (dl )
  
  1 2 3 4 5 6 7 8 9
  
  open (my $fh, '<:encoding(UTF-8)',$inputFile) || die "file $inputFile konnte nicht geoeffnet werden\n"; my $bom=1; %exportHash = map { chomp; s/^\xEF\xBB\xBF// if($bom); $bom=0; split /\s*$seperatorChar\s*/, $_, 2; } <$fh>; close($fh);
  - +2 replies
  - moritz
    
    2011-06-10 10:49
    User since
    2007-05-11
    923 articles
    HausmeisterIn
    
    Dein Code wird so nicht funktionieren. Durch das :encoding(UTF-8) im IO-Layer werden die drei Bytes des BOM ein einen Codepoint umgewandelt, s/^\xEF\xBB\xBF// matcht also nicht.
    
    Richtig waere
    
    Code (perl): (dl )
    
    s/^\x{feff}// if $bom;
    
    Perl 6 - Perls Zukunft
    - crojay
      
      2011-06-13 02:17
      
      User since
      2011-03-08
      81 articles
      BenutzerIn
      
      Vielen Dank, hat mir gut weitergeholfen!!!
- +5 replies
- pq
  
  2011-06-10 10:48
  User since
  2003-08-04
  12209 articles
  Admin1
  2011-06-10T08:05:20 crojay
  
  Code: (dl )
  
  1 2 3 4 5 6 7 8
  
  if (!exists $propertyHashRef{$key}){ print "key $key exists in file $jobFile with value ". $propertyHashRef->{$key} ."\n"; return $propertyHashRef->{$key}; } else{ print "key: $key does not exist in file $jobFile\n"; }
  
  kannst du den teil des codes mal erklären?
  erstens verwendest du $propertyHashRef{$key} und $propertyHashRef->{$key}. das sind zwei verschiedene dinge, das weisst du schon, oder?
  use strict <-- lesen!
  
  zweitens:
  if ! exists führt zu einem print "key $key exists"
  
  wundert mich eigentlich nicht, dass der code nicht so funktioniert wie erwartet.
  Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
  lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
  - +4 replies
  - crojay
    
    2011-06-10 11:32
    User since
    2011-03-08
    81 articles
    BenutzerIn
    
    2011-06-10T08:48:50 pq
    2011-06-10T08:05:20 crojay
    
    Code: (dl )
    
    1 2 3 4 5 6 7 8
    
    if (!exists $propertyHashRef{$key}){ print "key $key exists in file $jobFile with value ". $propertyHashRef->{$key} ."\n"; return $propertyHashRef->{$key}; } else{ print "key: $key does not exist in file $jobFile\n"; }
    
    kannst du den teil des codes mal erklären?
    erstens verwendest du $propertyHashRef{$key} und $propertyHashRef->{$key}. das sind zwei verschiedene dinge, das weisst du schon, oder?
    use strict <-- lesen!
    
    zweitens:
    if ! exists führt zu einem print "key $key exists"
    
    wundert mich eigentlich nicht, dass der code nicht so funktioniert wie erwartet.
    
    Danke für die Antwort.
    
    Also ich will an dieser Stelle schauen ob der key existiert in meinem hash, dafür verwende ich
    
    Code: (dl )
    
    $propertyHashRef{$key}
    
    falls dies wahr ist, dann will ich den Wert des keys haben und den hole ich so:
    
    Code: (dl )
    
    $propertyHashRef->{$key}
    
    Und du hast natürlich Recht
    
    Code: (dl )
    
    if (!exists $propertyHashRef{$key})
    
    das ist Käse soll natürlich ohne ! sein, will ja in den Zweig gehen wenn der key gefunden wurde. Hab ich wohl in meiner Fehlersuche mal zu viel rumprobiert.
    
    Nach dieser Korrektur wird der Key Formid nicht gefunden und sobald ich auf ANSI umstelle geht es.
    
    WErde jetzt mal die BOM Hinweise probieren und mich wieder melden.
    - +3 replies
    - pq
      
      2011-06-10 11:36
      
      User since
      2003-08-04
      12209 articles
      Admin1
      
      2011-06-10T09:32:26 crojay
      Also ich will an dieser Stelle schauen ob der key existiert in meinem hash, dafür verwende ich
      
      Code: (dl )
      
      $propertyHashRef{$key}
      
      falls dies wahr ist, dann will ich den Wert des keys haben und den hole ich so:
      
      Code: (dl )
      
      $propertyHashRef->{$key}
      
      du hast die seite über strict nicht gelesen, nicht wahr?
      und auch nicht versucht zu verstehen, was ich gesagt habe.
      
      $propertyHashRef{$key} ist was anderes als $propertyHashRef->{$key}
      
      in welchem schlechten buch hast du gelesen, dass man einen wert aus einem hash anders holt als man mit exists abfragt?
      Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
      lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
      - +2 replies
      - crojay
        
        2011-06-10 12:01
        
        User since
        2011-03-08
        81 articles
        BenutzerIn
        
        Ok, zunächst habe ich nicht gemerkt das ich bei dieser file kein use strict an habe. Das Skript lade ich in meine anderen Skripte über require ein und diese haben ein use strict aber wie ich sehe ist das kein gutes Vorgehen und ich sollte ein "Import Skripte" damit versehen.
        
        Ich weiss nicht mehr wo ich das gelesen habe $propertyHashRef{$key} aber wenn ich das wie du sagtest umstelle zu $propertyHashRef->{$key} dann funktioniert die Schleife wie gewollt.
        
        Ich habe den Artikel gelesen! Kannst du mich noch aufklären wo bei den beiden Sachen der Unterschied ist?
        
        Danke
        
        pq
        
        2011-06-10 13:50
        
        User since
        2003-08-04
        12209 articles
        Admin1
        
        wie lange machst du schon perl?
        
        Code (perl): (dl )
        
        1 2 3 4 5 6 7
        
        my %hash = ( a => 23 ); # zugriff auf die 23: print "$hash{a}\n"; my $hashref = { a => 23 }; # zugriff auf die 23: print "$hashref->{a}\n";
        
        das erste ist ein hash, das andere eine referenz auf einen hash.
        
        das sind 2 unterschiedliche variablen.
        
        du fragst bei dir die eine variable mit exists ab und holst dann den wert aus der anderen. das kann ja wohl nicht funktionieren.
        Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
        lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
- GwenDragon
  
  2011-06-10 11:07
  
  User since
  2005-01-17
  14835 articles
  Admin1
  
  Wenn deine Datei ein BOM hat, kann das mit File::BOM erkannt, gelesen werden.
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten

View all threads created 2011-06-10 10:05.