Problem mit Sonderzeichen für Dateinamen (Allgemeines zu Perl)

[thread]19786[/thread]

Problem mit Sonderzeichen für Dateinamen

Tags: perl5 Ähnliche Threads

Leser: 15

Articles: hide open all | hide show old branches

+14 replies
jan99

2015-09-03 10:30
User since
2008-09-18
439 Artikel
BenutzerIn
Moin!

jetzt sollen Dateien angelegt werden und die deutschen Umlaute werden nicht richtig dargestellt.

Aus einer UTF8 ohne Bom stammt ein Wort mit "Ü".

Diese Datei wird mit wie folgt eingelesen:
Code (perl): (dl )

open( my $fh_group, '<:encoding(utf8)', $config{group_file} ) or die( "$config{group_file}: $!" );
Dann soll die Datei angelegt werden:
Code (perl): (dl )

open(my $fh_html, ">:encoding(UTF-8)", DeutscheUmlaute($cuix_report)) or die ("Can't open csv-file: ".$cuix_report." ($!)\n");
und für die Umlautkonvertierung habe ich eine andere Funktion umgebaut:
Code (perl): (dl )

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22

sub DeutscheUmlaute { my $str=shift; $str=Encode::decode('utf8', $str); #JACQUES geändert # already quoted transform to ignore $str=~s/&(#?\w+);/-!=$1=!-/gs; # known quotes $str=~s/ä/ae/g; $str=~s/ö/oe/g; $str=~s/ü/ue/g; $str=~s/Ä/ae/g; $str=~s/Ö/Oe/g; $str=~s/Ü/Ue/g; # quote unknown non ascii $str=~s/([^\x20-\x7F])/'&#'.ord($1).';'/gse; # transorm back already quoted $str=~s/-!=(#?\w+)=!-/&$1;/gs; return $str; }
Aber im Dateinamen ist statt des "Ü" jetzt ein "�"

Kann mir einer sagen was ich da durcheinander gebracht habe oder wie ich es besser hätte gemacht ?

Gruß Jan
perl-Greenhorn - Win7 64bit / strawberry (ehem. activeperl) - www.OpenStreetMap.de
- +2 replies
- betterworld
  
  2015-09-03 11:14
  
  User since
  2003-08-21
  2614 Artikel
  ModeratorIn
  
  Welches Betriebssystem? Auf Linux gibt es meines Wissens keinen Standard, welches Encoding für Dateinamen benutzt wird. Ob der Dateiname richtig angezeigt wird, liegt immer daran, welche Software zum Erstellen und zum Anzeigen benutzt wurde, und ob beide Male dieselben Locales benutzt wurden.
  
  Edit: Was ich da schrieb, ist vemutlich für Deinen Algorithmus nicht wichtig wegen dem Escaping.
  
  Vielleicht wird das "Ä" im Quelltext nicht richtig eingelesen. Wie ist es kodiert und hast du "use utf8" irgendwo stehen? Versuch mal ein "Ä" in den Quelltext zu schreiben und dann zu dumpen, um das rauszufinden. Oder auch im Quelltext mit Escapes arbeiten.
  Last edited: 2015-09-03 11:19:21 +0200 (CEST)
  Lieblingsmodule: IPC::System::Simple, Path::Class
  - jan99
    
    2015-09-03 11:18
    
    User since
    2008-09-18
    439 Artikel
    BenutzerIn
    
    Windoof !
    perl-Greenhorn - Win7 64bit / strawberry (ehem. activeperl) - www.OpenStreetMap.de
- Muffi
  
  2015-09-03 11:37
  
  User since
  2012-07-18
  1465 Artikel
  BenutzerIn
  
  Ich bin kein Encodingprofi, aber warum gibt's denn diese Zeile?
  
  $str=Encode::decode('utf8', $str); #JACQUES geändert
  
  Wenn man eine Datei richtig einliest sollt doch deren Inhalt im Perl-internen Format im string stehn und so funktionieren wie er ist?
  1 + 1 = 10
- Raubtier
  
  2015-09-03 12:17
  User since
  2012-05-04
  1083 Artikel
  BenutzerIn
  Abgesehen davon, dass das
  
  Code (perl): (dl )
  
  $str=Encode::decode('utf8', $str);
  
  nicht richig aussieht (du öffnest die Datei ja schon unter der Angabe des Encodings), stellt sich die Frage, in welcher Kodierung das Script selbst gespeichert ist. Ist es in UTF8 oder CP1252? Und benutzt du "use utf8"?
- +5 replies
- rabo
  
  2015-09-07 07:53
  
  User since
  2015-08-17
  15 Artikel
  BenutzerIn
  
  Naja woher kommen diese komischen Files mit den Umlauten ueberhaupt?
  Wenn Du die Filenamen vor der Bearbeitung einfach in ein tmp-Dir schmeisst und dabei die Filenamen mit ($str=Encode::decode('utf8', $str);) anpasst?
  Waere das ne Moeglichkeit?
  
  Ansonsten ist win und strawberry immer ein Problem.
  - +4 replies
  - Linuxer
    
    2015-09-07 13:02
    
    User since
    2006-01-27
    3891 Artikel
    HausmeisterIn
    
    2015-09-07T05:53:14 rabo
    Ansonsten ist win und strawberry immer ein Problem.
    
    Warum? Liefer doch mal ein paar Fakten zu dieser pauschalen Behauptung. Danke.
    meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
    Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
    - +3 replies
    - rabo
      
      2015-09-07 19:44
      
      User since
      2015-08-17
      15 Artikel
      BenutzerIn
      
      Naja,
      
      bei uns gibt es immer Probleme damit.
      Wir bieten diese Kombination schon nichtmehr im Support und auch im Customizing fuer Applikationen an.
      - bianca
        
        2015-09-08 07:35
        
        User since
        2009-09-13
        7016 Artikel
        BenutzerIn
        
        Nenn doch mal bitte ein Beispiel.
        10 print "Hallo"
        20 goto 10
      - GwenDragon
        
        2015-09-08 08:01
        
        User since
        2005-01-17
        14890 Artikel
        Admin1
        
        Zu pauschal. Bitte ein Praxisbeispiel.
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
- +3 replies
- Gast janus
  
  2015-09-08 09:16
  
  Quote
  Aber im Dateinamen ist statt des "Ü" jetzt ein "�"
  
  Hilf Himmel. Schmeiß um Gottes Willen Deine Basteleien weg und befasse Dich mit Encode.pm Und kläre für Dich den Begriff Codepoint.
  Last edited: 2015-09-08 09:24:50 +0200 (CEST)
  - +2 replies
  - betterworld
    
    2015-09-08 20:39
    
    User since
    2003-08-21
    2614 Artikel
    ModeratorIn
    
    Guest janus
    Quote
    Aber im Dateinamen ist statt des "Ü" jetzt ein "�"
    
    Hilf Himmel. Schmeiß um Gottes Willen Deine Basteleien weg und befasse Dich mit Encode.pm Und kläre für Dich den Begriff Codepoint.
    
    Also den Teil, den Du zitiert hast, kann Encode.pm meines wissens nicht. Hier werden Zeichen HTML-artig escaped, damit man sich eben nicht mehr drum kümmern muss, welches Encoding sie haben. Das hatte ich erst auch nicht ganz verstanden (siehe meinen Beitrag oben).
    Lieblingsmodule: IPC::System::Simple, Path::Class
    - Gast janus
      
      2015-09-08 21:41
      
      Es gibt schon mehrere Encodings, aber das wollen wir doch hier gar nicht nmachen oder? Wenn ja, gibt es Percent-Encoding, Base64, HTML-Entities und Numerische Codereferenzen für HTML. Gelegentlich wäre noch quotemeta() interessant und möglicherweise gibts weitere proprietäre Encodings.
      
      Encode.pm nun hat mit o.g. Encodings nichts zu tun sondern vermittelt nur zwischen Codepoint, Binary und Zeichenkodierung (wie UTF-8, ISO-8859-1 usw). Encode ist seit 5.8 im Core und deswegen muss hier niemand was Eigenes bauen.
      
      Wenn ja, der schaue sich die JavaScript Library stringview.js an, hier steht der Algorithmus drin, was bez. UTF-8 zwischen Codepoint und Binary vermittelt (bis 5 Oktetten). Das sich mal anzuschauen, empfehle ich PHP-Programmierern, die solls ja hier auch geben.
      
      Was use bytes; no bytes; bewirkt sollte auch jeder wissen, wenn nicht, mal angucken und ein bischen damit spielen. Und ja, die Zeichenkodierung am IO-Layer zu deklarieren ist nicht immer zweckmäßig. Zb. dann nicht, wenn im Großteil des Scripts byteorientiert operiert wird. Grundsätzlich gehen über IO KEINE Kodierten Zeichenketten raus oder rein, sondern stets nur die binaries (bytes).
      
      Schöne Grüße
      Last edited: 2015-09-08 21:56:31 +0200 (CEST)
- GwenDragon
  
  2015-09-08 09:27
  
  User since
  2005-01-17
  14890 Artikel
  Admin1
  
  Quote
  Aber im Dateinamen ist statt des "Ü" jetzt ein "�"
  Das ist das Unicodezeichen 'REPLACEMENT CHARACTER' (U+FFFD).
  Es wird eingesetzt, wenn die Kodierung nach Unicode fehlschlug.
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten

View all threads created 2015-09-03 10:30.