latin-1 Dateien erkennen und in UTF-8 umwandeln (gelöst) (HTML, CSS und Javascript)

[thread]17555[/thread]

latin-1 Dateien erkennen und in UTF-8 umwandeln [gelöst]

Tags: perl5 jQuery js autocomplete Ähnliche Threads

Leser: 20

Articles: hide open all | hide show old branches

Teilbaum:
latin-1 Dateien erkennen und in UTF-8 umwandeln (10 Artikel) 2012-07-14 16:20

+11 replies
bianca

2012-07-13 16:12

User since
2009-09-13
6976 Artikel
BenutzerIn

2012-07-13T13:44:53 GwenDragon
Aha! Ich dachte du weißt, was ISO-xxxx-y ist!?
Latin-1 und Latin-9 unterscheiden sich.

Ja, der Unterschied war mir schon bewußt aber ich kam damit lange nicht in Berührung. Wird Zeit.

2012-07-13T13:44:53 GwenDragon
Anscheinend sind bei deiner Webanwendung doch keinerlei Vorgaben.

Nimm UTF-8, dann ist Ruhe mit dem elendigen Hin-und-Her-Konvertieren..

Richtig, keine Vorgaben.
Mein Problem ist, dass ich etliche Dateien noch in latin-1 gespeichert habe.
Dateizugriff habe ich allerdings zentralisiert.
Gibt es eine elegante Möglichkeit, beim Datei-IO zu erkennen, ob sie in latin-1 vorliegt und sie dann in UTF-8 zu konvertieren - vorausgesetzt ich stelle jetzt alles auf UTF-8 um?
Neu schreiben würde ich sie dann gleich in UTF-8 bei der Gelegenheit.

modedit Editiert von pq: teilbaum
Last edited: 2012-07-13 19:50:35 +0200 (CEST)
10 print "Hallo"
20 goto 10
- topeg
  
  2012-07-13 20:17
  
  User since
  2006-07-10
  2611 Artikel
  BenutzerIn
  
  Wenn es nur um eine begrenzte Anzahl von Kodierungen geht kannst du Encode::Guess nutzen.
- +9 replies
- bianca
  
  2012-07-14 14:23
  
  User since
  2009-09-13
  6976 Artikel
  BenutzerIn
  
  Ich frag hier im Teilbaum nochmal.
  In der Datei als erstes Byte ein \x08 zu schreiben als Erkennung, ob die Datei bereits in UTF-8 umkodiert wurde.
  Was haltet ihr von dieser Idee?
  Soweit ich in der Zeichentabelle sehe beginnen dort die Zeichen erst ab \x20 mit Space.
  Oder habe ich etwas übersehen?
  Danke
  10 print "Hallo"
  20 goto 10
  - +8 replies
  - GwenDragon
    
    2012-07-14 14:27
    
    User since
    2005-01-17
    14532 Artikel
    Admin1
    
    Warum nicht gleich sowas?
    #==utf8==\x0D\x0A
    #==iso-8859-1==\x0D\x0A
    
    Sozusagen als Magic Marker.
    die Drachin, Gwendolyn
    
    Unterschiedliche Perl-Versionen auf Windows (fast wie perlbrew) • Meine Perl-Artikel
    - +7 replies
    - bianca
      
      2012-07-14 14:29
      
      User since
      2009-09-13
      6976 Artikel
      BenutzerIn
      
      Aus welchem Grund empfiehlst du das?
      10 print "Hallo"
      20 goto 10
      - +4 replies
      - GwenDragon
        
        2012-07-14 14:46
        
        User since
        2005-01-17
        14532 Artikel
        Admin1
        
        Weil ich denke, diese Zeichenfolge kommt allerseltenst am Anfang von Datendateien vor.
        Und weil es Menschenlesbar ist, falls mal so eine Datei im Editor oder mit einem Hexdumper geöffnet wird ;)
        Du musst halt prüfen beim Einlesen, ob so ein Marker vorhanden ist.
        Last edited: 2012-07-14 14:48:25 +0200 (CEST)
        die Drachin, Gwendolyn
        
        Unterschiedliche Perl-Versionen auf Windows (fast wie perlbrew) • Meine Perl-Artikel
        
        +3 replies
        
        bianca
        
        2012-07-14 14:54
        
        User since
        2009-09-13
        6976 Artikel
        BenutzerIn
        
        2012-07-14T12:46:36 GwenDragon
        Weil ich denke, diese Zeichenfolge kommt allerseltenst am Anfang von Datendateien vor.
        
        Da die Dateien alle von meinem eigenen Script geschrieben wurden kann ich das auch für \x08 sicherstellen und es wäre dann nur ein Byte.
        Ich bin halt nur nicht 100%ig sicher, ob meine Annahme richtig ist, dass alle über eine Tastatur erreichbare Zeichen bei UTF-8 tatsächlich niemals unterhalb von \x20 liegen können. Trifft das zu?
        10 print "Hallo"
        20 goto 10
        
        +2 replies
        
        GwenDragon
        
        2012-07-14 15:04
        
        User since
        2005-01-17
        14532 Artikel
        Admin1
        
        Das kommt auf den Tastaturtreiber an, ob er Zeichen < \x20 erzeugen kann.
        Wenn das Dateien sind, die nur durch dein Skript erzeugt werden, mag \x08 ja passen.
        die Drachin, Gwendolyn
        
        Unterschiedliche Perl-Versionen auf Windows (fast wie perlbrew) • Meine Perl-Artikel
        
        bianca
        
        2012-07-14 16:19
        
        User since
        2009-09-13
        6976 Artikel
        BenutzerIn
        
        2012-07-14T13:04:38 GwenDragon
        Wenn das Dateien sind, die nur durch dein Skript erzeugt werden
        
        So ist es.
        Danke dir.
        10 print "Hallo"
        20 goto 10
      - +2 replies
      - Gast wer
        
        2012-07-14 15:36
        
        Es kann ja auch sein, dass jemand die Dateien von Hand öffnen will. Einige Editoren verweigern sich bei Zeichen, die nicht darstellbar sind. Auch Tools zur Erkennung des Dateiinhalts könnten darüber stolpern.
        Last edited: 2012-07-14 15:42:48 +0200 (CEST)
        
        bianca
        
        2012-07-14 16:20
        
        User since
        2009-09-13
        6976 Artikel
        BenutzerIn
        
        Guest wer
        Es kann ja auch sein, dass jemand die Dateien von Hand öffnen will.
        
        Nein, das ist ausgeschlossen.
        
        Guest wer
        Einige Editoren verweigern sich bei Zeichen, die nicht darstellbar sind. Auch Tools zur Erkennung des Dateiinhalts könnten darüber stolpern.
        
        Alles nicht relevant in diesem Fall.
        Mein Script nutzt diese Dateien quasi wie eigene Datenbanken. Alles nur Kleinzeug.
        Danke euch!
        Ich mache es dann so.
        10 print "Hallo"
        20 goto 10

View all threads created 2012-07-12 05:41.