Textdatei und deren codierung (gelöst) (Allgemeines zu Perl)

[thread]17755[/thread]

Textdatei und deren codierung [gelöst]

Tags: perl5 Ähnliche Threads

Leser: 18

Articles: hide open all | hide show old branches

+6 replies
chmod777

2012-09-16 14:53

User since
2009-09-14
82 Artikel
BenutzerIn

ich habe eine Textdatei mit Datenfeldern, die angeblich als DOS/ASCII kodiert ist.
jetzt importieren ich die Felder in eine Datenbank, erhalte jedoch bei Sonderzeichen z.B. anstelle
eines "ü" die Zeichen "Ã¼"

Die Details: Das Feld der DB ist mit Kollation "utf8_general_ci" definiert, die Tabelle selbst mit "latin1_swedish_ci", wobei ich davon ausgehen, dass die Feld-Config die Tabellen-Config überschreibt.

Wie kann ich - möglichst automatisiert - feststellen, welche kodierung die Quelldatei hat und diese ggf. konvertieren/encoden (sofern dies möglich ist)?
- +4 replies
- Rone
  
  2012-09-16 15:04
  
  User since
  2008-06-20
  11 Artikel
  BenutzerIn
  
  Unter Linux kann man mit file überprüfen welches Encoding wahrscheinlich zutrifft und mit iconv gezielt konvertieren.
  
  BTW: DOS klingt eher nach Codepage 850 als nach ASCII.
  Last edited: 2012-09-16 15:07:26 +0200 (CEST)
  - +3 replies
  - chmod777
    
    2012-09-16 15:22
    User since
    2009-09-14
    82 Artikel
    BenutzerIn
    
    file meint, es wäre ein
    
    Code: (dl )
    
    Non-ISO extended-ASCII text, with very long lines, with CRLF line terminators
    
    was mich auch nicht weiterbringt, zumal iconv dieses Format nicht kennt, und bei ASCII die Fehlermeldung "ungültige Eingabe-Sequenz an der Stelle 1" ausgibt (übrigens bei jedem code).
    - +2 replies
    - Rone
      
      2012-09-16 16:40
      
      User since
      2008-06-20
      11 Artikel
      BenutzerIn
      
      Zur Not einfach mal iconv -f=IBM850 -t=UTF-8 <text.txt probieren. Möglicherweise ist es auch WINDOWS-1251. Im Zweifelsfall halt mal mit hexdump schauen, mit welchem Hexwert ein ü (o.ä.) codiert ist.
      - chmod777
        
        2012-09-16 16:53
        
        User since
        2009-09-14
        82 Artikel
        BenutzerIn
        
        ich hab mir ein script geschrieben, das die Sonderzeichen umwandelt.
        Ist zwar mühsam, die einzelnen hex-codes zusammenzusuchen,
        erschein mir aber zielführender ....
        
        danke dennoch!
- lichtkind
  
  2012-09-16 16:24
  
  User since
  2004-03-22
  5681 Artikel
  ModeratorIn + EditorIn
  
  schonmal Encode::Guess probiert?
  Tutorien in der Wiki, mein zeug:
  kephra, baumhaus, garten, gezwitscher
  
  Es beginnt immer mit einer Entscheidung.

View all threads created 2012-09-16 14:53.