entfernen von sonderzeichen u. andere symbole (solved) (Allgemeines zu Perl)

[thread]19048[/thread]

entfernen von sonderzeichen u. andere symbole [solved]

Tags: perl5 Similar Threads

Readers: 17

Articles: hide open all | hide show old branches

+16 replies
miwieg

2014-04-24 16:46
User since
2006-07-16
59 articles
BenutzerIn
Ich möchte aus einer Datei so ziemlich alle Zeichen entfernen, die keine Buchstaben des dt. Alphabets sind bzw. Zahlen und Interpunktion.
Wie macht man das am Besten?

Ich habe es mal auf die naive Art probiert, also Zeile in Zeichen zerteilt und jedes Zeichen gegen regulären Ausdruck mit allen erlaubten Zeichen gematcht. Also so etwas wie:
Code: (dl )

1 2 3 4 5 6

my @chrs = split(//,$line); foreach my $chr(@chrs){ if($chr =~ /^[a-zäöüß0-9...]$/){ } }
Das hat jedoch nicht funktioniert. Die Datei hat ascii Encoding.

Vielen Dank.
- +14 replies
- bianca
  
  2014-04-24 17:28
  
  User since
  2009-09-13
  7016 articles
  BenutzerIn
  
  Du meinst ANSI Zeichensatz mit ASCII?
  Dann ist wichtig, auch das Perlscript als ANSI zu speichern.
  Was genau heißt denn, es hat nicht funktioniert? Hat der Regex wenigstens die Zeichen gefiltert, die keine Umlaute sind?
  10 print "Hallo"
  20 goto 10
  - +2 replies
  - Raubtier
    
    2014-04-24 18:20
    
    User since
    2012-05-04
    1081 articles
    BenutzerIn
    
    2014-04-24T15:28:10 bianca
    Du meinst ANSI Zeichensatz mit ASCII?
    Dann ist wichtig, auch das Perlscript als ANSI zu speichern.
    
    Was ist der "ANSI Zeichensatz mit ASCII", wie kann man etwas als "ANSI" speichern? Meinst du vielleicht Windows-Codepages? Wenn ja, welche?
    - bianca
      
      2014-04-25 07:31
      
      User since
      2009-09-13
      7016 articles
      BenutzerIn
      
      2014-04-24T16:20:22 Raubtier
      Was ist der "ANSI Zeichensatz mit ASCII", wie kann man etwas als "ANSI" speichern? Meinst du vielleicht Windows-Codepages? Wenn ja, welche?
      
      Ich meinte nicht "ANSI mit ASCII" sondern das war das Ende des Satzes. Anders formuliert wäre die Frage gewesen "meinst du ANSI, wenn du ASCII sagst?".
      Und am Ende meinte ich das, was Notepad++ als Kodierung "ANSI" anbietet.
      10 print "Hallo"
      20 goto 10
  - +11 replies
  - miwieg
    
    2014-04-24 19:52
    
    User since
    2006-07-16
    59 articles
    BenutzerIn
    
    Wenn ich unter Linux das Tool "file" auf die Datei anwende, bekomme ich als Klassifikation "ascii".
    Nicht funktionieren heißt, dass die Zeichen, die eigentlich raus sollen, immer noch drin sind, obwohl sie nicht in der Liste der explizit erlaubten Zeichen (in meinem regulären Ausdruck) enthalten sind. Das verstehe ich einfach nicht.
    - +10 replies
    - bianca
      
      2014-04-25 07:34
      
      User since
      2009-09-13
      7016 articles
      BenutzerIn
      
      Ja, und meine Frage war, ob das nur Zeichen betrifft, die sich in den gängigsten Kodierungen ANSI/Windows und UTF-8 unterscheiden oder auch gleiche? Wenn es auch gleiche betrifft würde ich den Fehler im Code oder Regex suchen. Wenn es nur unterschiedliche sind (z.B. die deutschen Umlaute) dann würde ich vermuten, dass das Script selbst nicht in der richtigen Codierung gespeichert wurde und daher die unerlaubten Zeichen im Quelltext nicht richtig kodiert sind und daher nicht matchen.
      Das ist hier erklärt: http://perlgeek.de/de/artikel/charsets-unicode#per...
      
      Wenn du auf Linux arbeitest ist der Standard doch vermutlich UTF-8, oder?
      Und die Datei ist ASCII, was ist damit gemeint? ISO-8859-? oder ANSI/Windows oder eine Mac Kodierung oder was genau? Wo kommt die Datei denn her?
      
      Editiert von bianca: Link ergänzt
      Last edited: 2014-04-25 07:36:13 +0200 (CEST)
      10 print "Hallo"
      20 goto 10
      - +9 replies
      - miwieg
        
        2014-04-25 08:06
        
        User since
        2006-07-16
        59 articles
        BenutzerIn
        
        Ihr hattet natürich alle recht mit der Kodierung.
        Es handelt sich um "UTF-8 Unicode text".
        Im Wesentlichen scheint es ein einziges problematisches Zeichen zu sein, das drin bleibt (-- kann aber durchaus sein, dass es noch weitere gibt, die ich übersehen habe). Das problematische Zeichen/Symbol habe ich unter
        http://home.kpn.nl/vanadovv/uni/Symbol5.gif
        gefunden. Es ist das Symbol in der ersten Zeile -- neben dem Euro-Symbol.
        
        +8 replies
        
        bianca
        
        2014-04-25 09:25
        
        User since
        2009-09-13
        7016 articles
        BenutzerIn
        
        Dann würde ich sagen, machst du mit der Datei erstmal ein decoding, damit es in Perl UTF8 vorliegt (das ist nämlich nicht das selbe wie UTF-8) und dann sollte auch die Regex ziehen. Zumindest wäre das mein Verständnis zum Thema Zeichenkodierung.
        10 print "Hallo"
        20 goto 10
        
        +7 replies
        
        miwieg
        
        2014-04-25 10:13
        
        User since
        2006-07-16
        59 articles
        BenutzerIn
        
        Diesen Unterschied kannte ich bislang noch nicht. Danke für den Hinweis. Man lernt niemals aus.
        Konkret für das Einlesen der Datei heißt dies dann was?
        
        +5 replies
        
        bianca
        
        2014-04-25 10:29
        
        User since
        2009-09-13
        7016 articles
        BenutzerIn
        
        Ich würde sie nach dem Einlesen in das Modul Encode schicken, ungefähr so:
        
        Code (perl): (dl )
        
        1 2
        
        use Encode qw(decode encode_utf8); my $data = decode "UTF-8", $eingelesen;
        
        dann Regex'en
        und später bei der Ausgabe das zurück konvertieren nicht vergessen:
        
        Code (perl): (dl )
        
        print $fh encode_utf8 $data;
        
        10 print "Hallo"
        20 goto 10
        
        +4 replies
        
        miwieg
        
        2014-04-25 14:20
        
        User since
        2006-07-16
        59 articles
        BenutzerIn
        
        Nein, das scheint auch nicht zu funktionieren.
        Ich habe mal ein kleinen Sample der Datei in den Anhang gestellt.
        Die problematischen Zeilen sind die dritte und die vorletzte Zeile.
        Ich habe folgenden Code benutzt (siehe unten). Die Symbole in den genannten Zeilen blieben leider drin.
        
        Code: (dl )
        
        1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
        
        #! /usr/bin/perl -w use strict; use Encode qw(decode encode_utf8); my $infile = "sample.txt"; open(INF,$infile); while(my $line = <INF>){ my $data = decode "UTF-8", $line; chomp($data); $data =~ tr/a-zA-ZÄÖÜäöüß0-9.,//cd; print encode_utf8 "L: $data\n"; } close(INF);
        
        Attachments
        
        text/plain
        25 lines
        sample.txt
        
        +3 replies
        
        Raubtier
        
        2014-04-25 14:28
        
        User since
        2012-05-04
        1081 articles
        BenutzerIn
        
        Dir fehlt ein
        
        Code (perl): (dl )
        
        use utf8;
        
        weil dein Script in utf8 gespeichert wird. Ansonsten werden die Sonderzeichen in deinem Script falsch erkannt.
        
        Ich kann den bereits von Bianca empfohlenen Artikel http://perlgeek.de/de/artikel/charsets-unicode noch noch einmal empfehlen.
        Last edited: 2014-04-25 14:31:17 +0200 (CEST)
        
        +2 replies
        
        miwieg
        
        2014-04-25 16:26
        
        User since
        2006-07-16
        59 articles
        BenutzerIn
        
        Tatsächlich. Jetzt funktioniert es :-)
        Vielen Dank an alle für die Hilfe!
        Ich sollte mir wirklich mal den empfohlenen Artikel durchlesen.
        
        bianca
        
        2014-04-25 17:19
        
        User since
        2009-09-13
        7016 articles
        BenutzerIn
        
        2014-04-25T14:26:16 miwieg
        Ich sollte mir wirklich mal den empfohlenen Artikel durchlesen.
        
        Der ist wirklich sehr gut und empfehlenswert. Seit ich den das erste mal gelesen habe geht mir das nicht mehr aus dem Kopf, wenn es um Zeichenkodierung geht. Für mich war er sehr einprägsam und super geschrieben.
        10 print "Hallo"
        20 goto 10
        
        pq
        
        2014-04-25 11:13
        
        User since
        2003-08-04
        12209 articles
        Admin1
        
        Code (perl): (dl )
        
        open my $fh, '<:encoding(UTF-8)', $file or die $!;
        
        Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
        lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
- clms
  
  2014-04-24 17:28
  
  User since
  2010-08-29
  373 articles
  BenutzerIn
  
  Ich würde das mit $line =~ tr/a-zA-ZÄÖÜäöüß0-9.,//cd; machen.
  Das 'c' invertiert die Suchliste, d.h. alle Zeichen, die nicht bei tr angegeben wurden, werden entfernt.
  
  BTW: Wenn der Input eine ASCII-Datei ist, wieso musst Du dann Umlaute berücksichtigen?

View all threads created 2014-04-24 16:46.