Gespeicherter Regex und Umlaute (Allgemeines zu Perl)

[thread]14414[/thread]

Gespeicherter Regex und Umlaute

Leser: 19

Articles: hide open all | hide show old branches

+22 replies
bianca

2009-12-25 14:41
User since
2009-09-13
6977 Artikel
BenutzerIn
Ganz kurze Frage am Rande: Warum läßt dieser ~ s Regex die großgeschr. Umlaute nicht drin (kleine bleiben korrekt drin)?
Code (perl): (dl )

1 2 3 4

my $regex_notiz = '[^a-z!/()=?_üäöß:.,\-+ \d$%]'; my $text = '!"§$%&/()=?_und überhaupt:;,GROßÖÄÜß.+und ziffern 0123456789-und kleinöäüß%$'; $text =~ s/$regex_notiz//ig; print "neu: >$text<\n";
Danke
10 print "Hallo"
20 goto 10
- +15 replies
- leo11
  
  2009-12-25 15:19
  
  User since
  2008-08-14
  250 Artikel
  BenutzerIn
  
  Schätze das Multibyte Zeichen drin sind. Gib Perl mal den Zeichensatz an.
  
  Edit:
  Bei dem Code versagt bei meinem emacs das Syntaxhighlighting. )-:
  Last edited: 2009-12-25 15:23:34 +0100 (CET)
  - +14 replies
  - bianca
    
    2009-12-25 15:23
    
    User since
    2009-09-13
    6977 Artikel
    BenutzerIn
    
    2009-12-25T14:19:16 leo11
    Gib Perl mal den Zeichensatz an.
    
    Wie?
    10 print "Hallo"
    20 goto 10
    - +13 replies
    - leo11
      
      2009-12-25 15:33
      
      User since
      2008-08-14
      250 Artikel
      BenutzerIn
      
      Liefert dir folgendes das korrekte Ergebnis?
      
      Code (perl): (dl )
      
      1 2 3 4 5 6 7 8
      
      use strict; use warnings; use Encode; my $regex_notiz = decode("UTF-8",'[^a-z!/()=?_üäöß:.,\-+ \d$%]'); my $text = decode("UTF-8",'!"§$%&/()=?_und überhaupt:;,GROßÖÄÜß.+und ziffern 0123456789-und kleinöäüß%$'); $text =~ s/$regex_notiz//ig; print "neu: >$text<\n";
      - +12 replies
      - bianca
        
        2009-12-25 15:49
        
        User since
        2009-09-13
        6977 Artikel
        BenutzerIn
        
        Da kommt gerade irgendwie nicht raus, was ich möchte und eine Fehlermeldung dazu:
        
        Code (perl): (dl )
        
        1 2 3 4
        
        my $regex_notiz = decode("UTF-8",'[^a-z!/()=?_üäöß:.,\-+ \d$%]'); my $text = decode("UTF-8",'!"§$%&/()=?_und überhaupt:;,GROßÖÄÜß.+und ziffern 0123456789-und kleinöäüß%$'); $text =~ s/$regex_notiz//ig; print "neu: >$text<\n";
        
        Code: (dl )
        
        1 2 3 4 5 6 7 8 9 10
        
        Wide character in print at regex.pl line 15 (#1) (W utf8) Perl met a wide character (>255) when it wasn't expecting one. This warning is by default on for I/O (like print). The easiest way to quiet this warning is simply to add the :utf8 layer to the output, e.g. binmode STDOUT, ':utf8'. Another way to turn off the warning is to add no warnings 'utf8'; but that is often closer to cheating. In general, you are supposed to explicitly mark the filehandle with an encoding, see open and perlfunc/binmode. neu: >!´┐¢$%/()=?_und ´┐¢berhaupt:,GRO´┐¢´┐¢´┐¢´┐¢´┐¢.+und ziffern 0123456789-und klein´┐¢´┐¢´┐¢´┐¢%$<
        
        10 print "Hallo"
        20 goto 10
        
        +11 replies
        
        leo11
        
        2009-12-25 15:55
        
        User since
        2008-08-14
        250 Artikel
        BenutzerIn
        
        Unter Linux ging das.. . Probier mal die Ausgabe zu encoden. Bspw so:
        
        Code (perl): (dl )
        
        1 2
        
        my $t = encode("Latin-1",$text); print "neu: >$t<\n";
        
        +10 replies
        
        bianca
        
        2009-12-25 15:59
        
        User since
        2009-09-13
        6977 Artikel
        BenutzerIn
        
        2009-12-25T14:55:50 leo11
        Unter Linux ging das.. .
        
        Hab hier ActivePerl auf Windoof XP.
        
        Jetzt werden alle Umlaute in Fragezeichen umgewandelt, keine Fehler und keine Warnungen aber trotzdem nicht wie gewünscht:
        
        Code: (dl )
        
        neu: >!?$%/()=?_und ?berhaupt:,?????.+und ziffern 0123456789-und klein????%$<
        
        Ich hab es auch inzwischen so umgangen, indem ich die großgeschriebenen Umlaute einfach in den Regex aufgenommen habe. Aber wundert tuts mich trotzdem, dass der /i nicht reicht.
        
        Edit: Verwende nämlich den identischen Regex mit Javascript und auch mit Schalter /ig und dort klappt das super auch ohne explizit angegebene großgeschriebenen Umlaute.
        Last edited: 2009-12-25 16:00:31 +0100 (CET)
        10 print "Hallo"
        20 goto 10
        
        +2 replies
        
        leo11
        
        2009-12-25 16:02
        
        User since
        2008-08-14
        250 Artikel
        BenutzerIn
        
        2009-12-25T14:59:02 bianca
        Jetzt werden alle Umlaute in Fragezeichen umgewandelt, keine Fehler und keine Warnungen aber trotzdem nicht wie gewünscht:
        
        Code: (dl )
        
        neu: >!?$%/()=?_und ?berhaupt:,?????.+und ziffern 0123456789-und klein????%$<
        
        Aber sie bleiben drin, so wie du wes wolltest. Schätze dein Editor ist nicht auf Latin-1 eingestellt. Entweder du änderst den Zeichensatz bei encode auf den deiner Ausgabe, oder du öffnest das Ergebnis mal mit UltraEdit -> Öffnen mit Latin-1. Ok?
        
        Edit:
        Das sind übrigens nur Fragezeichen, weil deiner Anzeige nicht klar ist, welcher Zeichensatz verwendet werden soll.
        Last edited: 2009-12-25 16:04:54 +0100 (CET)
        
        bianca
        
        2009-12-25 16:05
        
        User since
        2009-09-13
        6977 Artikel
        BenutzerIn
        
        2009-12-25T15:02:44 leo11
        Aber sie bleiben drin, so wie du wes wolltest.
        
        Glaub ich kaum.
        Wenn sie drin bleiben (hab sie großgeschrieben im Regex ergänzt dann klappt es nämlich), sieht die Ausgabe so aus:
        
        Code: (dl )
        
        neu: >!$%/()=?_und ³berhaupt:,GRO▀Í─▄▀.+und ziffern 0123456789-und klein÷õ³▀%$<
        
        Fragezeichen sind da nicht hilfreich.
        
        Edit: Ausgabe korrigiert, hatte vorher das /i nicht drin.
        Last edited: 2009-12-25 16:13:37 +0100 (CET)
        10 print "Hallo"
        20 goto 10
        
        +5 replies
        
        leo11
        
        2009-12-25 16:18
        
        User since
        2008-08-14
        250 Artikel
        BenutzerIn
        
        2009-12-25T14:59:02 bianca
        Edit: Verwende nämlich den identischen Regex mit Javascript und auch mit Schalter /ig und dort klappt das super auch ohne explizit angegebene großgeschriebenen Umlaute.
        
        Weiß nicht, ob eine Regex in Javascript das gleiche machen sollte wie in Perl. Erfahrungsgemäß gibt es viele Dialekte. Hab aber gerad keine Lust das nachzuschauen.
        
        +4 replies
        
        bianca
        
        2009-12-25 16:23
        
        User since
        2009-09-13
        6977 Artikel
        BenutzerIn
        
        2009-12-25T15:18:21 leo11
        Hab aber gerad keine Lust das nachzuschauen.
        
        Brauchst ja nicht, dank Dir bis hierher.
        Leider hab ich aber immer noch nicht begriffen, warum der /i im Regex nicht dazu führt, dass zu einem kleingeschriebenen Umlaut auch ein großer gehört.
        Umgehungslösung ist ja klar, großgeschrieben in den Regex einfügen. Bei dieser Sache ist halt doof, dass ich den Regex sowohl für eine Javascript-Sache als auch für Perl verwenden will und ihn deshalb gern identisch hätte, damit er nur an einer Stelle gewartet werden muss.
        Geht um die Prüfung einer Eingabe eines Feldes.
        Hoffentlich fallen mir da nicht noch gravierende Unterschiede auf....
        10 print "Hallo"
        20 goto 10
        
        +2 replies
        
        leo11
        
        2009-12-25 16:37
        
        User since
        2008-08-14
        250 Artikel
        BenutzerIn
        
        2009-12-25T15:23:27 bianca
        Leider hab ich aber immer noch nicht begriffen, warum der /i im Regex nicht dazu führt, dass zu einem kleingeschriebenen Umlaut auch ein großer gehört.
        
        Find ich auch intressant. Leider kann ich das auch nicht erklären, aber ich tippe nach wie vor auf eine Zeichensatzgeschichte:
        
        Code: (dl )
        
        1 2 3 4
        
        $ perl -w -e '$a=">äüöÄÜÖ<"; $a =~ s/ä//ig; print $a' >üöÄÜÖ< $ perl -MEncode -w -e '$a= decode("Latin-1",">äüöÄÜÖ<"); $a =~ s/ä//ig; print $a' >üöÜÖ<
        
        Last edited: 2009-12-25 16:40:14 +0100 (CET)
        
        leo11
        
        2009-12-25 17:29
        
        User since
        2008-08-14
        250 Artikel
        BenutzerIn
        
        Unter http://perlgeek.de/de/artikel/charsets-unicode ist genau dazu eine ausführliche Erklärung. Auch das mit der Wide charatcer Warnung wird dort angesprochen.
        
        GwenDragon
        
        2009-12-25 21:26
        
        User since
        2005-01-17
        14544 Artikel
        Admin1
        
        1) Die Konsole (DOS-Eingabeauforderung) hat eine anderes Charset als Windows selbst *
        2) Dein Editor kann eine andere Zeichenkodierung für den Quelltext aufweisen
        3) Du könntest vielleicht use utf8; im Quellcode verwendet haben
        
        *DOS-Konsole: CP850
        Windows: CP1252
        die Drachin, Gwendolyn
        
        Unterschiedliche Perl-Versionen auf Windows (fast wie perlbrew) • Meine Perl-Artikel
        
        +2 replies
        
        renee
        
        2009-12-25 18:35
        
        User since
        2003-08-04
        14371 Artikel
        ModeratorIn
        
        2009-12-25T14:59:02 bianca
        2009-12-25T14:55:50 leo11
        Unter Linux ging das.. .
        
        Hab hier ActivePerl auf Windoof XP.
        Du weißt, dass der Zeichensatz von cmd.exe *nicht* UTF-8 ist und man deswegen sehr häufig "Müll" angezeigt bekommt? Mach die Ausgabe lieber in eine Datei und schau Dir die Datei an...
        OTRS-Erweiterungen (http://feature-addons.de/)
        Frankfurt Perlmongers (http://frankfurt.pm/)
        --
        
        Unterlagen OTRS-Workshop 2012: http://otrs.perl-services.de/workshop.html
        Perl-Entwicklung: http://perl-services.de/
        
        Taulmarill
        
        2009-12-25 20:57
        
        User since
        2004-02-19
        1750 Artikel
        BenutzerIn
        
        Die Codierung der cmd.exe auf deutsch heißt Windows-1252, perls Encode-Modul auch bekannt als "cp1252".
        Last edited: 2009-12-25 21:40:25 +0100 (CET)
        $_=unpack"B*",~pack"H*",$_ and y&1|0& |#&&print"$_\n"for@.=qw BFA2F7C39139F45F78 0A28104594444504400 0A2F107D54447DE7800 0A2110453444450500 73CF1045138445F4800 0 F3EF2044E3D17DE 8A08A0451412411 F3CF207DF41C79E 820A20451412414 83E93C4513D17D2B
- +5 replies
- Escape
  
  2009-12-25 15:41
  User since
  2008-07-24
  312 Artikel
  BenutzerIn
  2009-12-25T13:41:17 bianca
  
  Code (perl): (dl )
  
  $text =~ s/$regex_notiz//ig;
  
  Lass einfach das 'i' raus.
  Die Deutsche Rechtschreibung ist Freeware; Du darfst sie kostenlos nutzen – aber sie ist nicht Open Source, d.h. Du darfst sie nicht verändern und/oder in veränderter Form veröffentlichen.
  - +4 replies
  - bianca
    
    2009-12-25 15:51
    User since
    2009-09-13
    6977 Artikel
    BenutzerIn
    
    2009-12-25T14:41:11 Escape
    Lass einfach das 'i' raus.
    
    Das ist ja schlecht, weil dann die "normalen" Großbuchstaben rausfliegen, was sie nicht sollen.
    
    Code: (dl )
    
    neu: >!$%/()=?_und ³berhaupt:,▀Í─▄▀.+und ziffern 0123456789-und klein÷õ³▀%$<
    
    10 print "Hallo"
    20 goto 10
    - +3 replies
    - leo11
      
      2009-12-25 16:15
      
      User since
      2008-08-14
      250 Artikel
      BenutzerIn
      
      2009-12-25T14:51:41 bianca
      2009-12-25T14:41:11 Escape
      Lass einfach das 'i' raus.
      
      Das ist ja schlecht, weil dann die "normalen" Großbuchstaben rausfliegen, was sie nicht sollen.
      
      Wieso du dann i verwendest ist mir nicht klar. i bedeutet ignore case.
      - +2 replies
      - bianca
        
        2009-12-25 16:17
        
        User since
        2009-09-13
        6977 Artikel
        BenutzerIn
        
        2009-12-25T15:15:24 leo11
        Wieso du dann i verwendest ist mir nicht klar. i bedeutet ignore case.
        
        Ja, ich gebe an a-z und will mit /i erreichen, dass auch A-Z gültig sind.
        Genau das gleiche erwarte ich von öäü analog ÖÄÜ.
        Warum tut /i nicht auch ÖÄÜ?
        Sind die im ASCII-Zeichensatz nicht auch alle einfach 64 Stellen höher als ihre kleingeschriebenen Entsprechungen? Oder arbeitet der /i in Perl anders als ich denke und als Javascript das tut?
        10 print "Hallo"
        20 goto 10
        
        leo11
        
        2009-12-25 16:29
        
        User since
        2008-08-14
        250 Artikel
        BenutzerIn
        
        2009-12-25T15:17:27 bianca
        Warum tut /i nicht auch ÖÄÜ?
        Sind die im ASCII-Zeichensatz nicht auch alle einfach 64 Stellen höher als ihre kleingeschriebenen Entsprechungen? Oder arbeitet der /i in Perl anders als ich denke und als Javascript das tut?
        
        äü etc seh ich gerad nicht im ASCII Zeichensatz.
- Gast anon
  
  2009-12-25 16:01
  Code (perl): (dl )
  
  1 2 3 4 5 6
  
  use utf8; use Encode; my $regex_notiz = '[^a-z!/()=?_üäöß:.,\-+ \d$%]'; my $text = '!"§$%&/()=?_und überhaupt:;,GROßÖÄÜß.+und ziffern 0123456789-und kleinöäüß%$'; $text =~ s/$regex_notiz//ig; print encode_utf8 "neu: >$text<\n";
  
  Ausgabe:
  
  Code: (dl )
  
  neu: >!$%/()=?_und überhaupt:,GROßÖÄÜß.+und ziffern 0123456789-und kleinöäüß%$<
  
  Bitte perlunitut/perlunifaq durchlesen.

View all threads created 2009-12-25 14:41.