Regex Strategie (Allgemeines zu Perl)

[thread]20461[/thread]

Regex Strategie

Tags: perl5 regex Strategie Similar Threads

Readers: 21

Articles: hide open all | hide show old branches

+6 replies
MarkusH

2018-05-21 11:45

User since
2012-04-08
162 articles
BenutzerIn

Hallo,

ich habe mir ein kleines Tool geschrieben, welches per Regex mehrere Dateien nach bestimmten Textstellen durchsucht. Das funktioniert noch nicht alles hundertprozentig, denn ich habe das Problem, dass auch Rechtschreibfehler vorkommen können, bzw. an den besagten Textstellen die Wörter vertauscht sein können. Ich bin nun am Überlegen, wie ich das lösen könnte.
Habt ihr da Vorschläge dazu bzw. Links, wo ich was nachlesen könnte?
$q =~ /(bb|[^b]{2})/
- +5 replies
- Linuxer
  
  2018-05-21 18:10
  
  User since
  2006-01-27
  3891 articles
  HausmeisterIn
  
  Hi,
  
  die möglichen Reihenfolgen könntest Du im Regex berücksichtigen; also nach diesem Schema: m/foo.*bar|bar.*foo/
  
  Was die Erkennung der Rechtschreibfehler angeht, sehe ich das nicht so einfach zu lösen.
  Wenn die möglichen Fehler bekannt sind, könntest Du sie als Varianten auch im Regex berücksichtigen.
  
  Wenn es unbekannte Fehler sind, dann wird es schwieriger.
  Vielleicht vor der Analyse eine Rechtschreibprüfung durchführen lassen und die Texte korrigieren.
  Danach die Regex-Suche auf die korrigierten Texte anwenden?
  meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
  Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
  - +4 replies
  - clms
    
    2018-05-22 15:21
    User since
    2010-08-29
    373 articles
    BenutzerIn
    
    2018-05-21T16:10:13 Linuxer
    Wenn es unbekannte Fehler sind, dann wird es schwieriger.
    
    Das ist nett formuliert.
    
    Es ist unmöglich, Regex zu schreiben, die mit jedem denkbaren Fehler im Input zurecht kommen. (Du kannst Dir Fehlermodelle ausdenken, die für zwei unterschiedliche Fälle von "korrektem" Input den gleichen "falschen" Input erzeugen. Dann muss das Skript in einem der Fälle falsch raten, was gemeint gewesen war.)
    
    In ähnlichen Fällen verwende ich die beiden von Linuxer angedeuteten Strategien:
    Ausprobieren, schauen, wo die Regex nicht passt, Regex entsprechend modifizieren, dass sie auch für Varianten passt, erneut ausprobieren usw. bis Du eine zufriedenstellende Erfolgsquote hast.
    versuchen die Qualität Deines Inputs vorab zu prüfen bzw. sicherzustellen.
    
    Ein paar Überleungen, wie Du Dir evtl. die Arbeit erleichtern kannst:
    
    was ist schlimmer, wenn Dein Skript die Daten nicht extrahieren kann oder wenn es falsche Daten etrahiert ohne Alarm zuschlagen?
    gibt es einen (halbwegs) zuverlässigen Plausibilitätscheck, der zumindest feststellen kann, ob das Skript korrekte Daten gelesen hat?
    sollen die Regex sehr strikt oder eher "relaxt" matchen? Im ersten Fall muss alles 100% passen. Für Varianten brauchst Du dann zusätzlichen Code. Im zweiten Fall enthält die Regex hauptsächlich Wildcards (oder sucht nur nach einem kurzen Schnipsel ohne auf die Umgebung zu arten), d.h. Du wirst wahrscheinlich mehr falsche Treffer bekommen.
    
    Das kannst Du aber alles nur am konkreten Beispiel abwägen.
    - +3 replies
    - Crian
      
      2018-05-23 09:48
      
      User since
      2003-08-04
      5873 articles
      ModeratorIn
      
      Je nachdem welche Art Fehler du erwartest, kann man ggf. mit Dingen wie einem Lewinstein-Abstand arbeitem.
      
      Siehe https://de.wikipedia.org/wiki/Levenshtein-Distanz.
      
      Dazu gibt es sicher auch Module.
      
      Grundsätzlich: Je mehr Fehler du zulässt, desto mehr steigt die Wahrscheinlichkeit, dass du auch falsche Textstellen als Treffer erkennst.
      s--Pevna-;s.([a-z]).chr((ord($1)-84)%26+97).gee; s^([A-Z])^chr((ord($1)-52)%26+65)^gee;print;
      
      use strict; use warnings; Link zu meiner Perlseite
      - MarkusH
        
        2018-05-26 14:46
        
        User since
        2012-04-08
        162 articles
        BenutzerIn
        
        Hallo,
        
        Danke für die Antworten.
        Ich bin in meinem Fall noch auf eine andere Möglichkeit gestoßen. Die Texte liegen auch in einer Datenbank nochmals vor. Ich werde also versuchen, da dran zu kommen.
        $q =~ /(bb|[^b]{2})/
      - clms
        
        2018-06-01 21:09
        
        User since
        2010-08-29
        373 articles
        BenutzerIn
        
        Die Levenshtein-Distanz ist eine gute Idee.
        
        Wobei man die Levenshtein-Distanz nicht direkt in einer Regex nutzen kann. Oder hat jemand eine Idee, wie man eine Regex aussehen könnte, die alle Strings mit einer Levenshtein-Distanz von 0-2 zu einem bestimmten String matched?
        
        Was natürlich geht: Einen Substring mit Wildcards per Regex extrahieren und anschließend mit einem der Module aus CPAN die Levenshtein-Distanz zum Target-String ermitteln. Wenn sie zu groß ist, verwirft man den potentiellen Match wieder.
        
        Das Problem ist dann, den zu extrahierenden Substring in der Regex zu verankern. Bei manchen Aufgaben wird das einfach gehen, wenn man an beiden Enden des Substrings eindeutige Markierungen hat, die robust gegen Fehler sind. In anderen Fällen wird es sehr kompliziert werden, wenn man nicht genau abschätzen, wie lang der String sein soll und wo er anfängt und aufhört.

View all threads created 2018-05-21 11:45.