Regex-Muster als Variable: Dezimalpunkt ersetzen (gelöst) (Allgemeines zu Perl)

[thread]21164[/thread]

Regex-Muster als Variable: Dezimalpunkt ersetzen [gelöst]

Tags: perl5 Ähnliche Threads

Leser: 7

Articles: hide open all | hide show old branches

+10 replies
qwe123qwe

2020-12-25 11:41
User since
2013-10-08
65 Artikel
BenutzerIn
Hallo !
Über die Feiertage versuch ich ein kleines Skript zu schreiben, das mir aus einer Html-Seite ein paar Zahlen ausliest.

Im Prizip mach ich das derzeit so, daß ich ein Muster definiere
Code (perl): (dl )

$muster = "(\\d{2})\\.(\\d{2})\\.(\\d{2}).+?font-size-14.+?(\\d+\\.\\d+,\\d+|\\d+\\.\\d+|\\d+,\\d+|\\d+).+?font-size-14.+?(\\d+\\.\\d+,\\d+|\\d+\\.\\d+|\\d+,\\d+|\\d+).+?font-size-14.+?(\\d+\\.\\d+,\\d+|\\d+\\.\\d+|\\d+,\\d+|\\d+).+?font-size-14.+?(\\d+\\.\\d+,\\d+|\\d+\\.\\d+|\\d+,\\d+|\\d+).+?font-size-14.right.+?(\\d+\\.\\d+\\.\\d+|\\d+\\.\\d+|\\d+).+?right...(\\d+,\\d+|\\d+).+?(M|T)";
und die Html-Seite nach dem Muster absuchen lasse
Code (perl): (dl )

while ($seite =~ /$muster/g) {
das funktioniert auch soweit.
Bei bestimmten Zahlen möchte ich aber nach dem Auslesen die Dezimalpunkte entfernen (bzw. bei anderen zum Weiterrechnen das Komma durch einen Punkt ersetzen).
Etwas umständlich formuliert sieht das bei mir so aus:
Code (perl): (dl )

1 2 3 4 5

$daten[6] = "$8"; my $mitpunkt = $daten[6]; $mitpunkt =~ s/\.//g; $daten[6] = $mitpunkt; $daten[7] = "$9";
Ich weiß, daß das auch kürzer geschrieben werden kann, aber so kann ich das Problem besser zeigen.
Mit den 3 eingerückten Zeilen bekomme ich nämlich jetzt die Fehlermeldung
Code: (dl )

Use of uninitialized value $9 in string at update-sonstige.pl line 129.
Soweit ich erkennen kann, funktioniert durch die Substitution die Mustererkennung im Rest der Seite nicht mehr.

Ich hab's auch schon mit einer Referenz \$daten[6] versucht, aber da bekomme ich die Fehlermeldung "reused reference"

Ich hoffe, mir kann da jemand einen Tipp geben. So wie's aussieht versteht ich da nicht, wie Perl die Variableninhalte zuweist.......
- +5 replies
- bianca
  
  2020-12-25 12:33
  
  User since
  2009-09-13
  7016 Artikel
  BenutzerIn
  
  Warum escapest du die Backslash von \d aber nicht die Klammern für $1 bis $9?
  10 print "Hallo"
  20 goto 10
  - +2 replies
  - qwe123qwe
    
    2020-12-25 14:05
    
    User since
    2013-10-08
    65 Artikel
    BenutzerIn
    
    Danke, das probier ich gleich mal.
    Ohne das \\d funktioniert's halt nicht. Ohne \( aber schon -- nur eben nicht so wie's soll :))))
    
    Wie ich das sehe, löscht mir der Aufruf des Musterbefehls =~ in der mitpunkt- Zeile komplett den Inhalt des Aufrufs in der while Zeile. D.h. $1 wird ersetzt durch ein neues $1 und $2 bis $9 wird gelöscht.Die Frage ist : kann ich das verhindern ?
    Was ich auch noch versuchen werde: ich weise zuerst alle Variablen von $1 bis $9 einem @daten-Element zu und substituiere erst dann die Punkte/Kommas in diesen Elementen. Vielleicht bringt's ja was.
    - qwe123qwe
      
      2020-12-25 15:01
      
      User since
      2013-10-08
      65 Artikel
      BenutzerIn
      
      Bingo !
      Ist zwar nur ein Workaround, aber das Skript funktioniert so.
      Danke noch für's Feedback.
  - qwe123qwe
    
    2020-12-25 14:46
    
    User since
    2013-10-08
    65 Artikel
    BenutzerIn
    
    hab ich jetzt probiert, löst aber das Problem nicht
  - haj
    
    2020-12-25 14:48
    
    User since
    2015-01-07
    594 Artikel
    BenutzerIn
    
    Das \ muss "escaped" werden, weil es nicht direkt in der Regex steht, sondern im String. Ein "\d" im String ist einfach ein "d".
    Die Klammern brauchen kein Escape für den String, und sie werden gebraucht, damit Perl in der Regex die Resultate in $1 bis $9 aufhebt.
- +4 replies
- haj
  
  2020-12-25 15:02
  User since
  2015-01-07
  594 Artikel
  BenutzerIn
  2020-12-25T10:41:15 qwe123qwe
  Soweit ich erkennen kann, funktioniert durch die Substitution die Mustererkennung im Rest der Seite nicht mehr.
  
  Richtig! Das liegt daran, dass die Substitution ihre eigenen Trefferlisten haben könnte (die hier nicht verwendet werden) und Perl deshalb Trefferlisten aus vorherigen Regex-Auswertungen eliminiert. Es gibt kein $9 in s/\.//g.
  
  Die einfachste Abhilfe ist, die Treffer aus der Regex (die Du wesentlich lesbarer schreiben könntest, aber darum geht's hier nicht) in einer eigenen Variable zu bunkern, dann ist sie sicher:
  
  Code (perl): (dl )
  
  1 2 3
  
  while (my @digits = $seite =~ /$muster/g) { # In diesem while-Block sollte $seite gekürzt werden, sonst # riecht das nach Endlosschleife
  
  ...und dann, später:
  
  Code (perl): (dl )
  
  1 2 3 4 5
  
  $daten[6] = $digits[7]; my $mitpunkt = $daten[6]; $mitpunkt =~ s/\.//g; $daten[6] = $mitpunkt; $daten[7] = $digits[8];
  - +3 replies
  - qwe123qwe
    
    2020-12-25 15:14
    
    User since
    2013-10-08
    65 Artikel
    BenutzerIn
    
    Vielen Dank !
    Das ist genau das was ich gebraucht habe.
    Ich weiß, daß die Mustererkennung ziemlich hässlich aussieht. Aber ich bin schon froh, daß ich da ein Muster hinbekommen habe, das funktioniert. Bin aber sehr offen für Verbesserungsvorschläge.
    Last edited: 2020-12-25 17:11:35 +0100 (CET)
    - +2 replies
    - haj
      
      2020-12-25 17:57
      
      User since
      2015-01-07
      594 Artikel
      BenutzerIn
      
      2020-12-25T14:14:12 qwe123qwe
      Vielen Dank !
      Das ist genau das was ich gebraucht habe. Ich hab nicht gewußt, daß man so eine Trefferliste bekommt. Und genau danach hab ich gesucht.
      
      Das freut mich.
      In einem Punkt möchte ich trotzdem zurückrudern: Die Gefahr einer Endlosschleife, auf die ich hingewiesen habe, entsteht tatsächlich erst durch meine Zuweisung an @digits. Ohne diese Zuweisung liefert die while-Schleife jedes Mal einen neuen Treffer, wie gewünscht.
      
      Du kannst aber die Menge aller Treffer auch erst innerhalb der Schleife retten, ohne jedesmal alle durchzählen zu müssen:
      
      Code (perl): (dl )
      
      1 2 3
      
      while ($seite =~ /$muster/g) { # Hier gibt's keine Endlosschleife! my @digits = @{^CAPTURE}; # siehe perldoc perlvar
      
      ...und dann weiter wie bisher angegeben.
      
      2020-12-25T14:14:12 qwe123qwe
      Ich weiß, daß die Mustererkennung ziemlich hässlich aussieht, mit Regex steht ich auf Kriegsfuß. Aber ich bin schon froh, daß ich da überhaupt ein Muster hinbekommen habe, das funktioniert. Bin aber sehr offen für Verbesserungsvorschläge.
      
      Ok, da gibt es zwei Ansätze:
      
      Wenn Du einen regulären Ausdruck und nicht einfach einen String erzeugen willst, kannst Du anstelle der Anführungszeichen $muster="blabla" das Konstrukt $muster=qr/blabla/ verwenden. Innerhalb des Musters gilt dann die Syntax für reguläre Ausdrücke und nicht die für Strings, Du kannst also tatsächlich \d und \. schreiben, um nach einer Ziffer oder einem Punkt zu suchen.
      
      Der x-Modifier für reguläre Ausdrücke erlaubt es, den gesamten Ausdruck in mehreren Zeilen zu schreiben, Leerzeichen und Kommentare sind möglich (um nach einem Leerzeichen zu suchen, muss man in dem Fall \s oder änliches benutzen):
      
      Code (perl): (dl )
      
      $muster = qr/bla bla/x
      
      Nun also angewendet auf Deinen Ausdruck. Ob meine Variante funktioniert, musst Du selbst testen, ich habe ja Deine Testdaten nicht - Tipp- oder Verständnisfehler meinerseits will ich nicht ausschließen. In der ersten Stufe verwende ich einfach das qr/.../x-Konstrukt, ergänzt um Kommentare, wie ich Deine Regex interpretiere (das kann falsch sein). Ich selbst verwende gern Kommentare für Beispiele, was da gesucht wird, und insbesondere für die "Durchnummerierung" der ()-Konstruktionen.
      
      Code (perl): (dl )
      
      1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35
      
      $muster = qr/(\d{2})\.(\d{2})\.(\d{2}) # 12.34.56 = $1,$2,$3 .+?font-size-14.+? # mittelalterliches HTML ( \d+\.\d+,\d+| # 123.456,789 oder \d+\.\d+| # 123.123 oder \d+,\d+| # 123,123 oder \d+ # 123 ) # = $4 .+?font-size-14.+? # mehr mittelalterliches HTML ( \d+\.\d+,\d+| # 123.456,789 oder \d+\.\d+| # 123.456 oder \d+,\d+| # 123,456 oder \d+ # 123 ) # = $5 .+?font-size-14.+? # wieder mittelalterliches HTML ( \d+\.\d+,\d+| # 123.456,789 oder \d+\.\d+| # 123.456 oder \d+,\d+| # 123,456 oder \d+ # 123 ) # = $6 .+?font-size-14.+? # nochmal mittelalterliches HTML ( \d+\.\d+,\d+| # 123.456,789 oder \d+\.\d+| # 123.456 oder \d+,\d+| # 123,456 oder \d+ # 123 ) # = $7 .+?font-size-14.right.+? # uff. Bald geschafft. right? # Obacht: Die letzte Gruppe ist anders. ( \d+\.\d+\.\d+| # 123.123.123 oder \d+\.\d+| # 123.123 oder \d+ # 123 ) # = $8 .+?right... # right again... (\d+,\d+|\d+) # 123,123 oder 123 = $9 .+?(M|T) # weiter bis zum nächsten M oder T ($10) /x;
      
      Die Einrückerei in den Klammern machen Editoren, die Perl verstehen (ich verwende Emacs mit CPerl mode) übrigens automatisch.
      
      Als nächste Stufe erkenne ich, dass da wiederholte Sequenzen auftauchen, die man rausziehen kann. Damit haben wir:
      
      Code (perl): (dl )
      
      1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22
      
      my $old_html = qr/.+?font-size-14.+?/; my $ziffern = qr/\d+\.\d+,\d+| # 123.456,789 oder \d+\.\d+| # 123.123 oder \d+,\d+| # 123,123 oder \d+ # 123 /x; $muster = qr/(\d{2})\.(\d{2})\.(\d{2}) # 12.34.56 = $1,$2,$3 $old_html ($ziffern) # = $4 $old_html ($ziffern) # = $5 $old_html ($ziffern) # = $6 $old_html ($ziffern) # = $7 .+?font-size-14.right.+? # uff. Bald geschafft. right? # Obacht: Die letzte Gruppe ist anders. ( \d+\.\d+\.\d+| # 123.123.123 oder \d+\.\d+| # 123.123 oder \d+ # 123 ) # = $8 .+?right... # right again... (\d+,\d+|\d+) # 123,123 oder 123 = $9 .+?(M|T) # weiter bis zum nächsten M oder T ($10) /x;
      
      In der Form finde ich sowas viel leichter lesbar als in einer einzigen Cinemascope-Zeile, zudem ist die Unterstützung durch die Editoren besser.
      - qwe123qwe
        
        2020-12-25 19:27
        
        User since
        2013-10-08
        65 Artikel
        BenutzerIn
        
        Ja ist denn heut schon Weihnachten ? :))
        
        Wow, vielen Dank für die ganze Mühe. Ich hab nicht damit gerechnet, daß ich gleich eine komplette Lösung bekommen werden. Hut ab !
        Ich bau das dann gleich morgen ein. Das mit dem CAPTURE such ich gleich mal.
        
        Also nochmals Danke für die großartige Unterstützung.

View all threads created 2020-12-25 11:41.