Zeilen löschen aus Array, wenn bestimmte Strings enthalten (solved) (Allgemeines zu Perl)

[thread]17418[/thread]

Zeilen löschen aus Array, wenn bestimmte Strings enthalten [solved]

Tags: perl5 regex Array Similar Threads

Readers: 22

Articles: hide open all | hide show old branches

+18 replies
cohama

2012-05-14 13:40
User since
2011-08-16
102 articles
BenutzerIn
Hallo zusammen,

ich suche seit einiger Zeit nach einer Lösung bzw. Ansatz um eine Zeile aus einem Array zu löschen, wenn in dieser Zeile fest gelegte Strings auftreten.
Insgesamt geht es darum eine SysLog-Datei zu verarbeiten und hierei auf Zeilen zu verzichten, die das Trouble-Shooting des Systems nicht voran bringen.

In den folgenden Zeile soll nach WLAN gesucht werden und diese Zeile aus dem Array gelöscht werden.
Code: (dl )

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37

May 08 01:16:17 user.crit 192.178.168.15 May 7 23:16:17 rfp: 0074388084 ***** MAIN: connect OMM: Connection timed out May 08 01:17:52 user.crit 192.178.168.15 May 7 23:17:52 rfp: 0074407091 ***** MAIN: connect OMM: Connection refused May 08 09:20:00 daemon.info 192.178.168.15 May 8 07:20:00 snmpd[2306]: NET-SNMP version 5.1.2 May 08 11:35:10 daemon.info 192.178.168.15 May 8 09:35:11 init: starting pid 2318, tty '/dev/null': '/sbin/shutdown' May 08 11:35:10 user.info 192.178.168.15 May 8 09:35:11 shutdown: running /sbin/shutdown May 08 11:35:13 daemon.info 192.178.168.15 May 8 09:35:14 init: The system is going down NOW! May 08 11:35:13 daemon.info 192.178.168.15 May 8 09:35:14 init: Sending SIGTERM to all processes May 08 11:38:44 user.info 192.178.168.15 Nov 30 00:00:08 kernel: br0: port 1(eth0) entering forwarding state May 08 11:38:44 user.info 192.178.168.15 Nov 30 00:00:08 kernel: br0: topology change detected, propagating May 08 11:38:45 authpriv.info 192.178.168.15 Nov 30 00:00:09 dropbear[150]: Not backgrounding May 08 11:38:45 daemon.info 192.178.168.15 Nov 30 00:00:09 init: starting pid 162, tty '/dev/null': '/opt/rfpm/rfpm' May 08 11:38:45 user.notice 192.178.168.15 Nov 30 00:00:09 rfp: 0000002133 ! MAIN: Starting iprfp ... May 08 11:38:45 user.notice 192.178.168.15 Nov 30 00:00:09 rfpm: 0000002139 ! MAIN: Starting rfpm ... May 08 11:38:46 user.notice 192.178.168.15 Nov 30 00:00:10 rfp: 0000002349 ! MAIN: starting RFP application May 08 11:38:48 user.notice 192.178.168.15 Nov 30 00:00:12 /etc/sysconfig/B20network: added default gateway May 08 11:38:50 user.info 192.178.168.15 Nov 30 00:00:14 M20sntpc: starting sntpc May 08 11:38:50 user.notice 192.178.168.15 Nov 30 00:00:14 sntpc: 0000003167 ** MAIN: sntp client started May 08 11:38:50 user.notice 192.178.168.15 May 8 09:38:51 sntpc: 0000003181 ** MAIN: local clock set to Tue May 8 09:38:51 UTC 2012, offset was 392549916.323315 May 08 11:38:53 user.info 192.178.168.15 May 8 09:38:53 wlan: Initialized /var/run/wlan//storage_file (no data) May 08 11:38:53 daemon.info 192.178.168.15 May 8 09:38:53 init: reloading /etc/inittab May 08 11:39:06 daemon.info 192.178.168.15 May 8 09:39:06 snmpd[357]: NET-SNMP version 5.1.2 May 08 11:39:35 user.warn 192.178.168.15 May 8 09:39:35 kernel: WLAN driver starting May 08 11:39:41 user.info 192.178.168.15 May 8 09:39:41 kernel: WLAN driver UP & RUNNING May 08 11:39:41 user.info 192.178.168.15 May 8 09:39:41 kernel: device wlan0 entered promiscuous mode May 08 11:39:41 user.info 192.178.168.15 May 8 09:39:41 kernel: br0: port 2(wlan0) entering learning state May 08 11:39:42 user.info 192.178.168.15 May 8 09:39:42 kernel: br0: port 2(wlan0) entering forwarding state May 08 11:39:42 user.info 192.178.168.15 May 8 09:39:42 kernel: br0: topology change detected, propagating May 08 17:21:31 daemon.info 192.178.168.15 May 8 15:21:31 snmpd[357]: Received TERM or STOP signal... shutting down... May 08 17:21:56 user.crit 192.178.168.15 May 8 15:21:56 rfp: 0004120191 ***** MAIN: connect OMM: Connection refused May 08 17:21:56 user.crit 192.178.168.15 May 8 15:21:56 rfp: 0004120209 ***** MAIN: ; version = ''; type = RFP 42; capabilities = 3fc) May 08 17:21:57 daemon.info 192.178.168.15 May 8 15:21:57 snmpd[19095]: NET-SNMP version 5.1.2 May 08 17:22:23 user.warn 192.178.168.15 May 8 15:22:23 kernel: WLAN driver starting May 08 17:22:29 user.info 192.178.168.15 May 8 15:22:29 kernel: WLAN driver UP & RUNNING May 08 17:22:29 user.info 192.178.168.15 May 8 15:22:29 kernel: device wlan0 entered promiscuous mode May 08 17:22:29 user.info 192.178.168.15 May 8 15:22:29 kernel: br0: port 2(wlan0) entering learning state May 08 17:22:30 user.info 192.178.168.15 May 8 15:22:30 kernel: br0: port 2(wlan0) entering forwarding state May 08 17:22:30 user.info 192.178.168.15 May 8 15:22:30 kernel: br0: topology change detected, propagating
Vielen Dank für die Hinweise im Voraus.
- Linuxer
  
  2012-05-14 13:46
  User since
  2006-01-27
  3891 articles
  HausmeisterIn
  Da Du schon von Array schreibst, liest Du anscheinend die Logdatei komplett ein... (möge der Hauptspeicher ausreichen)...
  
  Man kann beim Einlesen schon filtern, z.B. (ungetestet):
  
  Code (perl): (dl )
  
  1 2
  
  # alle Zeilen, die denString "WLAN" NICHT enthalten my @array = grep { index($_, "WLAN") < 0 } <$HANDLE>;
  
  meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
  Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
- Linuxer
  
  2012-05-14 13:48
  User since
  2006-01-27
  3891 articles
  HausmeisterIn
  Andere Variante wäre, die Logdaten selber vor der Verarbeitung mit System-Tools zu bereinigen.
  
  Code: (dl )
  
  $ grep -v "WLAN\|UND\|ODER\|ANDERE\|UNINTERESSANTE\|STRINGS" logdatei > logdatei.cleaned
  
  meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
  Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
- +15 replies
- GwenDragon
  
  2012-05-14 13:50
  User since
  2005-01-17
  14816 articles
  Admin1
  zeilenweise einlesen ist sinnvoll, wenn das Syslog sehr groß ist.
  
  Code (perl): (dl )
  
  1 2 3 4 5 6 7 8 9 10 11
  
  my $syslog_datei = "/var/log/syslog"; my $nicht_verwenden_regex = qr(WLAN); my @data; open (my $fh, "<", $syslog_datei) or die $!; while (my $line = <$fh>) { push @data, $line if $line !~ $nicht_verwenden_regex; } close $fh or die $!;
  
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
  - +14 replies
  - cohama
    
    2012-05-14 15:14
    User since
    2011-08-16
    102 articles
    BenutzerIn
    
    Hallo zusammen,
    vielen Dank für die Hinweise bis jetzt. In der Zwischenzeit habe ich mein Script etwas weiter entwickelt. Und zwar durchsuche ich die Syslog-Datei zu erst auf Schlüsselwörter wie user.err, user.crit oder user.alert.
    In dem zweiten Schritt möchte ich gern Zeile nicht weiter behandeln, wenn sie Schlüsselwörter wie WLAN enthalten. Somit ist es dann ein zweistufiges Suchen.
    Mein Skript bis jetzt.
    
    Code: (dl )
    
    1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51
    
    #!/usr/bin/perl -w ######################################## # Modules use strict; # parameter Definition before use them #################################### # modules ####################################### # Paramet Definition my ($sec,$min,$hour,$mday,$mon,$year,$wday,$ydat,$isdst); my ($jahr,$monat,$tag,$Xzeit,$Xdatum); my $ct=1; # counter parameter my $lines; # line parameter my @data1 =(""); my $kw1="user.alert"; my $kw2="user.crit"; my $kw3="user.err"; my $ukw1="WLAN"; ################## # main programm system("clear"); # Refresh the terminal #################### # Time procedure ($sec,$min,$hour,$mday,$mon,$year,$wday,$ydat,$isdst)=localtime(); # Get TimeStamp-Elements $jahr=$year;$monat=$mon+1;$tag=$mday;$jahr=$year; $jahr=$year +1900; # Set the Year if (length($monat) == 1){$monat="0$monat";} # Fillup the number amount if(length($tag) == 1){ $tag="0$tag";} if(length($hour) == 1){ $hour="0$hour";} if(length($min) == 1){ $min="0$min";} if(length($sec) == 1){ $sec="0$sec";} #$Xdatum=$tag.".".$monat.".".$jahr; $Xdatum=$tag.".".$monat; $Xzeit=$hour.":".$min; ######################### # Logfile analysis open(InFile,$ARGV[0])or die $!; # read Inputfile open(OutFile,">/home/cohama/SysLog/$Xdatum._SysLog_PTA-SIP.log")or die $!; while ($lines = <InFile>) { switch($lines){ case 1: =~ m{$kw1} {push(@data1,$lines);break; # read File line per line case 2: =~ m{$kw2} {push(@data1,$lines);break; case 3: =~ m{$kw3} {push(@data1,$lines);break; } ################################################# } print "Store2File \n"; print OutFile @data1; print "Close the files \n"; close(InFile);close(OutFile); # write Array 2 File
    - +12 replies
    - GwenDragon
      
      2012-05-14 15:36
      
      User since
      2005-01-17
      14816 articles
      Admin1
      
      fehlt da nicht ein use Switch; irgendwo?
      Magst du kein given when bei Perl?
      die Drachin Gwen
      
      Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
      - +11 replies
      - cohama
        
        2012-05-15 09:37
        
        User since
        2011-08-16
        102 articles
        BenutzerIn
        
        Hallo,
        
        vielen Dank für den Hinweis bzgl. use switch.
        Momentan ist es so, dass mein Script nach den Schlüsselwörter (user.err, user.crit usw.)sucht und die Zeile ins Array schreibt in denen diese Wörter auftreten. In dem nächsten Schritt möchte ich in diesen Array nach anderen Keywords (WLAN) suchen und dann die Zeilen wieder aus dem Array entfernen, damit die Datei nur noch relevante Zeilen enthält. Somit besteht die Herausforderung in einem Array nach Keywords suchen und die Zeilen löschen, wenn das Keyword auftritt.
        
        Bye
        
        +10 replies
        
        guest linuxer_offline
        
        2012-05-15 10:19
        
        Wo ist das Problem? Schau Dir meine erste Antwort an. grep ist dafür super geeignet. Nur “liest“ Du eben nicht aus einem Handle, sondern aus dem Array.
        Last edited: 2012-05-15 10:24:57 +0200 (CEST)
        
        +9 replies
        
        Linuxer
        
        2012-05-15 10:31
        
        User since
        2006-01-27
        3891 articles
        HausmeisterIn
        
        So, nun habe ich auch wieder eine richtige Tastatur zur Verfügung.
        
        Mit dem folgenden Schema solltest Du die vorgefilterten Daten in @data filtern können, und alle Elemente, die dem Regex entsprechen, werden NICHT ! an @clean_data weitergereicht.
        
        Code (perl): (dl )
        
        1 2 3
        
        my $regex = qr{WLAN|UND|ANDERES|UNINTERESSANTES}; #my @clean_data = grep { ! $regex } @data; # so nicht! my @clean_data = grep { ! m/$regex/ } @data;
        
        Aber wenn die Zeilen mit "WLAN" generell uninteressant sind, warum dann erst die Arbeit machen, die Zeilen mit aufzunehmen und anschließend wieder rauszuwerfen? Wie von GwenDragon vorgeschlagen, zeilenweise auslesen und die uninteressanten Zeilen direkt ignorieren. Die interessanten Zeilen können dann nach weiteren Kriterien (user.err, user.crit, ...) zugeordnet werden.
        
        edit: Code fixed
        Last edited: 2012-05-23 13:49:38 +0200 (CEST)
        meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
        Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
        
        +8 replies
        
        cohama
        
        2012-05-23 09:43
        
        User since
        2011-08-16
        102 articles
        BenutzerIn
        
        Hallo zusammen,
        
        vielen Dank für die Tipps, leider funktioniert diese kurze elegante Lösung nicht. Sprich die Datei bzw. das Array enthält keine Elemente mehr, ob andere Zeilen nicht diese Zeichen enthalten.
        
        Code: (dl )
        
        1 2
        
        my $myfilters=qr{DHCP|WLAN}; @data = grep{ ! $myfilters } @data1;
        
        Die Ausgabe von myfilters lautet: (?^:DHCP|WLAN). Ich vermute, die beiden Zeichen ?^ stören irgendwie? Nur ich konnte sie noch nicht beseitigen. Kann mir jemand noch etwas über die Straße helfen?
        
        +4 replies
        
        GwenDragon
        
        2012-05-23 10:38
        
        User since
        2005-01-17
        14816 articles
        Admin1
        
        qr erzeugt einen Regulären Ausdruck (Regex).
        ?^: bedeutet wohl regex nur auswerten, aber nicht als Ergebnis speichern.
        
        //EDIT:
        Damit findet die zweite Code-Zeile alles im Array, was nicht WLAN oder DHCP enthält.
        Last edited: 2012-05-23 10:40:34 +0200 (CEST)
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
        
        +3 replies
        
        pq
        
        2012-05-23 10:49
        
        User since
        2003-08-04
        12209 articles
        Admin1
        
        perlre:
        
        Quote
        Starting in Perl 5.14, a "^" (caret or circumflex accent) immediately after the "?" is a shorthand equivalent to "d-imsx".
        Flags (except "d") may follow the caret to override it. But a minus sign is not legal with it.
        
        Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
        lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
        
        +2 replies
        
        cohama
        
        2012-05-23 12:49
        
        User since
        2011-08-16
        102 articles
        BenutzerIn
        
        Hi,
        
        leider bin ich noch nicht so erfahren mit Perl, dass mir die letzten Hinweise einen Ansatz geben, wie ich meine Situation lösen kann.
        Somit stellt sich mir die Frage, weshalb die Filterung mittel Regex in meinen Fall nicht wie gewünscht funktioniert.
        Kann mir jemand erklären, wo der Grund hierfür in meinem Script liegt?
        
        Linuxer
        
        2012-05-23 13:29
        
        User since
        2006-01-27
        3891 articles
        HausmeisterIn
        
        Da wir Dein derzeitiges Skript nicht kennen, können wir Dir nur schwer sagen, wo in Deinem Skript der Grund liegt...
        
        Edit: Ignorierst Du in Deiner Betrachtung vielleicht Groß-/Kleinschreibung? Und wunderst Dich darüber, dass "wlan" erhalten bleibt, obwohl Du "WLAN" rausfilterst?
        
        Edit 2: Mein Fehler; Lösung wahrscheinlich wie von pq dargestellt: msg #158511
        Last edited: 2012-05-23 13:36:48 +0200 (CEST)
        meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
        Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
        
        +3 replies
        
        pq
        
        2012-05-23 13:33
        
        User since
        2003-08-04
        12209 articles
        Admin1
        
        du musst das anders machen.
        
        Code (perl): (dl )
        
        1 2 3
        
        my @data = grep{ ! /$myfilters/ } @data1; # oder my @data = grep{ $_ !~ $myfilters } @data1;
        
        wenn du nur ! $myfilters schreibst, wird die qr nirgendwo angewendet, sondern selbst auf wahrheit getestet, also der regex-string selbst.
        Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
        lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
        
        Linuxer
        
        2012-05-23 13:34
        
        User since
        2006-01-27
        3891 articles
        HausmeisterIn
        
        Jap, ist mir auch gerade aufgefallen. My Fault.
        meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
        Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
        
        cohama
        
        2012-05-23 14:19
        
        User since
        2011-08-16
        102 articles
        BenutzerIn
        
        Hi pq;
        
        ich hab diesen Ansatz von Dir genutzt:
        
        Code: (dl )
        
        @data = grep{$_ !~ $myfilters } @data1;
        
        Und kann nur Danke sagen und einfach toll diese Lösung, die meiner Meinung nach auch richtig nach Perl aussieht.
    - GwenDragon
      
      2012-05-15 10:37
      
      User since
      2005-01-17
      14816 articles
      Admin1
      
      Du kannst doch auch in der if-Abfrage die Regexe kombinieren:
      
      Code (perl): (dl )
      
      1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
      
      my $kw1="user.alert"; my $kw2="user.crit"; my $kw3="user.err"; my $ukw1="WLAN"; #.... if ( $lines !~ /\Q$ukw1\E/ and ( $lines =~ /\Q$kw1\E/ or $lines =~ /\Q$kw2\E/ or $lines =~ /\Q$kw3\E/ ) ) #....
      
      Es gibt viele Lösungen, siehe auch Linuxer.
      Last edited: 2012-05-15 10:38:24 +0200 (CEST)
      die Drachin Gwen
      
      Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten

View all threads created 2012-05-14 13:40.