Tie::File ist langsam (Fragen zu Perl-Modulen)

[thread]13737[/thread]

Tie::File ist langsam

Leser: 18

Articles: hide open all | hide show old branches

+10 replies
rasch

2009-07-15 14:15
User since
2009-03-18
15 Artikel
BenutzerIn
Hallo Community,

zuerst muss ich mich fuer mein Deutsch entschuldigen, weil ich nicht aus einem deutschsprachigen Land komme. Hoffentlich beschreibe ich meine Frage verstaendlich.
Also, auf einem meiner Computer laeuft (unter FreeBSD) ein syslog daemon, der aus einem CISCO Box seine Messages sammelt. Dafuer wird eine Datei '/var/log/cisco.log' gebildet. Der Cisco Box hat zurzeit eine Panne (ich warte auf den Ersatzteil) und in die Datei cisco.log wird eine lange Zeile mit so etwas wie 'Fan 2 not rotating' verzeichnet und das passiert 2mal in einer Minute und die Datei wird langsam groesser und groesser.
Ich wolte einfach jede Zeile mit 'Fan 2 not rotating' ausloeschen. Ich habe Perl eingesetzt und zwar 2 Wege.
Den ersten Weg via Tie::File
Code (perl): (dl )

1 2 3 4 5 6 7 8 9 10 11 12 13 14

#!/usr/local/bin/perl -w use strict; use Tie::File; use Fcntl 'O_RDWR'; #my $file = q(/var/log/cisco.log); my $file = q(cisco.log); tie my @array, 'Tie::File', $file, mode=>O_RDWR; for my $i (reverse 0.. $#array){ splice(@array,$i,1) if($array[$i]=~/Fan 2 not rotating/); } untie @array;
Und den zweiten Weg via open und print
Code (perl): (dl )

1 2 3 4 5 6 7 8 9 10 11

#!/usr/local/bin/perl -w use strict; open(IN,'cisco.log') or die "$!\n"; open(OUT,'>temp.log') or die "$!\n"; while(my $line=<IN>){ if($line!~/Fan 2 not rotating/){ print OUT $line; } } system("mv temp.log cisco.log");
Also jetzrt endlich die Frage.
Warum dauert der Script vie Tie::File so lange (cca 90 Sekunden, Datei hat cca 2800 Zeilen mit Fan not rotating pro Tag)?
Der zweite Weg ist damit gleich fertig.
Vielen Dank fuer Ihre Ratschlaege.
rasch

perl-tags by betterworld
Modedit Gwendragon: Titel ergänzt
Last edited: 2009-07-15 14:39:29 +0200 (CEST)
- +3 replies
- betterworld
  
  2009-07-15 14:27
  
  User since
  2003-08-21
  2614 Artikel
  ModeratorIn
  
  Während du mit der Schleife über die Datei iterierst und bei jedem Schleifendurchlauf eine Zeile mit splice entfernst, wird auch bei jedem Durchlauf die Datei neu geschrieben. Da Tie::File die Datei in-place bearbeitet (also nicht wie im zweiten Beispiel Zeile für Zeile in eine zweite Datei ausgibt), ist dieses ineffiziente Vorgehen notwendig. Man könnte das vielleicht durch Caching vermeiden... weiß grad nicht, ob so etwas möglich ist, das musst Du dem perldoc entnehmen.
  
  Willkommen im Forum übrigens. Bitte denke zukünftig daran, deinen Perlcode zu formatieren wie ich es jetzt in Deinem Post gemacht habe (Du siehst den Quelltext, wenn Du Deinen Beitrag bearbeitest), so geht die Einrückung auch nicht verloren.
  Lieblingsmodule: IPC::System::Simple, Path::Class
  - rasch
    
    2009-07-15 14:49
    
    User since
    2009-03-18
    15 Artikel
    BenutzerIn
    
    Danke, sehe ich mich in Perldoc um.
    Formatieren den Perlcode werde ich das naechstemal besser.
    Nochmal Danke
    rasch
  - rasch
    
    2009-07-15 15:32
    
    User since
    2009-03-18
    15 Artikel
    BenutzerIn
    
    Vom Perldoc zum Tie::File habe ich herausgelesen, dass Funktionen wie pop, push, shift, unshift und splice koennen nicht in Cache gespeichert werden und werden gleich in die Datei geschrieben.
    Ich benutze also den zweiten Script.
    Danke.
    rasch
- +6 replies
- GwenDragon
  
  2009-07-15 14:28
  
  User since
  2005-01-17
  14864 Artikel
  Admin1
  
  Wie groß ist denn die Logdatei?
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
  - +5 replies
  - rasch
    
    2009-07-15 14:35
    
    User since
    2009-03-18
    15 Artikel
    BenutzerIn
    
    nicht gross, ungefaehr 5 MB.
    - +4 replies
    - nepos
      
      2009-07-15 16:12
      
      User since
      2005-08-17
      1420 Artikel
      BenutzerIn
      
      Da hättest du nicht mal Perl gebraucht:
      
      Code: (dl )
      
      grep -v "Fan 2 not rotating" old.log > new.log
      
      Das erledigt das, was du willst auch schon.
      Mit sed gehts auch, der hat sogar einen Schalter für inplace -i, damit musst du dann keine temporäre Datei erzeugen. Allerdings bin ich mit sed selbst nicht so bewandert.
      - moritz
        
        2009-07-15 16:39
        
        User since
        2007-05-11
        923 Artikel
        HausmeisterIn
        
        Ich kenn mich mit sed auch nicht aus, aber Perl hat auch den -i-Schalter:
        
        Code: (dl )
        
        perl -i.orig -ne 'print unless /^Fan 2 not rotating/' logfile.log
        
        Perl 6 - Perls Zukunft
      - +2 replies
      - betterworld
        
        2009-07-15 18:25
        
        User since
        2003-08-21
        2614 Artikel
        ModeratorIn
        
        2009-07-15T14:12:52 nepos
        Mit sed gehts auch, der hat sogar einen Schalter für inplace -i, damit musst du dann keine temporäre Datei erzeugen.
        
        Was natürlich intern auch über eine temporäre Datei implementiert ist.
        
        In einem Perl-Forum grep und sed zu empfehlen kann auch gefährlich werden ;) Auch mit Perl kann man es in einem Shell-Einzeiler machen. Siehe Beitrag von moritz.
        Lieblingsmodule: IPC::System::Simple, Path::Class
        
        nepos
        
        2009-07-16 07:55
        
        User since
        2005-08-17
        1420 Artikel
        BenutzerIn
        
        2009-07-15T16:25:56 betterworld
        2009-07-15T14:12:52 nepos
        Mit sed gehts auch, der hat sogar einen Schalter für inplace -i, damit musst du dann keine temporäre Datei erzeugen.
        
        Was natürlich intern auch über eine temporäre Datei implementiert ist.
        
        In einem Perl-Forum grep und sed zu empfehlen kann auch gefährlich werden ;) Auch mit Perl kann man es in einem Shell-Einzeiler machen. Siehe Beitrag von moritz.
        
        Warum? Beides sind unter Linux gängige Tools und grade für so dermassen simple Sachen muss man nicht gleich mit Perlscripten um sich werfen ;)
        Gibt ja noch viel mehr dieser kleinen Helferlein auf der Shell, die einem sehr oft gut Arbeit abnehmen.

View all threads created 2009-07-15 14:15.