gezippte Dateien mit perl durchsuchen (a la zgrep)? (Allgemeines zu Perl)

[thread]14481[/thread]

gezippte Dateien mit perl durchsuchen (a la zgrep)?

Leser: 22

Articles: hide open all | hide show old branches

+22 replies
toby

2010-01-12 11:20

User since
2006-04-14
66 Artikel
BenutzerIn

Hi Leute,

normale ascii-Dateien mit perl durchsuchen ist ja kein Problem. Ich habe nun aber Unmengen an riesigen mit gzip komprimierten Dateien die ich unter bestimmten Aspekten durchsuchen muss. Da ich zu wenig Plattenplatz habe - und es doppelte Arbeit machen würde - um alle erst zu entpacken und dann die unkomprimierte zu durchsuchen und nachher wieder zu packen, suche ich eine Möglichkeit die komprimierte Dateien direkt zu durchsuchen. Unter Unix/Linux gibt es das Tool zgrep. Gibt es ähnliche Möglichkeit im perl?

Danke
Toby
- bianca
  
  2010-01-12 11:25
  
  User since
  2009-09-13
  7016 Artikel
  BenutzerIn
  
  2010-01-12T10:20:56 toby
  Unter Unix/Linux gibt es das Tool zgrep.
  
  Ruf das doch dann einfach mit Perl auf
  perldoc -f system
  10 print "Hallo"
  20 goto 10
- pq
  
  2010-01-12 11:25
  
  User since
  2003-08-04
  12209 Artikel
  Admin1
  
  Schau dir mal IO::Uncompress::Gunzip an. das kann zeilenweise aus gzips lesen. wie schnell das ist, musst du dir mal anschauen. Ggfs. kann es auch günstiger sein, einen Systemcall zu zgrep zu machen.
  Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
  lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
- GwenDragon
  
  2010-01-12 11:27
  
  User since
  2005-01-17
  14892 Artikel
  Admin1
  
  Schau dir mal IO::Compress an, da besonders IO::Uncompress::Gunzip
  //EDIT: Typo
  Last edited: 2010-01-12 11:29:04 +0100 (CET)
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
- renee
  
  2010-01-12 11:27
  
  User since
  2003-08-04
  14371 Artikel
  ModeratorIn
  
  Wenn Du es plattformunabhängig mit Perl machen willst, kannst Du auch Module wie Archive::Zip verwenden. A::Z hat z.B. eine Methode contains, mit der Du an die Inhalte kommst.
  OTRS-Erweiterungen (http://feature-addons.de/)
  Frankfurt Perlmongers (http://frankfurt.pm/)
  --
  
  Unterlagen OTRS-Workshop 2012: http://otrs.perl-services.de/workshop.html
  Perl-Entwicklung: http://perl-services.de/
- +16 replies
- sid burn
  
  2010-01-12 11:58
  User since
  2006-03-29
  1520 Artikel
  BenutzerIn
  Was ich ebenfalls empfehlen kann ist PerlIO::gzip
  Dann musst du nur folgendes machen:
  
  Code (perl): (dl )
  
  1 2 3 4 5 6 7
  
  use PerlIO::gzip; open my $foo, "<:gzip", "file.gz" or die $!; while ( my $line = <$foo> ) { print $line; } close $foo or die $!;
  
  gzip dekomprimierung passiert transparent im hintergrund. klappt auch mit schreiben! (habe es aber noch nie schreibend genutzt).
  
  EDIT:
  Hatte es ebenfalls in einem Szenario für Logdateien genutzt die gz komprimiert waren und die ich durcharbeiten wollte. Ich denke es ist die simpelste Lösung du musst es nicht vorher dekomprimieren keine zusätzlich API lernen, system() calls oder ähnliches rumfuchteln. Ansonsten zum Speed war es deutlich schneller als eine vorherige dekomprimierung. Es ist sogar schneller als eine schon unkromprimierte Datei durchzugehen (zumindest war es das mit meinen Daten wo die unkrompimierten Logdateien meist ~1GiB oder größer waren). Liegt daran das die komrpimierten meist nur 100MiB groß waren und die I/O ersparnis größer ist als der zusätzlich CPU aufwand für das dekomprimieren.
  Last edited: 2010-01-12 12:05:48 +0100 (CET)
  Nicht mehr aktiv. Bei Kontakt: ICQ: 404181669 E-Mail: perl@david-raab.de
  - +14 replies
  - toby
    
    2010-01-12 12:05
    
    User since
    2006-04-14
    66 Artikel
    BenutzerIn
    
    Mahlzeit! :)
    
    Da kommt man aus der Pause zurück und schon hat man qualifizierte Antworten! :-)
    
    Die Idee mit system() werde ich nicht verfolgen ;-) aber die Module "IO::Uncompress::Gunzip" und "PerlIO::gzip" schaue ich mir nun genauer an. Wichtig ist mir, dass es zeilenweise passiert, sonst bekommt mein Programm dicke Backen, das scheinen aber beide Module richtig zu machen.
    
    Vielen Dank!!!
    Toby
    - +13 replies
    - bianca
      
      2010-01-12 12:07
      
      User since
      2009-09-13
      7016 Artikel
      BenutzerIn
      
      2010-01-12T11:05:41 toby
      Die Idee mit system() werde ich nicht verfolgen ;-)
      
      Was spricht dagegen?
      10 print "Hallo"
      20 goto 10
      - +4 replies
      - toby
        
        2010-01-12 12:08
        
        User since
        2006-04-14
        66 Artikel
        BenutzerIn
        
        2010-01-12T11:07:06 bianca
        2010-01-12T11:05:41 toby
        Die Idee mit system() werde ich nicht verfolgen ;-)
        
        Was spricht dagegen?
        
        Wenn es nicht sein muss, versuche ich syscalls zu vermeiden.
        
        LG
        Toby
        
        +3 replies
        
        bianca
        
        2010-01-12 12:15
        
        User since
        2009-09-13
        7016 Artikel
        BenutzerIn
        
        2010-01-12T11:08:29 toby
        Wenn es nicht sein muss, versuche ich syscalls zu vermeiden.
        
        Darf ich fragen, was gegen syscalls spricht?
        
        @pq: Nein, ich will nicht meine Lösung verteidigen, sondern lernen.
        10 print "Hallo"
        20 goto 10
        
        pq
        
        2010-01-12 12:16
        
        User since
        2003-08-04
        12209 Artikel
        Admin1
        
        2010-01-12T11:15:30 bianca
        Darf ich fragen, was gegen syscalls spricht?
        
        die nicht vorhandene portabilität.
        Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
        lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
        
        sid burn
        
        2010-01-12 12:19
        
        User since
        2006-03-29
        1520 Artikel
        BenutzerIn
        
        2010-01-12T11:15:30 bianca
        2010-01-12T11:08:29 toby
        Wenn es nicht sein muss, versuche ich syscalls zu vermeiden.
        
        Darf ich fragen, was gegen syscalls spricht?
        
        Für system() aufrufe muss man generell im vorfeld darauf achten das sie überhaupt sicher sind. Ohne system() musst du dir solche gedanken nicht machen.
        
        Ansonsten halte ich fehler abfangen von system() aufrufen für potentiell schwieriger dazu kommt noch das es unportabel ist. Ansonsten sind neue Prozesse erzeugen eher aufwendig. Daher oft system() geht auf die Performance.
        Nicht mehr aktiv. Bei Kontakt: ICQ: 404181669 E-Mail: perl@david-raab.de
      - +8 replies
      - sid burn
        
        2010-01-12 12:15
        
        User since
        2006-03-29
        1520 Artikel
        BenutzerIn
        
        Inwiefern sollte system() auch weiterhelfen? system() captured keine ausgabe von programmen. Das heißt system() läuft und in der gleichen zeit steht der Perl Code. Man könnte gunzip machen, bedeutet aber die datei muss vorher komplett dekomprimiert auf der festplatte werden.
        
        Ein qx() um die ausgabe eines programmes einzufangen ist auch nicht empfehlenswert da so erst die komplette datei dekomprimiert und im speicher abgelegt wird.
        
        Einzige annehmbare Lösung wäre ein "open" mit einer Pipe zu zgrep aber das wäre ja kein system() mehr.
        Nicht mehr aktiv. Bei Kontakt: ICQ: 404181669 E-Mail: perl@david-raab.de
        
        +7 replies
        
        pq
        
        2010-01-12 12:19
        
        User since
        2003-08-04
        12209 Artikel
        Admin1
        
        ein qx() sollte doch gehen, wieso legt es die komplette datei dekomprimiert ab?
        qx(zgrep suche datei.gz)
        Lediglich falls das sehr viele Ergebniszeilen hat, bleiben die im Speicher. Dann empfiehlt sich sicher ein zeilenweises Einlesen mit open.
        Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
        lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
        
        +6 replies
        
        sid burn
        
        2010-01-12 12:23
        
        User since
        2006-03-29
        1520 Artikel
        BenutzerIn
        
        Klar geht ein qx() wenn die dekomprimierte Datei aber 1GiB groß ist hast du damit 1GiB an speicher verbraten. Dazu kommt noch das ein qx() nocht Iterativ arbeitet sondern erst komplett den Befehl ausführt die ausgabe abspeichert und dann fort fährt. Während ein open mit einer Pipe oder die Module wie PerlIO::gzip Iterativ arbeiten und nur häpchenweise die datei auslesen und man sofort mit den Daten arbeitet. Das ist sehr Speicherschonend und in der Regel auch performanter.
        
        EDIT: Btw. sehe noch gerade das es ja um "zgrep" nicht "zcat" geht. Okay bei "zgrep" legt es eben nur die gefundenen Zeilen in Speicher ab und natürlich nicht die vollständige datei.
        Last edited: 2010-01-12 12:26:16 +0100 (CET)
        Nicht mehr aktiv. Bei Kontakt: ICQ: 404181669 E-Mail: perl@david-raab.de
        
        pq
        
        2010-01-12 12:28
        
        User since
        2003-08-04
        12209 Artikel
        Admin1
        
        nochmal: gehen wir davon aus, dass die anzahl der ergebniszeilen eine zgrep relativ klein ist. wieso sollte dann bei einem qx(zgrep ...) die gesamte datei im speicher liegen? bzw. was ist der unterschied zum aufruf von zgrep in der shell?
        ich sagte doch, lediglich, wenn die anzahl der ergebniszeilen sehr gross ist, will man darüber vielleicht pipen.
        was ich nicht kapiere, wieso zgrep plötzlich die komplette datei in den speicher legen sollte, wenn es das auf der kommandozeile nicht tut.
        vgl.
        
        Code: (dl )
        
        1 2 3 4
        
        $ zgrep foo bar.gz vs. my @output = qx(zgrep foo bar.gz);
        
        ich stimme dir ja zu, dass bei vielen ergebniszeilen diese im speicher liegen. aber nicht die gesamte datei.
        Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
        lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
        
        +4 replies
        
        pq
        
        2010-01-12 12:29
        
        User since
        2003-08-04
        12209 Artikel
        Admin1
        
        2010-01-12T11:23:11 sid burn
        EDIT: Btw. sehe noch gerade das es ja um "zgrep" nicht "zcat" geht.
        
        das versuchte ich eigentlich mit meinem beispiel deutlich zu machen, ja.
        Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
        lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
        
        +3 replies
        
        sid burn
        
        2010-01-12 12:43
        
        User since
        2006-03-29
        1520 Artikel
        BenutzerIn
        
        2010-01-12T11:29:02 pq
        2010-01-12T11:23:11 sid burn
        EDIT: Btw. sehe noch gerade das es ja um "zgrep" nicht "zcat" geht.
        
        das versuchte ich eigentlich mit meinem beispiel deutlich zu machen, ja.
        
        Hättest auch gleich einfach drauf hinweisen können das "zgrep" nicht alle Zeilen einliest sondern nur die gefunden. Dann wäre es mir auch sofort mein Fehler aufgefallen das natürlich "zgrep" da steht (habs zwar auch so gelesen aber an "zcat" gedacht) und so meine aussage natürlich nicht ganz stimmt.
        Nicht mehr aktiv. Bei Kontakt: ICQ: 404181669 E-Mail: perl@david-raab.de
        
        pq
        
        2010-01-12 12:52
        
        User since
        2003-08-04
        12209 Artikel
        Admin1
        
        2010-01-12T11:43:08 sid burn
        Hättest auch gleich einfach drauf hinweisen können das "zgrep" nicht alle Zeilen einliest sondern nur die gefunden.
        
        also bitte. jetzt machst du mich auch noch verantwortlich, weil ich nicht ahnen konnte, dass du grad zgrep und zcat verwechselst? mein güte...
        im übrigen meinst du vermutlich "ausgibt" statt "einliest".
        
        Quote
        (habs zwar auch so gelesen aber an "zcat" gedacht)
        
        ich kann nicht hellsehen, obwohl ich es immer wieder versuche...
        
        es war doch geklärt, wieso versuchst du mir jetzt zum vorwurf zu machen, dass ich nicht in dein gehirn gucken kann?
        Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
        lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
        
        Escape
        
        2010-01-12 22:03
        
        User since
        2008-07-24
        312 Artikel
        BenutzerIn
        
        2010-01-12T11:43:08 sid burn
        2010-01-12T11:29:02 pq
        2010-01-12T11:23:11 sid burn
        EDIT: Btw. sehe noch gerade das es ja um "zgrep" nicht "zcat" geht.
        
        das versuchte ich eigentlich mit meinem beispiel deutlich zu machen, ja.
        
        Hättest auch gleich einfach drauf hinweisen können das "zgrep" nicht alle Zeilen einliest sondern nur die gefunden. Dann wäre es mir auch sofort mein Fehler aufgefallen das natürlich "zgrep" da steht (habs zwar auch so gelesen aber an "zcat" gedacht) und so meine aussage natürlich nicht ganz stimmt.
        
        Hmmm ...
        Warst Du es nicht der im Zusammenhang mit Anwortposts von 'albern' sprach ;-)
        Die Deutsche Rechtschreibung ist Freeware; Du darfst sie kostenlos nutzen – aber sie ist nicht Open Source, d.h. Du darfst sie nicht verändern und/oder in veränderter Form veröffentlichen.
  - Gast anon
    
    2010-01-12 15:10
    
    Dies ist der beste Ansatz. +1, wenn ich könnte.
- Gast wer
  
  2010-01-12 12:55
  
  Es gibt noch IO::Zlib das baut auf Compress::Zlib auf.

View all threads created 2010-01-12 11:20.