80 Mio Zeilen einlesen (Allgemeines zu Perl)

[thread]18442[/thread]

80 Mio Zeilen einlesen

Tags: perl5 Ähnliche Threads

Leser: 35

Articles: hide open all | hide show old branches

+25 replies
FanClub

2013-07-16 10:17

User since
2013-07-16
2 Artikel
Neuzugang

Hi,

ist es möglich mit Perl eine Datei mit 80 Mio Zeilen einzulesen ohne auf ein Out of Memory zu stoßen?

gruß
Last edited: 2013-07-16 10:25:23 +0200 (CEST)
- +21 replies
- renee
  
  2013-07-16 10:29
  User since
  2003-08-04
  14371 Artikel
  ModeratorIn
  Ja, das ist möglich:
  
  * Viel Speicher ;-)
  * Möglichst wenige Daten im Speicher halten
  
  Also besser:
  
  Code: (dl )
  
  1 2 3 4
  
  open my $fh, '<', $datei; while ( my $line = <$fh> ) { # mach was mit der Zeile }
  
  als
  
  Code: (dl )
  
  1 2 3 4
  
  open my $fh, '<', $datei; for my $line ( <$fh> ) { # mach was mit der Zeile }
  
  Ersteres geht zeilenweise durch die Datei, letzteres liest erst die gesamte Datei ein und iteriert dann über die Zeilen.
  
  Edit: ggf. gibt es auch noch andere Lösungen für Dein Problem. Da Du aber die Problemstellung nicht nennst und wie die Datei aufgebaut ist, kann man dahingehend nicht weiterhelfen.
  Last edited: 2013-07-16 10:30:52 +0200 (CEST)
  OTRS-Erweiterungen (http://feature-addons.de/)
  Frankfurt Perlmongers (http://frankfurt.pm/)
  --
  
  Unterlagen OTRS-Workshop 2012: http://otrs.perl-services.de/workshop.html
  Perl-Entwicklung: http://perl-services.de/
  - +7 replies
  - FanClub
    
    2013-07-16 10:41
    User since
    2013-07-16
    2 Artikel
    Neuzugang
    
    Hi,
    
    danke für deine Hilfe.
    
    Ich habe eine XML Datei. So aufgebaut (grob)
    
    Code: (dl )
    
    1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30
    
    <Produkt> <Produkt_Nummer>5</Produkt_Nummer> <details> <details2>..</2details> </details> </Produkt> <Produkt> <Produkt_Nummer>5</Produkt_Nummer> <details> <details2>..</2details> </details> </Produkt> <Produkt> <Produkt_Nummer>5</Produkt_Nummer> <details> <details2>..</2details> </details> </Produkt> <Produkt> <Produkt_Nummer>5</Produkt_Nummer> <details> <details2>..</2details> </details> </Produkt> <Produkt> <Produkt_Nummer>9</Produkt_Nummer> <details> <details2>..</2details> </details> </Produkt>
    
    Ich will nun das XML File durchlaufen und den gesamten Block, welcher doppelt vorkommt, löschen. Leider läuft dein mechanismus auch auf einen Out of Memory.
    Last edited: 2013-07-16 10:50:22 +0200 (CEST)
    - renee
      
      2013-07-16 11:17
      
      User since
      2003-08-04
      14371 Artikel
      ModeratorIn
      
      Woran machst Du fest, dass ein Block mehrmals vorkommt? Nur die Produktnummer oder auch die Details?
      
      Ich würde für so eine Datei einen XML-Parser nehmen, der für große Dateien geeignet ist. Hier habe ich mit XML::Twig gute Erfahrungen gemacht.
      
      Das hier als Anregung:
      
      Code (perl): (dl )
      
      1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44
      
      #!/usr/bin/perl use strict; use warnings; use XML::Twig; my $file = 'test.xml'; my %seen; my $twig = XML::Twig->new( # twig_roots macht aus jedem <Produkt>-Block # ein eigenständiges "Objekt" # Für jeden Block wird die Methode "produkt" aufgerufen twig_roots => { Produkt => \&produkt, }, # gib einfach alles außerhalb der Produkt-Blöcke # aus. twig_print_outside_roots => 1, )->parsefile( $file ); sub produkt { my ($t,$elt) = @_; # hole die ProduktNummer my ($nr) = $elt->children( 'Produkt_Nummer' ); my $id = $nr->text; if ( $seen{$id}++ ) { # wenn es einen Block für die ProduktNummer bereits # gibt, dann lösche den aktuellen Block... $elt->delete; } else { # ansonsten gib ihn aus $elt->print; } # gib den Speicher frei $t->purge; }
      
      OTRS-Erweiterungen (http://feature-addons.de/)
      Frankfurt Perlmongers (http://frankfurt.pm/)
      --
      
      Unterlagen OTRS-Workshop 2012: http://otrs.perl-services.de/workshop.html
      Perl-Entwicklung: http://perl-services.de/
    - renee
      
      2013-07-16 11:18
      
      User since
      2003-08-04
      14371 Artikel
      ModeratorIn
      
      2013-07-16T08:41:12 FanClub
      Leider läuft dein mechanismus auch auf einen Out of Memory.
      Wie hast Du es denn probiert?
      OTRS-Erweiterungen (http://feature-addons.de/)
      Frankfurt Perlmongers (http://frankfurt.pm/)
      --
      
      Unterlagen OTRS-Workshop 2012: http://otrs.perl-services.de/workshop.html
      Perl-Entwicklung: http://perl-services.de/
    - +4 replies
    - clms
      
      2013-07-16 11:48
      
      User since
      2010-08-29
      373 Artikel
      BenutzerIn
      
      2013-07-16T08:41:12 FanClub
      Ich habe eine XML Datei. So aufgebaut (grob)
      
      Code: (dl )
      
      1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30
      
      <Produkt> <Produkt_Nummer>5</Produkt_Nummer> <details> <details2>..</2details> </details> </Produkt> <Produkt> <Produkt_Nummer>5</Produkt_Nummer> <details> <details2>..</2details> </details> </Produkt> <Produkt> <Produkt_Nummer>5</Produkt_Nummer> <details> <details2>..</2details> </details> </Produkt> <Produkt> <Produkt_Nummer>5</Produkt_Nummer> <details> <details2>..</2details> </details> </Produkt> <Produkt> <Produkt_Nummer>9</Produkt_Nummer> <details> <details2>..</2details> </details> </Produkt>
      
      Ich will nun das XML File durchlaufen und den gesamten Block, welcher doppelt vorkommt, löschen. Leider läuft dein mechanismus auch auf einen Out of Memory.
      
      Wenn ich es richtig verstanden habe, willst Du aus dem XML diejenigen <Produkt>...</Produkt>-Blöcke rausfiltern, deren Produkt_Nummer vorher schon einmal vorgekommen ist. Im obigen Beispiel würden also nur der erste und der letzte Produkt-Block wieder ausgegeben.
      
      Hier ein erster Ansatz mit Pseudo-Code
      
      Code (perl): (dl )
      
      1 2 3 4 5 6 7 8 9 10 11 12 13 14
      
      open(my $fh_in, '<', "input.xml") or die "... : $!"; open(my $fh_out, '>', "output.xml") or die "... : $!"; # Produkte, die schon ausgegeben wurden my %Produkt_nummer_gesehen; # lese immer einen kompletten Produktdatensatz ein local $/ = "</Produkt>"; while (my $prod = <$fh_in>) { my $pn = extract_produkt_nummer($prod); next if $Produkt_nummer_gesehen{$pn}++; print $fh_out, $prod; }
      
      Bei diesem Ansatz musst Du immer nur den Datensatz zu einem Produkt im Speicher halten plus einen Hash mit allen schon gelesenen Produktnummern.
      Bekommst du damit immer noch ein "Out of Memory"?
      
      Wenn der Datensatz für ein einzelnes Produkt so groß werden kann, dass er Deinen Speicher sprengt, die Produkt-Nummer aber immer relativ weit am Anfang des Prodiukt-Blocks steht, kann man noch etwas drehen, indem man den einzelen Produkt-Datensatz nicht auf einen Schlag einliest sondern nur bis man zur Produkt-Nummer kommt und entscheiden kann, ob man den Datensatz verwerfen oder ausgeben muss (und dann ggf. den Rest des Blocks zeilenweise lesen und gleich wieder ausgeben.) Allerdings wird dann die Programmstruktur komplexer.
      
      Wenn Du allerdings so viele und lange Produktnummern hast, dass der Hash zu groß wird, weiss ich auch nicht mehr weiter. Außer vielleicht noch eine Idee: Wenn die Produktnummern - wie in Deinem Beispiel - immer reine Zahlen sind, kann man vermutlich noch Speicherplatz sparen, in dem man int(extract_produkt_nummer($prod)) schreibt.
      - renee
        
        2013-07-16 15:48
        
        User since
        2003-08-04
        14371 Artikel
        ModeratorIn
        
        2013-07-16T09:48:08 clms
        
        Code (perl): (dl )
        
        1 2 3
        
        [...] print $fh_out, $prod; [...]
        
        Hier das Komma weglassen...
        OTRS-Erweiterungen (http://feature-addons.de/)
        Frankfurt Perlmongers (http://frankfurt.pm/)
        --
        
        Unterlagen OTRS-Workshop 2012: http://otrs.perl-services.de/workshop.html
        Perl-Entwicklung: http://perl-services.de/
      - Gast Jacop
        
        2014-02-06 09:59
        
        wie schau die funktion im detail ,extract_produkt_nummer($prod)
        kannst noch bitte den code reinschreiben
        danke
        Last edited: 2014-02-06 10:39:36 +0100 (CET)
      - Gast Jacop
        
        2014-02-06 11:21
        
        kannst du bitte den kompletten code posten auch den teil funktion
        
        Danke
        open(my $fh_in, '<', "input.xml") or die "... : $!";
        open(my $fh_out, '>', "output.xml") or die "... : $!";
        
        # Produkte, die schon ausgegeben wurden
        my %Produkt_nummer_gesehen;
        
        # lese immer einen kompletten Produktdatensatz ein
        local $/ = "</Produkt>";
        
        while (my $prod = <$fh_in>) {
        my $pn = extract_produkt_nummer($prod);
        next if $Produkt_nummer_gesehen{$pn}++;
        print $fh_out, $prod;
        Last edited: 2014-02-06 11:25:37 +0100 (CET)
  - +13 replies
  - Muffi
    
    2014-02-06 10:24
    
    User since
    2012-07-18
    1465 Artikel
    BenutzerIn
    
    Quote
    Ersteres geht zeilenweise durch die Datei, letzteres liest erst die gesamte Datei ein
    
    Sicher?
    Ich hab ja letztens von pq gelernt, dass er zumindest for (1..100000) optimieren kann. Ich könnt mir jetzt vorstellen, dass er das bei einem Iterator auch kapiert.
    1 + 1 = 10
    - Muffi
      
      2014-02-06 10:35
      
      User since
      2012-07-18
      1465 Artikel
      BenutzerIn
      
      Kleines Testprogramm geschrieben und festgestellt: Optimiert er scheinbar (zumindest in dem Fall) nicht.
      
      Code (perl): (dl )
      
      1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25
      
      { package IterTest; use overload '<>' => \&iterator, fallback => 1; my $x = 0; sub new { return bless {}, shift; } sub iterator { print "Angefragt!\n"; if ($x++ < 10) { return $x; } else { return undef; } } } my $test = IterTest->new(); for my $num (<$test>) { print "$num\n"; }
      
      Ausgabe:
      Angefragt!
      1
      
      edit: Allerdings verhält sich dieser overload auch nicht 100% gleich zum Operator. wantarray kann er ja auch nicht.
      Last edited: 2014-02-06 10:47:30 +0100 (CET)
      1 + 1 = 10
    - +7 replies
    - pq
      
      2014-02-06 10:37
      
      User since
      2003-08-04
      12208 Artikel
      Admin1
      
      2014-02-06T09:24:57 Muffi
      Ich könnt mir jetzt vorstellen, dass er das bei einem Iterator auch kapiert.
      
      also ich weiss grad nicht, wo ich in der doku nachschauen soll, aber ich meine zu wissen, dass for <$fh> nicht optimiert wird/werden kann. ich könnte mir fälle vorstellen, bei denen das das verhalten ändert, wenn perl intern auf iteration umstellt.
      
      Code: (dl )
      
      1 2 3 4
      
      echo "foo bar" |perl -wE'while (<STDIN>) { print "$. $_" }' 1 foo 2 bar
      
      Code: (dl )
      
      1 2 3 4
      
      echo "foo bar" |perl -wE'for (<STDIN>) { print "$. $_" }' 2 foo 2 bar
      
      Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
      lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
      - Gast jacop
        
        2014-02-06 11:03
        
        war nicht meine antwort oder??
        Last edited: 2014-02-06 11:25:39 +0100 (CET)
      - +4 replies
      - Gast Jacop
        
        2014-02-06 11:55
        
        kannst du mir helfen??
        wie schaut my $pn = extract_produkt_nummer($prod); im detail
        
        Danke
        
        open(my $fh_in, '<', "input.xml") or die "... : $!";
        open(my $fh_out, '>', "output.xml") or die "... : $!";
        
        # Produkte, die schon ausgegeben wurden
        my %Produkt_nummer_gesehen;
        
        # lese immer einen kompletten Produktdatensatz ein
        local $/ = "</Produkt>";
        
        while (my $prod = <$fh_in>) {
        my $pn = extract_produkt_nummer($prod);
        next if $Produkt_nummer_gesehen{$pn}++;
        print $fh_out, $prod;
        Last edited: 2014-02-06 11:58:14 +0100 (CET)
        
        +3 replies
        
        renee
        
        2014-02-06 12:00
        
        User since
        2003-08-04
        14371 Artikel
        ModeratorIn
        
        Was hast Du denn bisher probiert? Wo hast Du Probleme? Wir wollen hier helfen und nicht unbedingt ganze Programme schreiben.
        
        Ein paar mögliche Ansätze für die Funktion
        
        entweder
        
        1) mit Regulären Ausdrücken die Nummer rausziehen
        
        oder
        
        2) ein Modul nehmen um das Teil-XML parsen zu lassen und dann über Methoden des Moduls die Nummer rausziehen.
        
        Edit: Bitte in Zukunft Code in die entsprechenden [code]-Tags packen
        OTRS-Erweiterungen (http://feature-addons.de/)
        Frankfurt Perlmongers (http://frankfurt.pm/)
        --
        
        Unterlagen OTRS-Workshop 2012: http://otrs.perl-services.de/workshop.html
        Perl-Entwicklung: http://perl-services.de/
        
        +2 replies
        
        Gast Jacop
        
        2014-02-06 12:21
        
        Ich will ohne xml module auskommen, ich lese xml file Blöckweisse
        open(my $fh_in, '<', "produkt.xml") or die "... : $!";
        local $/ = "</Produkt>";
        
        <Produkt>
        <Produkt_Nummer>5</Produkt_Nummer>
        <details>
        <details2>..</2details>
        </details>
        </Produkt>
        <Produkt>
        <Produkt_Nummer>5</Produkt_Nummer>
        <details>
        <details2>..</2details>
        </details>
        </Produkt>
        <Produkt>
        
        dann möchte aber den block nach produktnummer suchen und redundante löschen
        Last edited: 2014-02-06 12:35:53 +0100 (CET)
        
        renee
        
        2014-02-06 16:10
        
        User since
        2003-08-04
        14371 Artikel
        ModeratorIn
        
        renee
        Was hast Du denn bisher probiert? Wo hast Du Probleme? Wir wollen hier helfen und nicht unbedingt ganze Programme schreiben.
        
        Das gilt weiterhin ;-)
        
        Wenn Du nur die Produktnummer brauchst, brauchst Du auch keine Funktion, sondern da reicht ein einfacher Regulärer Ausdruck.
        
        Tipp:
        
        Code: (dl )
        
        my ($pn) = $prod m/<RegulärerAusdruck>/;
        
        Den Ersatz für "<RegulärerAusdruck>" musst Du selbst schreiben. Probier es mal!
        OTRS-Erweiterungen (http://feature-addons.de/)
        Frankfurt Perlmongers (http://frankfurt.pm/)
        --
        
        Unterlagen OTRS-Workshop 2012: http://otrs.perl-services.de/workshop.html
        Perl-Entwicklung: http://perl-services.de/
      - Linuxer
        
        2014-08-04 19:10
        
        User since
        2006-01-27
        3870 Artikel
        HausmeisterIn
        
        War gerade noch mal neugierig; man könnte evtl. http://perldoc.perl.org/perlsyn.html#For-Loops als "Begründung" verwenden. Darin findet sich - recht allgemein - folgende Formulierung:
        
        perldoc perlsyn
        ...
        The foreach loop iterates over a normal list value and sets the variable VAR to be each element of the list in turn.
        ...
        The foreach keyword is actually a synonym for the for keyword, so you can use either.
        ...
        
        Da ich keine Ausnahmen-Definition gefunden habe; bedeutet das (IMHO), dass bei for ( <$fh> ) das <$fh> eben im List-Kontext gelesen wird, und das ist dann eben der gesamte, bzw. restliche Inhalt der über diesen Handle gelesenen Datei.
        meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
        Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
    - +4 replies
    - renee
      
      2014-02-06 11:56
      
      User since
      2003-08-04
      14371 Artikel
      ModeratorIn
      
      Ja sicher. Ich weiß zwar nicht mehr wo in der Doku das steht, lässt sich aber leicht durch testen ausprobieren...
      
      Was ich aber nicht wusste und definitiv interessant ist:
      
      Code: (dl )
      
      for(;<$fh>;){}
      
      (man beachte die ";") wird optimiert.
      
      https://gist.github.com/reneeb/8842073
      
      Das nach dem "=>" ist die Ausgabe von top.
      OTRS-Erweiterungen (http://feature-addons.de/)
      Frankfurt Perlmongers (http://frankfurt.pm/)
      --
      
      Unterlagen OTRS-Workshop 2012: http://otrs.perl-services.de/workshop.html
      Perl-Entwicklung: http://perl-services.de/
      - +3 replies
      - Muffi
        
        2014-02-06 13:15
        
        User since
        2012-07-18
        1465 Artikel
        BenutzerIn
        
        Naja, dass das geht hätt ich jetzt schon gedacht.
        Da wird auch nix optimiert, das ist die normale C-for-Schleife.
        1 + 1 = 10
        
        +2 replies
        
        renee
        
        2014-02-06 16:05
        
        User since
        2003-08-04
        14371 Artikel
        ModeratorIn
        
        Ok, optimiert ist vielleicht falsch, aber es ist dwimmy. Das überprüft nämlich nicht auf "false" sondern auf "defined".
        
        Und Schleifen im C-Stil tauchen bei mir nur ganz selten auf (und C programmier ich äußerst selten)... Also für mich war das neu.
        OTRS-Erweiterungen (http://feature-addons.de/)
        Frankfurt Perlmongers (http://frankfurt.pm/)
        --
        
        Unterlagen OTRS-Workshop 2012: http://otrs.perl-services.de/workshop.html
        Perl-Entwicklung: http://perl-services.de/
        
        Muffi
        
        2014-02-06 16:31
        
        User since
        2012-07-18
        1465 Artikel
        BenutzerIn
        
        Ah, stimmt!
        Und so wies ausschaut stehts auch in $_.
        
        Magic, magic
        1 + 1 = 10
- +3 replies
- hlubenow
  
  2014-02-06 16:15
  User since
  2009-02-22
  875 Artikel
  BenutzerIn
  Ist ja lustig, daß noch keiner auf Tie::File hingewiesen hat:
  
  Code (perl): (dl )
  
  1 2 3 4 5 6 7 8
  
  #!/usr/bin/perl use warnings; use strict; use Tie::File; my @array; tie(@array, 'Tie::File', "file.txt") or die; print "$array[13]\n";
  
  Danach hast Du das also bequem in einem Array.
  
  Quote
  The file is not loaded into memory, so this will work even for gigantic files.
  - +2 replies
  - renee
    
    2014-02-06 17:09
    
    User since
    2003-08-04
    14371 Artikel
    ModeratorIn
    
    Orientiert sich das auch an $/? Ansonsten muss man sich selbst drum kümmern wo ein Produkt anfängt bzw. aufhört während man über das Array iteriert...
    OTRS-Erweiterungen (http://feature-addons.de/)
    Frankfurt Perlmongers (http://frankfurt.pm/)
    --
    
    Unterlagen OTRS-Workshop 2012: http://otrs.perl-services.de/workshop.html
    Perl-Entwicklung: http://perl-services.de/
    - Linuxer
      
      2014-02-06 18:04
      
      User since
      2006-01-27
      3870 Artikel
      HausmeisterIn
      
      Scheint so zu sein; siehe Tie::File#recsep
      meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
      Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!

View all threads created 2013-07-16 10:17.