Memory Leak (Allgemeines zu Perl)

[thread]9035[/thread]

Memory Leak

weismat

2007-05-25 14:39

User since
2003-08-18
142 Artikel
BenutzerIn
[default_avatar]

Welche Strategie benutzt Ihr, Memory Leaks zu finden?
Ich habe in einem recht einfachen Skript einen Leak und habe keine gute Idee, wo ich suchen muss.
Das Skript arbeitet mit einer großen Schleife, die einmal pro Minute durchlaufen wird und verliert pro Durchlauf ein 10 MB.
Wie kann ich erzwingen, daß ein Hash-Table gelöscht? Den habe ich im Verdacht, aber das Umstellen der Deklaration von außerhalb nach innerhalb der Schleife, hat nix gebracht...

2007-05-25 15:12

User since
2003-08-04
12208 Artikel
Admin1

- strict benutzen
- CPAN:

Devel::Size für einzelne datenstrukturen benutzen
- innerhalb er schleife debuggen, also an mehreren stellen die prozessgrösse
beobachten / mitloggen

Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
lesen: Wiki:

Wie frage ich & perlintro Wiki:

brian's Leitfaden für jedes Perl-Problem

weismat

2007-05-25 18:03

User since
2003-08-18
142 Artikel
BenutzerIn
[default_avatar]

Hmm...Gute Ideen...
strict benutze ich schon immer...
Ich habe alle Variablen lokal gemacht - ergo würde ich erwarten, daß die Garbage Collection automatisch die Variablen wegräumt, wenn ich das nächste mal durch meine while Schleife durchlaufe.
Was mich überracht, ist der Sprung in 4 MB Schritten.

Sucher

2007-05-25 19:50

User since
2007-03-26
47 Artikel
BenutzerIn
[default_avatar]

Hallo,

Devel::Leak

kann auch nützlich sein.

Grüße,

bloonix

2007-05-25 21:44

User since
2005-12-17
1615 Artikel
HausmeisterIn

Wenn du hier und da schauen möchtest, was dein Skript aktuell so macht...

Code: (dl )

use strict;
use warnings;
use Sys::Statistics::Linux;
use Data::Dumper;

my $pid = $$;

my $lxs = Sys::Statistics::Linux->new(
   Processes => {
      init => 1,
      pids => [ $pid ]
   }
);

sleep 1;

my $stat = $lxs->get->{Processes}->{$pid};
print Dumper($stat);

---
Edit: vorausgesetzt du nutzt ein Linux\n\n

What is a good module? That's hard to say.
What is good code? That's also hard to say.
One man's Thing of Beauty is another's man's Evil Hack.

betterworld

2007-05-26 17:19

User since
2003-08-21
2613 Artikel
ModeratorIn

user image

weismat: Benutzt Du zyklische Referenzen?\n\n

Lieblingsmodule: CPAN:

IPC::System::Simple, CPAN:

Path::Class

weismat

2007-05-26 19:05

User since
2003-08-18
142 Artikel
BenutzerIn
[default_avatar]

Betterworld hat wohl den Nagel auf dem Kopf getroffen.
Ich benutze sehr viele tiefgeschachtelte Referenzen auf Hashes, die mehrere Ebenen tief sind.
Ich parse große Datenstrukturen und habe auch schon den Parser ausgetauscht, weil ich dort zuerst das Leak vermutet hatte. Der eine Parser ist selbst geschrieben, der andere basiert auf JSON::XS.
Wie sollte ich solche Datenstrukturen aufräumen, wenn es der Garbage Collector nicht schafft? Ich hätte erwartet, daß durch ein einfaches Zuweisen nach einem neuen Parsing alles darunter weggeräumt wird.
Das Programm läuft übrigens unter Solaris...Zum Glück hat die Maschine noch so 10 GB Swap frei - aber ich war erschrocken, als ich den Speicherbedarf zufällig gesehen habe.\n\n

weismat

2007-05-26 20:08

User since
2003-08-18
142 Artikel
BenutzerIn
[default_avatar]

Dieser Artikel sieht ganz gut aus...
http://letsgetdugg.com/view....95;Perl

betterworld

2007-05-26 20:56

User since
2003-08-21
2613 Artikel
ModeratorIn

user image

[quote=weismat,26.05.2007, 17:05]Betterworld hat wohl den Nagel auf dem Kopf getroffen.
Ich benutze sehr viele tiefgeschachtelte Referenzen auf Hashes, die mehrere Ebenen tief sind.[/quote]
Tief und verschachtelt ist kein Problem, sondern zyklisch. Das bedeutet praktisch, dass irgendwo in einer Struktur eine Referenz auf den Anfang der Struktur gespeichert ist, wie in den folgenden Beispielen:

Code: (dl )

# Einfacher Hash
my $foo; $foo = {foo=>\$foo};

# Komplizierterer Hash
my $bar = {
    blubb => {}
};
$bar->{blubb}{ding}{dang} = \$bar->{blubb};

# Closure (besonders trickreich)
my ($sub1, $sub2);
$sub1 = sub {sub2->();};
$sub2 = sub {sub1->();};

Wenn Du an einem bestimmten Punkt weisst, dass Du eine Struktur nicht mehr brauchst, kannst Du versuchen, den Kreis zu brechen, damit der Garbage Collector den Rest machen kann. (Das ist bei Closures allerdings oft nicht moeglich.)
Ansonsten hilft weaken() aus Scalar::Util. Wenn man das verwendet, sollte man aber gut testen, ob es wirklich funktioniert, denn meiner Erfahrung nach verhaelt es sich manchmal seltsam.
Eine dritte Moeglichkeit, von der ich mal gelesen habe, sind Proxy-Objekte. Das ist allerdings ziemlich obskur und ich habe es auch noch nie eingesetzt.

DESTROY ist hier uebrigens zum Debuggen hilfreich.\n\n

Lieblingsmodule: CPAN:

IPC::System::Simple, CPAN:

Path::Class

weismat

2007-05-29 14:30

User since
2003-08-18
142 Artikel
BenutzerIn
[default_avatar]

Vielen Dank für die Hilfe.
Das Loch kam durch einen mehrdimensionalen Hash Table zustande, der auf Zweige eines Baumes verweisst.
Über diesen mehrdimensionalen Hash-Table wird der Baum nach mehreren Kriterien sortiert.
Der Baum lief dann zwar out-of-scope, aber die Zweige wurden nicht gelöscht, wenn der Hash-Table out-of-scope ging.
Ich habe erstmal den Hash-Table persistent gemacht, indem ich noch einen zwei Keys hinzugefügt habe und damit ist das Speicher-Loch verschwunden.

View all threads created 2007-05-25 14:39.