Enorme Speicherauslastung (mod_perl und Apache)

[thread]15884[/thread]

Enorme Speicherauslastung

Leser: 26

Articles: hide open all | hide show old branches

+12 replies
Knochen

2011-01-25 10:47
User since
2007-03-28
11 Artikel
BenutzerIn
Hallo Zusammen,

ich habe wiedermal ein neues Problem, dieses mal geht es wahrscheinlich eher um die Apache Konfiguration.

Ich habe weiterhin einen Windows Server mit ActiveState Perl 5.12, Apache 2.2.16 sowie mod_perl 2.04 am Laufen. Die httpd.conf ist Standard bis auf folgende Modifikationen:
Code: (dl )

1 2 3 4 5 6 7 8 9 10 11 12 13 14

LoadFile "C:/Programme/MARIS/Perl/bin/perl512.dll" LoadModule perl_module modules/mod_perl.so PerlRequire "C:/Programme/MARIS/WebServer/conf/stdlibs.pl" <IfModule mime_module> # Perl handlers / types <Files ~ "\.(cgi|pl|plx)$"> SetHandler perl-script Options +ExecCGI PerlHandler ModPerl::PerlRun PerlSendHeader On PerlSetupEnv On </Files> </IfModule>
Wenn ich nun den Apache starte und ca 10 Arbeitsplätze starten ihre Arbeit, so geht die Speicherauslastung einer httpd.exe auf dem Server innerhalb von 4-5 Stunden von 15 MB auf 300 MB. Innerhalb von 4 Tagen ist sie bei ca. 1,5 GB!!!

Hat jemand eine Idee an was das liegen könnte oder Tipps, wie ich die Last reduzieren kann?

Vielen Dank und viele Grüße,
Jochen
- +2 replies
- GwenDragon
  
  2011-01-25 11:09
  
  User since
  2005-01-17
  14835 Artikel
  Admin1
  
  Wie misst du diese Speicherauslsatung? Hast du mal beim Server den Link mit Parameter ?perl-status abgerufen?
  
  Kann es sein, dass in deinen Programmen Modulen irgendwo immer wieder ein anonymes Objekt (Hash, Array o. ä.) erzeugt wird, die nicht von dir wieder freigegeben werden?
  Last edited: 2011-01-25 11:14:49 +0100 (CET)
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
  - Knochen
    
    2011-01-25 11:23
    
    User since
    2007-03-28
    11 Artikel
    BenutzerIn
    
    Das mit der Speicherauslastung sehe ich im Task-Manager des Windows Servers. Dein Vorschlag mit dem Objekt würde ich zu 99,9% ausschließen! Das mit dem PArameter probiere ich mal, vielen Dank!
- +3 replies
- GwenDragon
  
  2011-01-25 11:40
  
  User since
  2005-01-17
  14835 Artikel
  Admin1
  
  Wieviele Apache-Prozesse starten denn?
  Verwendest du für die Apache-Prozesse forking oder threading?
  
  Es könnte natürlich auch Apache, mod_perl2, ActiveState ein Speicherleck haben.
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
  - +2 replies
  - Knochen
    
    2011-01-25 13:18
    
    User since
    2007-03-28
    11 Artikel
    BenutzerIn
    
    Also wenn ich den Apache starte, starten immer 2 httpd.exe Prozsse, allerdings wird scheinbar immer nur einer mit Anfragen gefüttert, da nur einer von der Speicherlast größer wird. Ich verwende Apache-MPM winnt, also threading.
    - torsten
      
      2011-01-26 09:31
      
      User since
      2010-08-16
      45 Artikel
      BenutzerIn
      
      Der eine, der nur faul im Speicher rumliegt, überwacht den anderen. Beendet sich dieser aus Versehen, wird ein neuer Prozess gestartet.
      
      Zu modperl mit einem threaded MPM ist viel geschrieben worden. Fazit, Du brauchst VIEL RAM. Der Grund: modperl verwaltet einen Pool von Perl-Interpretern. In deinem Worker-Prozess läuft also nicht nur ein Perl sondern mehrere. Jeder Perl Interpreter lädt und kompiliert nun alle Module, die Deine Programme benötigen. Kompilierter Perl Code ist groß. Unter Linux kannst Du das ganz gut mit Linux::Smaps messen. Als Beispiel-Code eignet sich CGI.pm. Das kompiliert die meisten Funktionen nämlich on-demand. Auf meinem aktuellen System ergibt das folgendes:
      
      Code (perl): (dl )
      
      1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22
      
      $ perl -MLinux::Smaps -Mstrict -le ' my $s=Linux::Smaps->new; my $p; sub p { $s->update; my $c=$s->private_dirty+$s->private_clean; print $_[0], ": ", $c-$p; $p=$c; } p "start"; p "start2"; require CGI; p "required"; CGI->compile(":all"); p "compiled"; p "end" ' start: 1296 start2: 8 required: 1036 compiled: 2240 end: 0
      
      Die Angaben sind in Kilobytes. Nach dem Start belegt der Perl Prozess also fast 1.3 MB. Für die erste Ausgabe kommen nochmal 8 kB dazu. Das Einbinden des CGI Moduls braucht ca. 1 MB, der kompilierte Code jedoch 2.2 MB.
      
      Nun multipliziere ein wenig und schon kommen Dir Deine Zahlen realistischer vor.
- +6 replies
- GwenDragon
  
  2011-01-25 15:55
  
  User since
  2005-01-17
  14835 Artikel
  Admin1
  
  Teste doch mal, mit dem Programm ab viele konkurrierende Anfragen lokal an den Server zu senden und dann zu sehen, was passiert.
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
  - +5 replies
  - Knochen
    
    2011-01-28 09:36
    
    User since
    2007-03-28
    11 Artikel
    BenutzerIn
    
    Hallo zusammen,
    
    vielen Dank für die Antworten. Zu dem Test kam ich noch nicht, allerdings hätte ich da noch etwas gefunden, was vllt. den Fehler verursachen könnte.
    
    Ich bekomme sehr sehr sehr oft den Fehler "Constant subroutine ... redefined at .../ModPerl/Util.pm line 69"
    
    Grund dafür ist ein Script welches bis zu 5 mal gleichzeitig ein anderes Script (kein package) aufruft in dem 2 Subs sind. Jedes dieser Scripte ruft sich in einem bestimmten Zeitintervall wieder selbst auf (aktualisiert sich) wodurch diese Fehlermeldung immer wieder in die Logs geschrieben wird.
    
    Kann es sein, dass das den Speicher zusätzlich belastet? Gibt es eine Möglichkeit zu definieren, dass die Subs in dem einen Script nicht immer redefined werden?
    
    Vielen Dank und viele Grüße,
    Jochen
    - +4 replies
    - pq
      
      2011-01-28 10:55
      
      User since
      2003-08-04
      12209 Artikel
      Admin1
      
      mod_perl kompiliert das skript neu, wenn es sich geändert hat. und das für jeden mod_perl-prozess einmal. nach einer änderung bekommst du diese meldungen also so oft wie du apache-prozesse hast.
      
      siehe auch: subroutine redefined
      
      es sind nur warnungen und können in diesem fall ignoriert werden.
      Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
      lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
      - +3 replies
      - Knochen
        
        2011-01-28 11:24
        
        User since
        2007-03-28
        11 Artikel
        BenutzerIn
        
        Heißt ändern in dem Fall auch, wenn sich der Wert der Variablen ändert und nicht der Code des Skripts?
        
        +2 replies
        
        pq
        
        2011-01-28 11:30
        
        User since
        2003-08-04
        12209 Artikel
        Admin1
        
        nein, nur wenn sich der quellcode ändert.
        Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
        lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
        
        Knochen
        
        2011-01-28 11:35
        
        User since
        2007-03-28
        11 Artikel
        BenutzerIn
        
        Ok, dann bin ich noch auf dem richtigen Stand. Allerdings werden die Warnings immer geloggt, wenn das Skript neu aufgerufen wird! Deswegen schätze ich auch, dass es an den Subs liegt. Ich werde mal versuchen, die Subs in eine lib auszulagern und zu schauen, ob die Meldungen dann noch erscheinen.

View all threads created 2011-01-25 10:47.