Out of Memory! mit Archive::Tar (Allgemeines zu Perl)

[thread]20629[/thread]

Out of Memory! mit Archive::Tar

Tags: perl5 Ähnliche Threads

Leser: 16

Articles: hide open all | hide show old branches

+11 replies
RalphFFM

2019-06-23 20:21
User since
2006-11-16
258 Artikel
BenutzerIn
Ich möchte den Inhalt jedes Verzeichnisses mittels Archiv::Tar in jeweils ein Archiv packen. Funktioniert auch. Nur bei 1 Verzeichnis nicht. Dort drin liegt eine einzige Datei, die ist 4,3 GB groß. Archiv::Tar bricht die Skriptausführung an dieser Stelle abrupt ab, anstatt daß der Befehl (vermutl. "add_files(..)") fehlschlägt, und in Gottes Namen dann halt mit dem "or"-Befehl weitergemacht wird.
Hat jemand eine Idee wie man das stabiler machen kann? Im voraus Danke für Rat.

Hier der Problemteil:
Code: (dl )

1 2 3 4 5 6 7 8

print 'Komprimiere Verzeichnis ' . $strScanDir . ".\n"; chdir ($strScanDir) or die 'FEHLER: chdir zu ' . $strScanDir . ' nicht möglich: ' . $!; my $tar = Archive::Tar->new(); $tar->add_files (@arrFiles) or logMessage ('FEHLER: Inhalt von Verzeichnis ' . $strScanDir . ' konnte nicht zum Archiv hinzugefügt werden: ' . $!); $tar->write ($strUsbstick . $strScanDir . '/backup.tgz', 6) or logMessage ('FEHLER: Archiv von Verzeichnis ' . $strScanDir . ' konnte nicht geschrieben werden: ' . $!);
- +5 replies
- Linuxer
  
  2019-06-23 20:40
  User since
  2006-01-27
  3891 Artikel
  HausmeisterIn
  Hi,
  
  schon mal probiert, die Aktion in einen eval-Block zu packen:
  
  Code (perl): (dl )
  
  1 2 3 4 5 6
  
  eval { $tar->add_files (@arrFiles); }; if ( $@ ) { logMessage ('FEHLER: Inhalt von Verzeichnis ' . $strScanDir . ' konnte nicht zum Archiv hinzugefügt werden: ' . $!); };
  
  meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
  Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
  - haj
    
    2019-06-23 21:34
    
    User since
    2015-01-07
    594 Artikel
    BenutzerIn
    
    2019-06-23T18:40:55 Linuxer
    Hi,
    
    schon mal probiert, die Aktion in einen eval-Block zu packen:
    
    Das dürfte bei "Out of Memory" nicht wirklich funktionieren. Dazu müsste Perl mit -DPERL_EMERGENCY_SBRK gebaut sein, das ist auf Linux-Distributionen oder Strawberry normalerweise nicht der Fall.
    
    Siehe dazu auch die Beschreibung von $^M in perlvar:
    Quote
    By default, running out of memory is an untrappable, fatal error.
  - +3 replies
  - RalphFFM
    
    2019-06-23 21:56
    
    User since
    2006-11-16
    258 Artikel
    BenutzerIn
    
    Habs ausprobiert. "Out of Memory!", trotz eval, und das Skript bricht leider ab.
    Haj hat also richtig vermutet.
    So ein Mist. :-(
    
    Falls jemand zufällig noch eine Idee hat ...?
    Last edited: 2019-06-23 22:07:47 +0200 (CEST)
    - hlubenow
      
      2019-06-23 22:25
      
      User since
      2009-02-22
      885 Artikel
      BenutzerIn
      
      Code: (dl )
      
      tar -czvf yourdirectory.tar.gz yourdirectory
      
      ;)
    - haj
      
      2019-06-23 22:31
      
      User since
      2015-01-07
      594 Artikel
      BenutzerIn
      
      2019-06-23T19:56:40 RalphFFM
      Falls jemand zufällig noch eine Idee hat ...?
      
      Etwas "ökonomischer" mit dem Speicher ist es, das Archiv mit dem tar --append-Kommando zusammenzubauen. Da stirbt dann auch "nur" der Prozess dieses einen Kommandos und Du kannst die böse Datei identifizieren. Allerdings musst Du eben mit perlfunc fork plus perlfunc exec oder backticks das richtige Kommando zusammensetzen und den Erfolg überprüfen.
      
      Oder eben, wie von hlubenow vorgeschlagen, das ganze gar nicht in Perl machen.
      
      Siehe auch https://xkcd.com/1168/ :)
- +5 replies
- Linuxer
  
  2019-06-23 22:52
  
  User since
  2006-01-27
  3891 Artikel
  HausmeisterIn
  
  Zum Thema noch folgende Gedanken:
  
  Steht denn wirklich genug Platz zur Verfügung?
  Hat das System genug RAM?
  Und auch genug Speicherplatz auf Platte/USB Stick?
  
  Funktioniert die sinngemäß gleiche Operation mit dem tar-Kommando des Systems?
  Falls das auch nicht funktioniert, besteht u.U. ein eher ein Problem im System als im Archive::Tar.
  
  Wenn das gleiche mit dem System-tar funktioniert, dann steckt der Fehler wohl im Archive::Tar .
  
  Siehe auch die FAQ des Moduls: https://metacpan.org/pod/Archive::Tar#FAQ
  
  Quote
  Isn't Archive::Tar heavier on memory than /bin/tar?
  
  Yes it is, see previous answer. Since Compress::Zlib and therefore IO::Zlib doesn't support seek on their filehandles, there is little choice but to read the archive into memory. This is ok if you want to do in-memory manipulation of the archive.
  
  ...
  
  (Hervorhebung von mir)
  
  Da das Modul ein Pure-Perl-Modul sein soll, wäre noch die Frage, ob Du ein 32bit-Perl verwendest.
  Unter Umständen schlägst Du auch an die Grenze des mit 32bit addressierbaren Speicherraums... Das könnte da zu einem "out-of-memory" führen...
  
  Gerade beim Erstellen des Archives könnte das mit dem Speicher akut werden...
  meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
  Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
  - +4 replies
  - RalphFFM
    
    2019-06-24 00:47
    
    User since
    2006-11-16
    258 Artikel
    BenutzerIn
    
    Nabend allerseits, ich verwende Debian Stretch.
    
    "uname -a" sagt:
    Linux himmel 4.9.0-9-amd64 #1 SMP Debian 4.9.168-1 (2019-04-12) x86_64 GNU/Linux
    
    "perl -v" sagt (u.a.):
    This is perl 5, version 24, subversion 1 (v5.24.1) built for x86_64-linux-gnu-thread-multi
    
    An Speicherriegeln scheinen 2 GB drin zu sein, physisch. Und 2 GB Swap.
    Last edited: 2019-06-24 00:53:48 +0200 (CEST)
    - +3 replies
    - haj
      
      2019-06-24 01:09
      
      User since
      2015-01-07
      594 Artikel
      BenutzerIn
      
      Da ist dann die Arithmetik einfach: 4.3GB passen nicht in 2GB RAM + 2GB Swap.
      
      Archive::Tar schreibt bei add_files die Dateien ins RAM, laut FAQ in der Dokumentation geht das nicht anders.
      
      Da sehe ich nur die Möglichkeit, die Größe der Datei abzufragen und Dateien über einer bestimmten Größe zu überspringen.
      
      Nachtrag: Corion hat bei einem ähnlichen Probĺem auf Perlmonks mal auf die beiden CPAN-Module Archive::Tar::Stream und Archive::Tar::Wrapper verwiesen. Vielleicht helfen die ja weiter.
      Last edited: 2019-06-24 01:18:00 +0200 (CEST)
      - +2 replies
      - hlubenow
        
        2019-06-24 12:25
        
        User since
        2009-02-22
        885 Artikel
        BenutzerIn
        
        2019-06-23T23:09:53 haj
        Da sehe ich nur die Möglichkeit, die Größe der Datei abzufragen und Dateien über einer bestimmten Größe zu überspringen.
        
        Oder man zerteilt vorher die Datei in mehrere kleinere Dateien (Linux-Befehl "split"; rar kann das auch). Falls das eine Möglichkeit ist.
        
        RalphFFM
        
        2019-06-24 18:53
        
        User since
        2006-11-16
        258 Artikel
        BenutzerIn
        
        Den Ideen von Haj und von Hlubenow werde ich nachforschen.
        Als ad-hoc-Behelf weiche ich für das "Problemverzeichnis" erstmal auf File::Copy aus.
        
        Interessant finde ich auch:
        
        - Bei einem Out-of-memory-Error wird offenbar nicht mal mehr ein END{...}-Block ausgeführt. Ist also fataler noch als ein "die".
        
        - Früher hatte ich mal experimentiert mit der Übergabe an den Linux-Befehl tar. Habe in Erinnerung, daß mein Skript dann aber nach längerer Laufzeit immer abgebrochen ist, an immer unterschiedlichen Stellen. Hatte mir das dann vage so erklärt, daß Perl und Linux-tar wohl ungenügend nah aneinander "gebunden" zu sein scheinen. Daraufhin schien mir Archive::Tar der Königsweg zu sein.
        
        - Ein tar -czvf ... auf Shellebene klappt problemlos. Dauert zwar etwas, aber es wird währendessen gar nicht aller physischer Speicher verwendet, und Swap schon gar nicht. Also kein Absturz, kein Error.

View all threads created 2019-06-23 20:21.