find - erst zip, dann delete (gelöst) (Linux)

[thread]18666[/thread]

find - erst zip, dann delete [gelöst]

Tags: linux zip find Ähnliche Threads

Leser: 18

Articles: hide open all | hide show old branches

+9 replies
Astralkeks

2013-10-09 17:33
User since
2012-07-17
40 Artikel
BenutzerIn
Hallo,

ich möchte in einem sich schnell verändernden Verzeichnis alle Dateien, die älter als 5 Minuten sind, in eine Zip-Datei schreiben und anschließend löschen.
Zippen klappt bei mir über
Code: (dl )

find -type f -mmin +5 -print | zip /path/name.zip -@
Wenn ich nun zwei Befehle hintereinander absetze - also einen zweiten find mit -delete - besteht die Möglichkeit, dass zwischenzeitlich neue Dateien die "Altersgrenze" von 5 Minuten überschritten haben, und so gelöscht würden, ohne gepackt worden zu sein.

Kann man den Befehl so modifizieren, dass sowohl zip als auch rm/delete mit dem gleichen Zeitstempel erfolgen?
Last edited: 2013-10-09 17:35:24 +0200 (CEST)
- murphy
  
  2013-10-09 18:14
  User since
  2004-07-19
  1776 Artikel
  HausmeisterIn
  Zum einen könntest Du find anweisen, jede Datei einzeln dem ZIP-Archiv hinzuzufügen und dann zu löschen:
  
  Code (shell): (dl )
  
  find -type f -mmin +5 -exec zip /path/name.zip '{}' ';' -delete
  
  Zum anderen könntest Du die Liste der Dateien zwischenspeichern, dann alle archivieren und anschließend alle löschen:
  
  Code (shell): (dl )
  
  1 2 3 4 5
  
  FILES="$(mktemp files.XXXXXXXXXX)" find -type f -mmin +5 >"$FILES" zip -@ /path/name.zip <"$FILES" xargs -d'\n' -- rm -f -- <"$FILES" rm "$FILES"
  
  Ergänzung: Falls die Gefahr besteht, dass irgendein Schlaumeier Dateien mit einem Zeilenumbruch im Namen anlegt, müsste man im zweiten Fall weitere Vorkehrungen treffen, damit zip und xargs auf den richtigen Dateien operieren. Aber dieses Problem hat Deine bestehende Lösung ja auch schon.
  
  Edit: Verbesserte Sicherheit der Argumente für rm
  
  Editiert von murphy: Verbesserte Sicherheit der Argumente für rm
  Last edited: 2013-10-09 18:36:29 +0200 (CEST)
  When C++ is your hammer, every problem looks like your thumb.
- +7 replies
- GwenDragon
  
  2013-10-09 18:19
  User since
  2005-01-17
  14533 Artikel
  Admin1
  mit xargs Shell aufrufen, die beide Kommandos ausführt.
  
  Ungetestet
  
  Code: (dl )
  
  1 2
  
  find -type f -mmin +5 -print0 | \ xargs -0 -I {} sh -c 'zip /path/name.zip {}; rm -f {}'
  
  die Drachin, Gwendolyn
  
  Unterschiedliche Perl-Versionen auf Windows (fast wie perlbrew) • Meine Perl-Artikel
  - +6 replies
  - murphy
    
    2013-10-09 18:30
    User since
    2004-07-19
    1776 Artikel
    HausmeisterIn
    
    In diesem Fall wäre noch zu beachten, dass zumindest GNU xargs bei Verwendung der Option -I die gelesenen Dateinamen intern puffert was irgendein systemabhängiges Limit für die Länge der Dateinamen zur Folge hat. Bei großen Mengen arbiträrer Dateien könnte das eventuell zum Problem werden.
    
    Eine Variante das zu umgehen wäre folgende Modifikation von GwenDragons Code:
    
    Code (shell): (dl )
    
    1 2
    
    find -type f -mmin +5 -print0 | \ xargs -0 -- sh -c 'zip /path/name.zip -- "$@"; rm -f -- "$@"' --
    
    Ergänzung: Vielleicht sollte man bei einer Lösung in mehreren Schritten auch noch dafür sorgen, dass die Dateien nur gelöscht werden, wenn das Zippen erfolgreich war:
    
    Code (shell): (dl )
    
    1 2
    
    find -type f -mmin +5 -print0 | \ xargs -0 -- sh -c 'zip /path/name.zip -- "$@" && rm -f -- "$@"' --
    
    Last edited: 2013-10-09 18:37:36 +0200 (CEST)
    When C++ is your hammer, every problem looks like your thumb.
    - +5 replies
    - Astralkeks
      
      2013-10-10 08:33
      
      User since
      2012-07-17
      40 Artikel
      BenutzerIn
      
      Erst einmal danke.
      Dateien erst löschen, wenn das Zippen erfolgreich war, klingt sehr vorteilhaft.
      Allerdings erhalte ich einen Fehler, wenn ich die Zeile teste:
      
      Code: (dl )
      
      1 2 3 4 5 6 7 8 9 10
      
      # find -type f -mmin +5 -print0 | \ xargs -0 -- sh -c 'zip /path/name.zip -- "$@" && rm -f -- "$@"' -- zip error: Invalid command arguments (no such option: -) zip error: Invalid command arguments (no such option: -) zip error: Invalid command arguments (no such option: -) zip error: Invalid command arguments (no such option: -)
      
      Irgendeine Idee?
      
      Zum zweiten besteht möglicherweise zukünftig die Anforderung, auch > 1 Mio Files zu zippen. Das übersteigt die Kapazität eines einzelnen Zip-Files, oder? Im Netz finde ich zu dem Thema nicht viel, bislang einzig ein Foreneintrag von 2004, der von 264k Files als Grenze redet.
      - +4 replies
      - betterworld
        
        2013-10-10 20:54
        
        User since
        2003-08-21
        2613 Artikel
        ModeratorIn
        
        Na dann lass das "--" direkt hinter "name.zip" weg. Das ist eine Standardoption für die allermeisten CLI-Programme und normalerweise bei Dateinamen, die mit "-" anfangen und somit fälschlicherweise als Option geparset werden. Offenbar unterstützt zip (in dieser Version?) das "--" nicht. Ist aber wohl auch nicht so schlimm, weil die Ausgabe von find so gut wie immer mit "./" oder "/" anfängt und nicht mit "-".
        Last edited: 2013-10-10 20:57:27 +0200 (CEST)
        Lieblingsmodule: IPC::System::Simple, Path::Class
        
        +3 replies
        
        Astralkeks
        
        2013-10-11 10:32
        
        User since
        2012-07-17
        40 Artikel
        BenutzerIn
        
        Die Welt kann so einfach sein.
        Klappt hervorragend! Danke!
        
        Eine Sache vielleicht noch...gibt es eine Möglichkeit, die Bildschirmausgabe in ein Logfile umzuleiten?
        Ich nutze aktuell
        
        Code (perl): (dl )
        
        1 2 3
        
        open(GLOG, '>>', $log) || die "Kann $log nicht oeffnen: $!"; open(STDOUT, '>&GLOG'); open(STDERR, '>&GLOG');
        
        allerdings tauchen die ganzen Ausgaben (für jede Datei) von zip nicht auf. Ich hätte erwartet, die mit STDOUT erwischt zu haben, aber wohl weit gefehlt...
        
        +2 replies
        
        Relais
        
        2013-10-11 11:33
        
        User since
        2003-08-06
        2244 Artikel
        ModeratorIn
        
        Dann führ das zip mit > /tmp/$$.zip.stdout 2> /tmp/$$.zip.stderr aus. Die liest Du nach erfolgtem Ausführen wieder ein und machst damit, was nötig ist.
        Erst denken, dann posten --
        26. Deutscher Perl- u. Raku -Workshop 15. bis 17.04.2024 in Frankfurt/M.
        
        Winter is Coming
        
        Astralkeks
        
        2013-10-15 16:43
        
        User since
        2012-07-17
        40 Artikel
        BenutzerIn
        
        Danke!

View all threads created 2013-10-09 17:33.