Digest::file ist zu langsam (gelöst) (Fragen zu Perl-Modulen) - Perl-Community.de

Start · Board · Anwendungen/Programme/Skripte in Perl · Fragen zu Perl-Modulen

2024-04-23 10:49:26
Europe/Berlin
Einloggen (Registrieren)
- Einstellungen
- Statistics
Jemand zu Hause?
0 Benutzer online

[thread]16608[/thread]

submit to reddit

Digest::file ist zu langsam [gelöst]

[gelöst]

Tags: perl5 Digest::file Geschwindigkeit Ähnliche Threads

Leser: 19

Articles: hide open all | hide show old branches

+24 replies
bianca

2011-08-07 17:50

User since
2009-09-13
6977 Artikel
BenutzerIn

Guten Tag!
Ich suche eine Möglichkeit festzustellen, ob eine Datei verändert wurde. Und zwar über Datum, Name und Größe hinaus.
Bei kleineren Dateien verwende ich dafür digest_file_hex() mit Parameter "MD5", um die Quersumme zu ziehen.
Jetzt geht es aber um Dateien bis 500 MB und da läuft dieser Aufruf ca. 10 Sekunden auf dem Server. Das ist mir zu lang.

Gibt es schnellere Methoden die zum gleichen Ziel führen?

Danke
10 print "Hallo"
20 goto 10
- +20 replies
- GwenDragon
  
  2011-08-07 18:55
  
  User since
  2005-01-17
  14533 Artikel
  Admin1
  
  Schon ausprobiert ob md5sum oder sha1sum, also das externe binäre Programm, per Shell schneller geht?
  die Drachin, Gwendolyn
  
  Unterschiedliche Perl-Versionen auf Windows (fast wie perlbrew) • Meine Perl-Artikel
  - +19 replies
  - bianca
    
    2011-08-07 20:06
    
    User since
    2009-09-13
    6977 Artikel
    BenutzerIn
    
    2011-08-07T16:55:25 GwenDragon
    md5sum
    
    Braucht die Hälfte der Zeit ist aber auch noch zu viel und vor allem nicht portabel. Gibt es unter Windoof nicht.
    
    2011-08-07T16:55:25 GwenDragon
    sha1sum
    
    Ist auf dem Server nicht vorhanden.
    10 print "Hallo"
    20 goto 10
    - +2 replies
    - Gast wer
      
      2011-08-07 20:56
      
      mtime speichern?
      Last edited: 2011-08-07 21:00:12 +0200 (CEST)
      - GwenDragon
        
        2011-08-07 21:06
        
        User since
        2005-01-17
        14533 Artikel
        Admin1
        
        mtime lässt sich aber manipulieren, das ist wirklich keine sichere Prüfung.
        die Drachin, Gwendolyn
        
        Unterschiedliche Perl-Versionen auf Windows (fast wie perlbrew) • Meine Perl-Artikel
    - +14 replies
    - GwenDragon
      
      2011-08-07 21:05
      
      User since
      2005-01-17
      14533 Artikel
      Admin1
      
      md5sum ist aber schon binär und schneller geht es nicht bei der Ausführung unter Linux.
      100 MByte/s sind viel bei den meisten Festplatten. Selbst SATA bringt nicht viel mehr!
      Wie schnell willst/brauchst du es überhaupt?
      die Drachin, Gwendolyn
      
      Unterschiedliche Perl-Versionen auf Windows (fast wie perlbrew) • Meine Perl-Artikel
      - +13 replies
      - bianca
        
        2011-08-08 12:11
        
        User since
        2009-09-13
        6977 Artikel
        BenutzerIn
        
        2011-08-07T19:05:11 GwenDragon
        Wie schnell willst/brauchst du es überhaupt?
        
        Sagen wir mal so. Wenn der Benutzer über die Webschnittstelle die Tabelle der Dateien aufruft soll das nicht pro Datei mehrere Sekunden brauchen.
        Es muss auch nicht zwingend MD5 sein, das ist ja schon fast eine 95 %ige Sicherheit.
        Es reicht auch ein Verfahren, dass etwas weniger sicher aber dafür schnell ist.
        Denn der Benutzer soll halt direkt erkennen können, ob er die Datei schon kennt. Und manchmal sind die Dateien gleich groß und vom selben Datum (werden per FTP hochgeladen). Daher brauche ich ein anderes Kriterium als Name, Datum und Größe.
        10 print "Hallo"
        20 goto 10
        
        +12 replies
        
        GwenDragon
        
        2011-08-08 13:02
        
        User since
        2005-01-17
        14533 Artikel
        Admin1
        
        Gleiches Datum bedeutet auch gleiche Uhrzeit in HH:MM:SS?
        
        Wenn beide Dateien gleich groß und von gleichen Datum und Uhrzeit sind, dann ist eine Unterscheidung nur durch eine Prüfsumme möglich.
        die Drachin, Gwendolyn
        
        Unterschiedliche Perl-Versionen auf Windows (fast wie perlbrew) • Meine Perl-Artikel
        
        +11 replies
        
        bianca
        
        2011-08-08 13:40
        
        User since
        2009-09-13
        6977 Artikel
        BenutzerIn
        
        2011-08-08T11:02:17 GwenDragon
        dann ist eine Unterscheidung nur durch eine Prüfsumme möglich.
        
        Gibt es denn eine prinzipbedingt schnellere als die MD5?
        10 print "Hallo"
        20 goto 10
        
        +10 replies
        
        GwenDragon
        
        2011-08-08 13:45
        
        User since
        2005-01-17
        14533 Artikel
        Admin1
        
        Ich weiß es nicht, vielleicht CRC32. Ich habe es noch nie getestet, aber CRC32 ist eben kurz.
        
        Digest::CRC (ist ein XS-Modul)
        
        Adler32 hat bei kurzen Dateien zu große Fehler.
        Last edited: 2011-08-08 13:53:35 +0200 (CEST)
        die Drachin, Gwendolyn
        
        Unterschiedliche Perl-Versionen auf Windows (fast wie perlbrew) • Meine Perl-Artikel
        
        +9 replies
        
        bianca
        
        2011-08-08 17:47
        
        User since
        2009-09-13
        6977 Artikel
        BenutzerIn
        
        2011-08-08T11:45:39 GwenDragon
        Ich weiß es nicht, vielleicht CRC32.
        
        ppm auf Windoof bietet mir nur eine Reihe von Digest Modulen an. Hab das installiert, findet aber Digest/CRC.pm nicht.
        Muss ich da wieder was spezielles machen?
        
        Danke
        10 print "Hallo"
        20 goto 10
        
        +8 replies
        
        GwenDragon
        
        2011-08-08 17:59
        
        User since
        2005-01-17
        14533 Artikel
        Admin1
        
        ppm findet das nicht?
        Muss aber laut http://code.activestate.com/ppm/Digest-CRC/ vorhanden sein.
        die Drachin, Gwendolyn
        
        Unterschiedliche Perl-Versionen auf Windows (fast wie perlbrew) • Meine Perl-Artikel
        
        +7 replies
        
        bianca
        
        2011-08-08 18:13
        
        User since
        2009-09-13
        6977 Artikel
        BenutzerIn
        
        2011-08-08T15:59:24 GwenDragon
        ppm findet das nicht?
        
        Fehlt mir denn ein Repository oder welches muss ich nehmen?
        
        Quote
        PPM> search digest
        Packages available from http://www.bribes.org/perl/ppm:
        Digest [1.16 ] Modules that calculate message digests
        Digest-Adler32 [0.03 ] The Adler-32 checksum
        Digest-HMAC [1.03 ] Keyed-Hashing for Message Authentication
        Digest-Haval256 [1.0.5] A 5-round, 256-bit one-way hash function
        Digest-MD2 [2.03 ] Perl interface to the MD2 Algorithm
        Digest-MD4 [1.5 ] Perl interface to the MD4 Algorithm
        Digest-MD5 [2.51 ] Perl interface to the MD5 Algorithm
        Digest-MD6 [0.11 ] Perl interface to the MD6 Algorithm
        Digest-SHA [5.62 ] Perl extension for SHA-1/224/256/384/512
        Digest-SHA1 [2.13 ] Perl interface to the SHA-1 algorithm
        Digest-Tiger [0.02 ] a module that implements the tiger hash
        Digest-Whirlpool [1.09 ] A 512-bit one-way hash function
        Packages available from http://ppm.activestate.com/PPMPackages/5.10-window...
        Digest [1.15] Modules that calculate message digests
        Digest-BubbleBabble [0.01] Create bubble-babble fingerprints
        Digest-HMAC [1.01] Keyed-Hashing for Message Authentication
        Digest-MD2 [2.03] Perl interface to the MD2 Algorithm
        Digest-MD4 [1.5 ] Perl interface to the MD4 Algorithm
        Digest-MD5 [2.36] Perl interface to the MD5 Algorithm
        Digest-MD5-Reverse [1.3 ] MD5 Reverse Lookup
        Digest-SHA [5.45] Perl extension for SHA-1/224/256/384/512
        Digest-SHA1 [2.11] Perl interface to the SHA-1 algorithm
        WebCache-Digest [1.00] a Cache Digest implementation in Perl
        
        10 print "Hallo"
        20 goto 10
        
        +6 replies
        
        GwenDragon
        
        2011-08-08 18:27
        
        User since
        2005-01-17
        14533 Artikel
        Admin1
        
        Also in http://ppm4.activestate.com/MSWin32-x86/5.10/1000/... ist es drin:
        
        Code (xml): (dl )
        
        1 2 3 4 5 6 7 8 9 10
        
        <SOFTPKG NAME="Digest-CRC" VERSION="0.11" DATE="2007-11-05"> <AUTHOR> Oliver Maul <oli@42.nu> </AUTHOR> <ABSTRACT> Generic CRC functions </ABSTRACT> <CODEBASE HREF="O/OL/OLIMAUL/Digest-CRC-0.14.tar.gz"/> <PROVIDE NAME="Digest::CRC" VERSION="0.14"/> </SOFTPKG>
        
        Dein ppm-Link auf AS sollte http://ppm4.activestate.com/MSWin32-x86/5.10/1000/ sein.
        die Drachin, Gwendolyn
        
        Unterschiedliche Perl-Versionen auf Windows (fast wie perlbrew) • Meine Perl-Artikel
        
        +4 replies
        
        bianca
        
        2011-08-08 18:33
        
        User since
        2009-09-13
        6977 Artikel
        BenutzerIn
        
        2011-08-08T16:27:36 GwenDragon
        Dein ppm-Link auf AS sollte http://ppm4.activestate.com/MSWin32-x86/5.10/1000/ sein.
        
        Ich nutze Strawberry. Egal?
        10 print "Hallo"
        20 goto 10
        
        +3 replies
        
        GwenDragon
        
        2011-08-08 18:37
        
        User since
        2005-01-17
        14533 Artikel
        Admin1
        
        Wäre nett, wenn du das nächste Mal schreibst, welches Perl du hast.
        Da du ppm angabst, nach mich ActiveState und nicht StrawberryPerl an. :(
        
        Wieso nimmts du dann nicht cpan zum Installieren bei StrawberryPerl?
        die Drachin, Gwendolyn
        
        Unterschiedliche Perl-Versionen auf Windows (fast wie perlbrew) • Meine Perl-Artikel
        
        +2 replies
        
        bianca
        
        2011-08-08 18:42
        
        User since
        2009-09-13
        6977 Artikel
        BenutzerIn
        
        2011-08-08T16:37:36 GwenDragon
        Wieso nimmts du dann nicht cpan zum Installieren bei StrawberryPerl?
        
        Sorry, dass ich das nicht erwähnt hatte.
        cpan hab ich jetzt am Ende genutzt, wo ich den Pfad von dir hatte. Da hab ich nur immer das Problem mit der Sucherei.
        Wie lautet denn die Syntax zum Suchen, analog dem search bei ppm?
        10 print "Hallo"
        20 goto 10
        
        pq
        
        2011-08-08 18:50
        
        User since
        2003-08-04
        12208 Artikel
        Admin1
        
        gib mal help oder ? in der cpan-shell ein. mit 'i' kannst du suchen.
        Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
        lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
        
        bianca
        
        2011-08-08 18:35
        
        User since
        2009-09-13
        6977 Artikel
        BenutzerIn
        
        Hab es jetzt hiermit installiert bekommen.
        install OLIMAUL/Digest-CRC-0.14.tar.gz
        Danke Dir
        10 print "Hallo"
        20 goto 10
    - FIFO
      
      2011-08-07 21:33
      
      User since
      2005-06-01
      469 Artikel
      BenutzerIn
      
      Hi, es gibt diverse md5sum-/sha1sum-Binaries für Windows, z.B.
      sha1sum incl. C-Source (keine Dependencies), oder md5sum.exe aus den GNU CoreUtils.
      
      ... und dann gibt's noch was von MS: fciv, das kann md5 und sha1. Ob es allerdings schneller als die obigen ist, weiß ich nicht.
      
      Gruß FIFO
      Everyone knows that debugging is twice as hard as writing a program in the first place. So if you're as clever as you can be when you write it, how will you ever debug it? -- Brian Kernighan: "The Elements of Programming Style"
    - GwenDragon
      
      2011-08-08 09:42
      
      User since
      2005-01-17
      14533 Artikel
      Admin1
      
      Geschwindigkeit vom md5sum:
      http://superuser.com/questions/126599/what-is-the-...
      die Drachin, Gwendolyn
      
      Unterschiedliche Perl-Versionen auf Windows (fast wie perlbrew) • Meine Perl-Artikel
- +2 replies
- GwenDragon
  
  2011-08-07 21:08
  
  User since
  2005-01-17
  14533 Artikel
  Admin1
  
  Du weißt, dass MD5 keine eindeutige Prüfsumme liefert, wenn du Pech hast.
  Das ist seit mindestens 4 Jahren bekannt. Lies mal.
  die Drachin, Gwendolyn
  
  Unterschiedliche Perl-Versionen auf Windows (fast wie perlbrew) • Meine Perl-Artikel
  - murphy
    
    2011-08-08 22:40
    
    User since
    2004-07-19
    1776 Artikel
    HausmeisterIn
    
    2011-08-07T19:08:25 GwenDragon
    Du weißt, dass MD5 keine eindeutige Prüfsumme liefert, wenn du Pech hast.
    [...]
    
    Es liegt in der Natur der Sache, dass Prüfsummen, welche kürzer als die zugrundeliegenden Datensätze sind, grundsätzlich niemals garantiert eindeutig sind, völlig egal, welchen Algorithmus man verwendet.
    
    Dass es bei MD5 außerdem seit einiger Zeit mit vertretbarem Aufwand möglich ist, passend zu einem Ursprungsdatensatz und seiner Prüfsumme explizit einen weiteren, alternativen Ursprungsdatensatz mit gleicher Prüfsumme zu finden, ist ein ernsthaftes Problem für kryptographische Anwendungen, sollte für den vorliegenden Anwendungsfall aber nicht unbedingt kritisch sein.
    When C++ is your hammer, every problem looks like your thumb.
- topeg
  
  2011-08-09 04:17
  
  User since
  2006-07-10
  2611 Artikel
  BenutzerIn
  
  Du könntest eine Datei in 10Mb Blöcke zerlegen und darüber die Quersummen bilden.
  beim testen liest du den ersten block von Vorne machst die summe, dann testest du den letzten block, dann den zweiten dann den vorletzten usw. bis du einen Unterschied findest oder alle getestet sind.
  Zudem kannst du zuerst die Dateigrößen vergleichen.
  
  Ob das etwas bringt hängt davon ab, wie viele Dateien und wo diese verändert werden.
  
  Weiterhin kannst du mit einer einfachen Quersumme arbeiten, da du nur eine Datei mit der selben älteren vergleichst, da die Änderungen wahrscheinlich spezifisch sind, brauchst du keine "guten" Hash wie sha1 oder md5 unter Umständen reicht eine einfache Prüfsumme.
  
  hier ist eine Liste:
  https://secure.wikimedia.org/wikipedia/en/wiki/Lis...

View all threads created 2011-08-07 17:50.