Größe eines Hash in Byte (gelöst) (Allgemeines zu Perl)

[thread]15752[/thread]

Größe eines Hash in Byte [gelöst]

Leser: 23

Articles: hide open all | hide show old branches

+17 replies
bianca

2010-12-17 14:37
User since
2009-09-13
6984 Artikel
BenutzerIn
Bitte um kurzen Denkanstoß.
Möchte die Gesamtgröße eines Hash (in diesem Fall FORM aus der CGI-Umgebung) zwecks Traffic-Zählung ermitteln. Und zwar sowohl die jeweiligen Längen der keys als natürlich auch der values.

Folgender Code liefert mir immer nur die Anzahl der Keys.

Wie geht es vielleicht einfacher und vor allem erstmal korrekt? :))

Danke
Code (perl): (dl )

my $summe += (map {length ($FORM{$_}) + length ($_)} keys %FORM);
10 print "Hallo"
20 goto 10
- +2 replies
- Taulmarill
  
  2010-12-17 14:42
  User since
  2004-02-19
  1750 Artikel
  BenutzerIn
  Wie wäre es mit folgendem?
  
  Code (perl): (dl )
  
  1 2
  
  my $summe = 0; $summe += length ($FORM{$_}) + length ($_) for keys %FORM;
  
  $_=unpack"B*",~pack"H*",$_ and y&1|0& |#&&print"$_\n"for@.=qw BFA2F7C39139F45F78 0A28104594444504400 0A2F107D54447DE7800 0A2110453444450500 73CF1045138445F4800 0 F3EF2044E3D17DE 8A08A0451412411 F3CF207DF41C79E 820A20451412414 83E93C4513D17D2B
  - bianca
    
    2010-12-17 14:47
    
    User since
    2009-09-13
    6984 Artikel
    BenutzerIn
    
    Klasse, danke Dir!
    Ist das die schnellste Möglichkeit oder kann man das noch optimieren?
    Da das quasi bei jedem Programmaufruf über CGI durchlaufen wird ist mir hier die Schnelligkeit sehr wichtig.
    
    Vielen Dank
    10 print "Hallo"
    20 goto 10
- +14 replies
- topeg
  
  2010-12-17 14:45
  User since
  2006-07-10
  2611 Artikel
  BenutzerIn
  Du zählst nur die Anzahl der Schlüssel zu "$summe".
  
  Ein Hash kann man auch wie ein Array handhaben:
  
  Code (perl): (dl )
  
  1 2 3 4 5 6 7 8 9 10
  
  #!/usr/bin/perl use strict; use warnings; my %hash=qw(das 1 ist 2 ein 3 test 4); my $size=0; map{$size+=length($_)}%hash; print "$size\n";
  - +13 replies
  - bianca
    
    2010-12-17 14:48
    
    User since
    2009-09-13
    6984 Artikel
    BenutzerIn
    
    Auch Dir vielen Dank.
    Ist map hier schneller als for?
    10 print "Hallo"
    20 goto 10
    - Taulmarill
      
      2010-12-17 14:52
      
      User since
      2004-02-19
      1750 Artikel
      BenutzerIn
      
      map und for tun sich von der Geschwindigkeit nichts, oder nicht viel. Es sind beides Schleifenkonstrukte. Früher hatte map nur den Nachteil, dass es auch im void-Kontext einen Rückgabewert erzeugt. Das ist in neueren Versionen AFAIK optimiert worden, ich verwende in so einem Fall aber trotzdem lieber for, da dann klarer wird, was man eigentlich will.
      
      Die Methode, den Hash einfach im Listenkontext auszulesen anstatt einzeln mit keys() könnte schneller sein. Um das genau herauszufinden müsste man das benchmarken. Mach ich vielleicht nachher noch (wenn es dann noch niemand sonst gemacht hat). Ich muss jetzt erst mal ein bisschen auf den Weihnachtsmarkt...
      $_=unpack"B*",~pack"H*",$_ and y&1|0& |#&&print"$_\n"for@.=qw BFA2F7C39139F45F78 0A28104594444504400 0A2F107D54447DE7800 0A2110453444450500 73CF1045138445F4800 0 F3EF2044E3D17DE 8A08A0451412411 F3CF207DF41C79E 820A20451412414 83E93C4513D17D2B
    - +3 replies
    - topeg
      
      2010-12-17 14:56
      
      User since
      2006-07-10
      2611 Artikel
      BenutzerIn
      
      Musst du testen.
      Ich denke in diesem Fall sollte beides gleich schnell sein.
      
      Code (perl): (dl )
      
      1 2
      
      my $size=0; $size+=length($_) for(%hash);
      
      Eventuell ist "join" schneller, da alles in Maschinencode abgearbeitet wird:
      
      Code (perl): (dl )
      
      my $size=length(join('',%hash));
      - +2 replies
      - topeg
        
        2010-12-17 15:07
        
        User since
        2006-07-10
        2611 Artikel
        BenutzerIn
        
        kurz getestet:
        
        Code (perl): (dl )
        
        1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21
        
        #!/usr/bin/perl use strict; use warnings; use Benchmark 'cmpthese'; my %hash=qw(Das 1 ist 2 ein 3 test 4); cmpthese(300_000, { 'for' => sub { my $size=0; $size+=length($_) for(%hash); }, 'map' => sub { my $size=0; map{$size+=length($_)}%hash; }, 'join' => sub { my $size=length(join('',%hash)); }, });
        
        "join" scheint das schnellste zu sein.
        
        bianca
        
        2010-12-17 15:10
        
        User since
        2009-09-13
        6984 Artikel
        BenutzerIn
        
        2010-12-17T14:07:19 topeg
        "join" scheint das schnellste zu sein.
        
        Nochmal vielen Dank. Da ich mir schon dachte, dass aus Deinen Fingern wieder die schnellste Lösung kommt, hab ich das schon so drin :)
        
        Aber wieso zählen Uploads nicht, siehe msg #143663 ??
        10 print "Hallo"
        20 goto 10
    - +8 replies
    - bianca
      
      2010-12-17 15:05
      
      User since
      2009-09-13
      6984 Artikel
      BenutzerIn
      
      OK, danke Euch für die Hilfe.
      
      Nur stolpere ich jetzt über eins. Wenn eine Datei hochgeladen wurde wird die offenbar nicht mitgezählt.
      
      In dem Script wird zu Anfang der Upload so gespeichert:
      
      Code (perl): (dl )
      
      1 2 3
      
      $FORM{upload_name} = $cgi -> param ('upload'); my $temp = $cgi -> upload ('upload'); if ($temp) { while (<$temp>) { $FORM{upload} .= $_ } }
      
      Warum das so gemacht wurde, weiß ich selbst nicht genau.
      
      Die weitere Verarbeitung funktioniert aber wenigstens über $FORM{upload} z.B. beim Speichern der Datei. Was ist daran anders? Hat das mit binär etc. zu tun?
      10 print "Hallo"
      20 goto 10
      - +7 replies
      - topeg
        
        2010-12-17 15:15
        
        User since
        2006-07-10
        2611 Artikel
        BenutzerIn
        
        "CGI" verarbeitet die eingaben von "STDIN" und "@ENV" um daraus die Informationen zu holen. Dabei wird auch erkannt ob ein Dateiupload stattfindet und bearbeitet das gesondert (siehe "upload" in CGI) Darum kommen sie bei den "normalen" Werten nicht vor.
        
        Den Codeausschnitt kann man auch noch etwas anders (schneller) schreiben:
        
        Code (perl): (dl )
        
        1 2 3 4 5 6
        
        $FORM{upload_name} = $cgi -> param ('upload'); if(my $temp = $cgi -> upload ('upload')) { local $/ = undef; $FORM{upload} = <$temp>; }
        
        EDIT:
        ICh glaube ich habe dich missverstanden. Du bildest die Summe über "%FORM"? Dann kann es nur an der Stelle liegen wo du die Summe bildest. Kann es sein das der Wert schon aus "%FORM" gelöscht wurde? Oder noch gar nicht drin ist?
        Last edited: 2010-12-17 15:20:53 +0100 (CET)
        
        +6 replies
        
        bianca
        
        2010-12-17 15:27
        
        User since
        2009-09-13
        6984 Artikel
        BenutzerIn
        
        In der Modul Doku hab ichs nicht gefunden aber dank Deines Tipps die richtigen Suchwörter gefunden.
        
        Code (perl): (dl )
        
        my $test = -s $FORM{upload_name};
        
        liefert mir die Größe des Uploads.
        
        Nochmal herzlichen Dank, ist gelöst!
        10 print "Hallo"
        20 goto 10
        
        +5 replies
        
        bianca
        
        2010-12-17 15:44
        
        User since
        2009-09-13
        6984 Artikel
        BenutzerIn
        
        Da scheint es aber eine Stolperfalle zu geben, die ich gerade nicht ganz begreife und Euch um Erleuchtung bitte.
        
        Wenn ich nämlich das ganze Hash %FORM mittels subname(\%FORM) und my %FORM = %{$_[1]}; in eine sub übergebe und in der sub dann mein my $summe = length (join ('',%FORM)); laufen lasse ist der Dateiupload NICHT enthalten, den muss ich dann extra über my $test = (-e $FORM{upload_name} ? -s $FORM{upload_name} : 0); zusätzlich ermitteln.
        
        Bleibe ich mit %FORM jedoch im ursprünglichen Abschnitt, wo auch die Übernahme aus dem CGI Modul stattfand, ist der Upload ganz normal als length verfügbar und wird über obiges join gezählt.
        
        Es ändert sich also in dem Moment etwas mit den Daten, wo die lokale Kopie von %FORM angelegt wird.
        
        Warum ist das so?
        10 print "Hallo"
        20 goto 10
        
        +4 replies
        
        topeg
        
        2010-12-17 16:43
        
        User since
        2006-07-10
        2611 Artikel
        BenutzerIn
        
        Was sagt "Dumper" dazu?
        
        Möglicherweise haben wir es hier auch mit "falschen" Werten (ge-"tie"-te Objekte) zu tun, die beim kopieren zerstört werden.
        
        Ich kann nur raten.
        
        +3 replies
        
        bianca
        
        2010-12-17 18:55
        
        User since
        2009-09-13
        6984 Artikel
        BenutzerIn
        
        2010-12-17T15:43:45 topeg
        Möglicherweise haben wir es hier auch mit "falschen" Werten (ge-"tie"-te Objekte) zu tun, die beim kopieren zerstört werden.
        
        Das wird so sein. Ich gehe dem nicht weiter nach. Hab das dokumentiert und mich drauf eingestellt, reicht mir erstmal bis hierher.
        Danke Dir
        10 print "Hallo"
        20 goto 10
        
        +2 replies
        
        topeg
        
        2010-12-18 07:30
        
        User since
        2006-07-10
        2611 Artikel
        BenutzerIn
        
        So sollte es auch gehen:
        
        Code (perl): (dl )
        
        my $size=length(join('',%{$_[1]}));
        
        Denn hier werden keine Werte kopiert, also auch nichts verändert.
        
        bianca
        
        2010-12-18 09:07
        
        User since
        2009-09-13
        6984 Artikel
        BenutzerIn
        
        Ja, dann würde ich eine Referenz übergeben, so heißt das doch, richtig?
        Hab es jetzt so gemacht, dass die Zählung im Main Kontext läuft ohne irgendwelche Übergaben. Klappt super.
        
        Danke nochmal.
        10 print "Hallo"
        20 goto 10

View all threads created 2010-12-17 14:37.