Byte zählen - zu große Zahlen? (solved) (Allgemeines zu Perl)

[thread]16281[/thread]

Byte zählen - zu große Zahlen? [solved]

Tags: perl5 integer groß Similar Threads

Readers: 20

Articles: hide open all | hide show old branches

+10 replies
bianca

2011-05-12 14:03

User since
2009-09-13
7016 articles
BenutzerIn

Hi!

Kurze Frage zur internen Verarbeitung in Perl. Ich zähle hier Traffic in Byte über Logfiles. Ein Job soll nun nachts die ganzen Werte addieren und am Ende durch 1048576 teilen, um auf Anzahl Megabyte zu kommen.
Nun hab ich ein wenig Angst, dass die Zahl noch vor dem Teilen zu groß wird für Perl.
Was empfehlt ihr mir?
Modul wie z.B. bigint verwenden oder schon beim addieren teilen (wird dann vielleicht zu ungenau wg. Nachkommastellen) oder ist meine Angst unbegründet?

Danke euch.
10 print "Hallo"
20 goto 10
- rosti
  
  2011-05-12 14:18
  
  User since
  2011-03-19
  3505 articles
  BenutzerIn
  
  Ein klarer Fall für Bitoperatoren.
  
  Ein Bit nach rechts geschoben heißt
  
  $zahl >> 1;
  
  die Zahl wird durch 2 geteilt.
  
  Hierzu 1048576: den log zur Basis 2 bestimmen, das ist die Teilung (Bitverschiebung nach rechts).
  
  Edit: 20 Bit nach rechts schieben, $zahl >> 20; das teilt eine große Zahl durch 1048576 ohne das der Puffer überläuft.
  Last edited: 2011-05-12 14:30:11 +0200 (CEST)
- +6 replies
- moritz
  
  2011-05-12 14:35
  
  User since
  2007-05-11
  923 articles
  HausmeisterIn
  
  2011-05-12T12:03:01 bianca
  Hi!
  Was empfehlt ihr mir?
  
  Keine Angst haben. Beim integer overflow upgraded perl automatisch zu Fliesskommazahlen, die 48 bit in der Mantisse, d.h. du kannst Integer bise 2**48 genau darstellen, und bei groesseren verlierst du zwar an Genaugikeit, wenn du die Bytes nicht einzeln zaehlst (sondern z.B. Zeilenweise) sollte das nicht zu viel ausmachen.
  Perl 6 - Perls Zukunft
  - +5 replies
  - bianca
    
    2011-05-12 15:02
    
    User since
    2009-09-13
    7016 articles
    BenutzerIn
    
    Danke moritz, ich mach es mal so. Schauen wir mal, was raus kommt :)
    
    @rosti: dir auch vielen Dank aber das wäre ein gänzlich neues Thema für mich, wo ich mich im Moment noch nicht einarbeiten möchte. Vielleicht muss das ganze später mal optimiert werden....
    10 print "Hallo"
    20 goto 10
    - +4 replies
    - Taulmarill
      
      2011-05-12 15:13
      
      User since
      2004-02-19
      1750 articles
      BenutzerIn
      
      Mit welcher Geschwindigkeit ist die überwachte Schnittstelle denn angebunden? Wenn das fest steht, kannst du doch ausrechnen, ob dir die Variable reicht.
      
      @moritz: die Mantisse von floats und doubles ist leider nicht überall gleich. Siehe http://de.wikipedia.org/wiki/Gleitkommazahl#Intern...
      $_=unpack"B*",~pack"H*",$_ and y&1|0& |#&&print"$_\n"for@.=qw BFA2F7C39139F45F78 0A28104594444504400 0A2F107D54447DE7800 0A2110453444450500 73CF1045138445F4800 0 F3EF2044E3D17DE 8A08A0451412411 F3CF207DF41C79E 820A20451412414 83E93C4513D17D2B
      - +3 replies
      - bianca
        
        2011-05-12 15:20
        
        User since
        2009-09-13
        7016 articles
        BenutzerIn
        
        2011-05-12T13:13:24 Taulmarill
        Mit welcher Geschwindigkeit ist die überwachte Schnittstelle denn angebunden?
        
        Weiß nicht, ob das einzig ausschlaggebend ist. Der Server komprimiert ja teilweise auch Ausgaben. Und ich addiere meine eigenen Logfiles, die die "echte" Größe der Response beinhalten.
        Es geht da um Dateien, die hoch- und runtergeladen werden.
        
        Allerdings denke ich, dass das Maximum an Schnittstellendurchsatz nicht einmal annährend erreicht werden wird. Wäre von daher m.E. vieeeeeeeeeeel zu hoch gegriffen.
        
        Sagt mir doch mal, ab welchem Integerwert es schwierig wird.
        10 print "Hallo"
        20 goto 10
        
        +2 replies
        
        Taulmarill
        
        2011-05-12 16:00
        
        User since
        2004-02-19
        1750 articles
        BenutzerIn
        
        Also 2 hoch 32 sollte schon mal völlig unproblematisch sein. Da hört dann der normale Int auf und perl fängt an mit doubles weiter zu rechnen (Fließkommazahlen doppelter Genauigkeit). Wie groß die Mantisse (also der Ganzzahlanteil) einer Fließkommazahl ist, hängt leider von der benutzten Plattform bzw. dem C-Compiler ab.
        
        edit: ich hab mal ein bisschen rumgetestet und auf meinem Webserver scheint perl bis 2** 53 ganz gut zu zählen:
        
        Code (perl): (dl )
        
        1 2 3 4 5 6 7 8 9 10 11 12 13
        
        use warnings; use strict; use Math::BigInt; my $mbi = Math::BigInt->new( 2 ) ** Math::BigInt->new( 53 ); my $n = 2 ** 53; for my $o ( -10 .. 10 ) { printf "%.0f - ", $n + $o; print $mbi + $o; print "\n"; }
        
        erzeugt folgende Ausgabe:
        
        Code: (dl )
        
        1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21
        
        9007199254740982 - 9007199254740982 9007199254740983 - 9007199254740983 9007199254740984 - 9007199254740984 9007199254740985 - 9007199254740985 9007199254740986 - 9007199254740986 9007199254740987 - 9007199254740987 9007199254740988 - 9007199254740988 9007199254740989 - 9007199254740989 9007199254740990 - 9007199254740990 9007199254740991 - 9007199254740991 9007199254740992 - 9007199254740992 9007199254740992 - 9007199254740993 9007199254740994 - 9007199254740994 9007199254740996 - 9007199254740995 9007199254740996 - 9007199254740996 9007199254740996 - 9007199254740997 9007199254740998 - 9007199254740998 9007199254741000 - 9007199254740999 9007199254741000 - 9007199254741000 9007199254741000 - 9007199254741001 9007199254741002 - 9007199254741002
        
        Wenn du ganz sicher gehen willst, solltest du aber wohl einfach direkt Math::BigInt benutzen.
        Last edited: 2011-05-12 16:07:44 +0200 (CEST)
        $_=unpack"B*",~pack"H*",$_ and y&1|0& |#&&print"$_\n"for@.=qw BFA2F7C39139F45F78 0A28104594444504400 0A2F107D54447DE7800 0A2110453444450500 73CF1045138445F4800 0 F3EF2044E3D17DE 8A08A0451412411 F3CF207DF41C79E 820A20451412414 83E93C4513D17D2B
        
        bianca
        
        2011-05-12 16:10
        
        User since
        2009-09-13
        7016 articles
        BenutzerIn
        
        2011-05-12T14:00:30 Taulmarill
        Also 2 hoch 32 sollte schon mal völlig unproblematisch sein.
        
        Das wären 4 Gigabyte. Das reicht für meine Zwecke locker aus.
        Danke dir
        10 print "Hallo"
        20 goto 10
- +2 replies
- bianca
  
  2011-05-12 16:11
  
  User since
  2009-09-13
  7016 articles
  BenutzerIn
  
  Mal ganz nebenbei.
  Wie schreibt man die Abkürzung KB (Kilobyte) im Fließtext eigentlich Duden-korrekt?
  KB, Kb oder kb?
  10 print "Hallo"
  20 goto 10
  - Taulmarill
    
    2011-05-12 16:15
    
    User since
    2004-02-19
    1750 articles
    BenutzerIn
    
    Korrekt ist afaik "kB". Aber wahrscheinlich meinst du sowieso "KiB". Siehe http://de.wikipedia.org/wiki/Bin%C3%A4rpr%C3%A4fix
    $_=unpack"B*",~pack"H*",$_ and y&1|0& |#&&print"$_\n"for@.=qw BFA2F7C39139F45F78 0A28104594444504400 0A2F107D54447DE7800 0A2110453444450500 73CF1045138445F4800 0 F3EF2044E3D17DE 8A08A0451412411 F3CF207DF41C79E 820A20451412414 83E93C4513D17D2B

View all threads created 2011-05-12 14:03.