Probleme Größe eines Array of Arrays (Allgemeines zu Perl) - Perl-Community.de

Start · Board · Anwendungen/Programme/Skripte in Perl · Allgemeines zu Perl

2024-04-23 20:49:39
Europe/Berlin
Einloggen (Registrieren)
- Einstellungen
- Statistics
Jemand zu Hause?
1 Benutzer online
1 Gast

[thread]17446[/thread]

submit to reddit

Probleme Größe eines Array of Arrays

Tags: perl5 Ähnliche Threads

Leser: 20

Articles: hide open all | hide show old branches

+11 replies
gmafx

2012-05-25 11:16
User since
2009-11-19
47 Artikel
BenutzerIn
Hallo,

ich benutze Perl, um eine Datenmatrix zu erstellen. Wenn ich die Matrix mit Nullen initialisiere, bemerke ich einen meiner Meinung nach viel zu großen Speicherverbrauch:
Code: (dl )

1 2 3 4 5 6 7

@line = (0) x $y; for ($c=0;$c<=$x;$c++) { print "$c\n"; push (@AoA, [@line]); }
Für $x und $y = 14000 sind 9GB RAM belegt. Leider benötige ich im Extremfall eine Matrix mit 30000x30000 Feldern, dabei werden mehr als die zur Verfügung stehenden 16GB RAM benötigt. Die mit Nullen initialiserten Felder werden dann später mit Eins (unterschiedlich oft) addiert, resultierend also in Integern!

Irgendwie kommt mir der Speicherbedarf zu groß vor - oder anders herum: wieviel Speicher reserviert den Perl für ein Arrayelement, bzw. gibt es Möglichkeiten, die Reservierung zu Steuern (etwa wie in C: da wären es nach meiner Rechnung 4bytes *30000^2 =3.6GB, damit könnte ich sehr gut leben!)?

Oder muss ich dann die Array of Array Berechnung nach C auslagern?
gma
- bianca
  
  2012-05-25 11:47
  
  User since
  2009-09-13
  6977 Artikel
  BenutzerIn
  
  Du kannst den Speicherbedarf mit Devel::Size ganz gut ermitteln.
  10 print "Hallo"
  20 goto 10
- +3 replies
- Raubtier
  
  2012-05-25 11:49
  
  User since
  2012-05-04
  1054 Artikel
  BenutzerIn
  
  Kurze Anmerkungen:
  
  Bist du sicher, dass du wirklich alle 30k x 30k Felder brauchst? Oftmals sind viele Matrixelemente 0. Dann würde ich überhaupt keinen Wert initialisieren - wozu soll das gut sein?
  
  Deine Rechnung geht im übrigen nicht auf, weil Perl ja nicht einfach nur 4 bytes pro Feld speichern kann: es muss ja festgelegt werden, was für ein Typ der Skalar ist, ggf. muss noch ein Referenzcouter gespeichert werden - und dann kommt eben noch der Wert selbst dazu. Man kann sich das in den sv(.h/.c) Dateien anschauen, wenn man es genauer wissen will.
  
  Wenn du wirklich so riesige Matrizen brauchst, würde ich vorschlagen, das nicht in Perl zu machen.
  - +2 replies
  - gmafx
    
    2012-05-25 11:57
    
    User since
    2009-11-19
    47 Artikel
    BenutzerIn
    
    Vielen Dank,
    
    irgendwie hatte ich mich in der Tat auch schon damit abgefunden, es in C++ zu realisieren. Da bin aber leider noch mehr Anfänger als in Perl, deshalb habe ich mich eher gesträubt - werde ich aber hinbekommen (nur halt schleppender!).
    
    gma
    - Raubtier
      
      2012-05-25 12:16
      
      User since
      2012-05-04
      1054 Artikel
      BenutzerIn
      
      Ggf. trotzdem zuerst mal den Algorithmus überdenken! Willst du wirklich 900 Millionen Werte berechnen - und was willst du dann damit anfangen? Hoffentlich nicht mit irgendeiner anderen so großen Matrix multiplizieren? Kann man da nicht irgendwelche Eigenschaften deiner Berechnung, was auch immer du machen willst, ausnutzen? Vielleicht kann man Näherungen machen, bei denen man immer nur einen kleinen Bereich der Matrix braucht. Oder vielleicht sind viele Elemente eben 0 - dann kann man oft auch was vereinfachen.
      
      Dass du nur immer 1 addieren willst, lässt mich eigentlich eher vermuten, dass das Problem auch irgendwie anders lösbar wäre. Vielleicht reicht es, immer nur bestimmte Bereiche der Matrix im Speicher zu haben?
- +2 replies
- Gast Muffi
  
  2012-05-25 13:18
  
  Variablen in Perl sind nicht gerade klein. JEDE Variable in Perl ist sowas wie in C ein struct.
  Aber falls die meisten Elemente 0 bleiben probier mal die nicht zu initialisieren. Soweit ich weiss kann Perl Sparce-Arrays. D.h. du kannst Indexe einfach auslassen und sparst so Speicher, wenn du nie was reinschreibst.
  - Gast Muffi
    
    2012-05-25 13:30
    
    Grad ausprobiert, kann er scheinbar doch nicht, bzw. nur in sehr einfachen Fällen.
    Ansonsten bleibt bei vielen leeren Werten noch ein Hash, der belegt sicher nur, was auch initialisiert wurde.
    (Braucht aber allgemein mehr Speicher als ein Array, d.h. es sollt schon viel leer sein)
    Last edited: 2012-05-25 13:32:22 +0200 (CEST)
- +3 replies
- topeg
  
  2012-05-25 13:41
  User since
  2006-07-10
  2611 Artikel
  BenutzerIn
  Ein kleines Modul, das eine Matrix von Zahlenwerten als String verwaltet.
  Mit unpack pack werden die Werte gelesen und geschrieben.
  Darum muss zu Anfang angeben werden welches Format die Zahlen haben sollen. zudem hat die Matrix eine feste Größe, damit die Position des Wertes im String berechnet werden kann.
  bin_matrix.pm : more (20.8kb)
  
  Verwenung:
  
  Code (perl): (dl )
  
  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
  
  #!/usr/bin/perl use strict; use warnings; use bin_matrix; my $m=bin_matrix->new(10,10,'L'); for my $x (0..9) { for my $y (0..9) { my $v=int(rand(2**32)); $m->set($x,$y,$v); } } for my $x (0..9) { for my $y (0..9) { my $v=$m->get($x,$y); print "($x,$y) = $v\n"; } }
  
  Wenn du viele Komplexe Berechnungen auf zweidimensionale Matrizen anwendest kann es sinnvoll eine Grafikbibliothek zu nutzen. Nicht nur das ein Bild eine 2D Matrix mit bis zu vier Werten pro Position ist. Eine Bibliothek hat auch einige Nützliche Funktionen die man zum Transformieren von solchen Matrizen nutzen kann.
  - +2 replies
  - pq
    
    2012-05-25 13:57
    
    User since
    2003-08-04
    12208 Artikel
    Admin1
    
    vielleicht könnte man ja auch die funktion vec() verwenden. dürfte etwas effizienter sein als das selber zu implementieren.
    http://perldoc.perl.org/functions/vec.html
    Last edited: 2012-05-25 13:58:22 +0200 (CEST)
    Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
    lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
    - topeg
      
      2012-05-25 15:13
      
      User since
      2006-07-10
      2611 Artikel
      BenutzerIn
      
      Das Problem dabei ist, das die Werte aus vec als "unsigned integer" angewendet werden, man müsst sie wieder Packen und dann wieder in dem Format entpacken, das man haben will, wenn man "float" oder vorzeichen behaftete Werte hat. Zudem sind maximal 32 Bit auf einmal einlesbar, damit wird ein "bigfloat" kompliziert. vec ist praktisch wenn man Datenformate hat, die nicht auf Bytegrenzen achten. (Bildformate z.B)
      In diesem Fall ist substr und pack recht effizient, wobei man auch mit offset beim unpack nutzen könnte.
      
      Edit:
      
      Aber ja wenn man sich auf "unsigned integer" beschränkt dann kann man die substr+pack Kombikation durch vec ersetzen.
      Last edited: 2012-05-25 15:18:28 +0200 (CEST)
- murphy
  
  2012-05-25 19:25
  
  User since
  2004-07-19
  1776 Artikel
  HausmeisterIn
  
  Um in Perl mit großen Matrizen zu hantieren ist bisweilen auch das Paket PDL nützlich.
  When C++ is your hammer, every problem looks like your thumb.

View all threads created 2012-05-25 11:16.