Array teilen (Allgemeines zu Perl)

[thread]16525[/thread]

Array teilen

Tags: perl5 Array Similar Threads

Readers: 33

Articles: hide open all | hide show old branches

+10 replies
rosti

2011-07-14 17:40

User since
2011-03-19
3069 articles
BenutzerIn

Mal was zum Tüfteln:

Gegeben ist ein Array [1, 2, 3, 4, 5, 6, "otto", "hans", "anna"]

Dieses soll nun so geteilt werden, dass Folgendes dabei rauskommt:

[[1, 2, 3], [4, 5, 6], ["otto", "hans", "anna"]]

Das Array soll also so geteilt werden, dass sich drei innere Arrays mit jeweils drei Spalten ergeben (Vorgabe: 3 Spalten).

Es gibt zwar schon eine Lösung über die Binary, aber die gefällt mir nicht so richtig, weil innerhalb des Deserialize-Algorithmus nicht geprüft werden kann, ob die Teilung ohne Rest aufgeht.

Danke im Voraus ;)
- +8 replies
- pq
  
  2011-07-14 17:46
  User since
  2003-08-04
  12207 articles
  Admin1
  Code (perl): (dl )
  
  1 2 3 4
  
  my @new; while (@old) { push @new, [splice @old, 0, 3]; }
  
  Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
  lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
  - +7 replies
  - rosti
    
    2011-07-14 17:57
    
    User since
    2011-03-19
    3069 articles
    BenutzerIn
    
    Ja, danke Dir, splice ....
    
    Liegt da auch nichts doppelt im Speicher rum? Das wäre noch wichtig.
    
    Viele Grüße,
    Rosti
    - +6 replies
    - renee
      
      2011-07-15 08:21
      
      User since
      2003-08-04
      14371 articles
      ModeratorIn
      
      Die Werte liegen in @new und @old...
      OTRS-Erweiterungen (http://feature-addons.de/)
      Frankfurt Perlmongers (http://frankfurt.pm/)
      --
      
      Unterlagen OTRS-Workshop 2012: http://otrs.perl-services.de/workshop.html
      Perl-Entwicklung: http://perl-services.de/
      - +5 replies
      - rosti
        
        2011-07-15 09:38
        
        User since
        2011-03-19
        3069 articles
        BenutzerIn
        
        Hi Renée,
        
        danke, jow, leider sind die Daten kurzzeitig mal doppelt im RAM, zumindest solange, wie die Teilung innerhalb der Subfunktion erfolgt, leben beide Arrays.
        
        Hintergrund: Mir gehts um die Speicherung eines Arrays in einer Datei, das ist einfach eine Sequenz, in der abwechselnd die Länge des Array-Elements (immer 4 byte) gefolgt vom Array-Element (x byte) selbst steht. Dieses Speicherformat, also die Sequenz selbst, ist für ein 'normales' Array dasselbe, wie für ein Array mit 'inneren' Arrays.
        
        Eine RAM-gefällige Lösung sieht so aus, dass die Aufteilung (falls gewünscht) bereits beim Einlesen der Sequenz erfolgt, danach ist das Array_of_Arrays nur einmal im Hauptspeicher. Allerdings ist hierbei keine Prüfung möglich, ob die Teilung glatt aufgeht.
        
        Möglich ists jedoch, eine Konsistenzprüfung bereits beim Serialisieren zu machen und das Ergebnis in der Datei selbst festzuhalten. An der Stelle werde ich mal weitermachen (4 byte am Dateianfang für eine Col-Check-Sequence).
        
        --Rosti
        
        +4 replies
        
        pq
        
        2011-07-15 13:39
        
        User since
        2003-08-04
        12207 articles
        Admin1
        
        2011-07-15T07:38:50 rosti
        danke, jow, leider sind die Daten kurzzeitig mal doppelt im RAM,
        
        falsch. der code nimmt von @old weg und fügt zu @new hinzu. es sind immer nur 3 elemente doppelt im speicher.
        
        Quote
        zumindest solange, wie die Teilung innerhalb der Subfunktion erfolgt, leben beide Arrays.
        
        und wo ist das problem, wenn das alte array stetig kleiner wird?
        
        wenn du splice nicht kennst, solltest du nachfragen. ich bin nach deiner antwort davon ausgegangen, dass du den code verstehst.
        Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
        lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
        
        rosti
        
        2011-07-15 16:10
        
        User since
        2011-03-19
        3069 articles
        BenutzerIn
        
        Also Tina, ich danke Dir. Wenn das wirklich so ist, dass das eine Array stückweise abgewrackt und dabei gleich der Speicher freigegeben wird, könnte ich da weitermachen. Mache ich aber nicht, siehe meine Idee von heute morgen:
        
        Die Datei wird eine CheckSequence (CS, 4 byte) bekommen, damit sind sowohl beim Speichern (Serialize) als auch beim Wiedereinlesen (Deserialize) Konsistenzprüfungen möglich und je nach CS wird unterschiedlich Serialisiert/Deserialisiert.
        
        Viele Grüße,
        Rolf
        
        +2 replies
        
        MatthiasW
        
        2011-07-15 16:19
        
        User since
        2008-01-27
        367 articles
        BenutzerIn
        
        2011-07-15T11:39:52 pq
        2011-07-15T07:38:50 rosti
        danke, jow, leider sind die Daten kurzzeitig mal doppelt im RAM,
        
        falsch. der code nimmt von @old weg und fügt zu @new hinzu. es sind immer nur 3 elemente doppelt im speicher.
        
        Das ist soweit schon richtig, allerdings denke ich, dass @old wohl trotzdem Platz für so viele Skalare belegt, wie an Daten vorher drin gespeichert wurden. Wie bei einem void* a[1000]: der wird auch nicht kleiner nur weil ich seine Elemente auf 0 setze.
        
        Ob das hier aber eine Rolle spielt? Ich wage es mal zu bezweifeln. Man müsste den tatsächlichen Overhead einfach mal messen:
        more (7.2kb)
        liefert:
        more (1.0kb)
        Wie man sieht, ist der Overhead in allen Fällen gleich groß und im Verhältnis zum gefüllten Array nicht zu unterschätzen, wenn auch ~0.5 MiB so gut wie nichts ist.
        
        Wenn es denn unbedingt ohne Kopie sein soll, ersetzt man eben in dem Array selbst:
        
        Code (perl): (dl )
        
        1 2
        
        $data[$_] = [@data[$_*3..$_*3+2]] for 0..$#data/3; $#data = $#data/3; # neue Länge setzen
        
        Das ist aber wirklich nicht schön anzuschauen.
        
        MfG
        
        Editiert von MatthiasW: Code zum Testen der Größe von Objekten hinzugefügt
        Last edited: 2011-07-15 17:26:09 +0200 (CEST)
        perl -E'*==*",s;;%ENV=~m,..$,,$&+42;e,$==f;$"++for+ab..an;@"=qw,u t,,print+chr;sub f{split}say"@{=} me"'
        
        pq
        
        2011-07-16 13:09
        
        User since
        2003-08-04
        12207 articles
        Admin1
        
        stimmt, dass die arrayelemente nicht komplett gelöscht werden, war mir nicht bewusst.
        das sollte dann aber nur ein problem sein, wenn das array sehr gross ist und die elemente vergleichsweise wenig platz brauchen. wenn man strings unterschiedlicher länge im array hat, dann liegen während des kopiervorgangs nur die "platzhalter" doppelt im speicher und sollten im vergleich zu den inhalten nicht signifikant viel ausmachen.
        Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
        lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
- murphy
  
  2011-07-18 00:54
  
  User since
  2004-07-19
  1776 articles
  HausmeisterIn
  
  Wenn man scheibenweise über ein Array iterieren will kann man auch List::MoreUtils::natatime verwenden.
  
  Dabei wird auch direkt auf das ursprüngliche Array zugegriffen und wenig zusätzlicher Speicher belegt.
  When C++ is your hammer, every problem looks like your thumb.

View all threads created 2011-07-14 17:40.