Katastrophe Threads (Allgemeines zu Perl)

[thread]20507[/thread]

Katastrophe Threads

Tags: perl5 Threads Thread parallel Similar Threads

Readers: 13

Articles: hide open all | hide show old branches

+17 replies
PerlNoob5

2018-09-06 11:19
User since
2018-09-06
4 articles
BenutzerIn
Hallo Leute,

ich tappe im Dunkel, wenn es um Threads geht.
Folgendes Problem, ich habe zwei Arrays, die kopiert werden sollen. Aus Zeitgründen wollte ich diese zwei Schleifen parallel laufen lassen, damit dieser Vorgang schneller geht.
Code (perl): (dl )

1 2 3 4 5 6 7

foreach my $exportZeile(@export){ $KopieExport[$#KopieExport +1] = $exportZeile; } foreach my $inputZeile(@input){ $KopieInput[$#KopieInput +1] = $inputZeile; }
Das sind die beiden Schleifen und das ist mein Versuch der Threads:
Code (perl): (dl )

1 2 3 4 5 6 7 8 9 10 11

my ($thr1) = threads->create(sub{ foreach my $exportZeile(@export){ $KopieExport[$#KopieExport +1] = $exportZeile; } }); my ($thr2) = threads->create(sub{ foreach my $inputZeile(@input){ $KopieInput[$#KopieInput +1] = $inputZeile; } });
Ich hoffe ihr könnt mir dabei helfen, da ich total auf dem Schlauch stehe.
Ich bedanke mich schon jetzt für euren Aufwand und eure Hilfe! :)

Grüße
Last edited: 2018-09-06 13:00:21 +0200 (CEST)
- +7 replies
- Linuxer
  
  2018-09-06 12:31
  User since
  2006-01-27
  3891 articles
  HausmeisterIn
  Ich vermisse eine Problembeschreibung.
  Was passiert denn? Was passiert nicht?
  Gibt es eine Fehlermeldung? Wie lautet diese?
  
  Du weißt, dass Du Arrays durch Zuweisung kopieren kannst?
  
  Code (perl): (dl )
  
  @kopie = @original;
  
  Was genau bringt Dir die foreach-Schleife, die erstmal eine anonyme Liste aus dem erzeugt, über das sie iterieren soll?
  
  Vielleicht suchst eher die for-Schleife mit C-Syntax:
  
  Code (perl): (dl )
  
  1 2 3
  
  for ( my $i=0; $i<@original; $i++ ) { $kopie[$i] = $original[$i]; }
  
  Das klärt aber - glaube ich - nicht, was genau Dein eigentliches Problem ist...
  meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
  Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
  - +6 replies
  - PerlNoob5
    
    2018-09-06 13:28
    
    User since
    2018-09-06
    4 articles
    BenutzerIn
    
    Also ich dachte mir, wenn ich die Arrays mit Threads kopiere, dass das parallel geht und Zeit spart.
    Ich will in dem Programm auch noch für andere Problematiken Threads benutzten, hierbei geht mir das auch darum, Threads besser zu verstehen.
    
    Es kommt auch noch die Fehlermeldung:
    Perl exited with activ threads:
    0 running an unjoinded
    1 finisched and unjoined
    0 running and detached
    - Linuxer
      
      2018-09-06 13:42
      
      User since
      2006-01-27
      3891 articles
      HausmeisterIn
      
      hm, wenn die Arrays nicht übermäßig viele Daten enthalten, glaube ich, dass der Unterschied kaum zu spüren ist.
      Aber das ist nur meine einfache Vermutung.
      
      Ich habe selber keine wirklichen Erfahrungen mit threads. Was ich mir vorstellen kann, dass Du die threads auch beim Beenden wieder aufräumen musst.
      
      Laut https://perldoc.perl.org/threads.html kannst Du mal versuchen, ans Ende Deiner Subroutinen für die threads ein threads->exit(); einzubauen, um den thread zu beenden, wenn sein Job erledigt ist.
      meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
      Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
    - haj
      
      2018-09-06 15:02
      
      User since
      2015-01-07
      567 articles
      BenutzerIn
      
      2018-09-06T11:28:46 PerlNoob5
      Also ich dachte mir, wenn ich die Arrays mit Threads kopiere, dass das parallel geht und Zeit spart.
      
      Viel Zeit sparst Du, indem Du die Arrays nicht in einer Schleife kopierst (wie ja schon vom Linuxer vorgeschlagen), weil dann der ganze Overhead innerhalb von Perl stattfindet.
      
      2018-09-06T11:28:46 PerlNoob5
      Ich will in dem Programm auch noch für andere Problematiken Threads benutzten, hierbei geht mir das auch darum, Threads besser zu verstehen.
      
      Zunächst mal hat die Beschreibung die Warnung zu bieten:
      
      https://perldoc.perl.org/threads.html
      The use of interpreter-based threads in perl is officially discouraged.
      
      Wenn's dennoch sein soll, dann hat das Thread Tutorial dazu einige Tipps und Beispiele parat. Der erste Hinweis, der zur Fehlermeldung passt, ist schon mal, dass man auf Threads mit join() warten muss - und der zweite, dass die Variablen Thread-lokal sind. Ohne Verwendung von threads::shared kann man also nur den Rückgabewert der Thread-Subroutinen weiterverwenden.
    - +3 replies
    - Linuxer
      
      2018-09-06 22:56
      
      User since
      2006-01-27
      3891 articles
      HausmeisterIn
      
      Ich habe mal einen Benchmark gemacht, um die verschiedenen Varianten des Kopierens zu vergleichen.
      
      Das Test-Skript erstellt zunächst einen Ursprungs-Array mit 1.000 Elementen, jedes Element ein zufälliger 20-Zeichen-String.
      
      Getestet habe ich mit den Perl-Versionen 5.22.0, 5.22.4, 5.24.1, 5.24.2, 5.26.1 und bei allen ist das Ergebnis ähnlich (leichte Varianzen in den Zahlen, aber immer gleiche Rangfolge). Ältere Versionen als 5.22.0 habe ich hier nicht installiert, daher keine Tests dafür.
      
      Hier das Ergebnis exemplarisch für 5.26.1:
      
      Code: (dl )
      
      1 2 3 4 5 6 7 8
      
      perl-5.26.1 ========== Rate copy_c_loop copy_c_loop_push copy_foreach copy_foreach_push copy_direct copy_c_loop 6515/s -- -4% -24% -38% -64% copy_c_loop_push 6761/s 4% -- -21% -35% -63% copy_foreach 8532/s 31% 26% -- -18% -53% copy_foreach_push 10438/s 60% 54% 22% -- -42% copy_direct 18101/s 178% 168% 112% 73% --
      
      Das schnellste Kopieren ist die direkte Kopie, gefolgt von der foreach-Schleife, in der die Elemente mit push() ins neue Array übertragen werden. Die C-for-Schleife schneidet sogar am schlechtesten ab. Hätte ich so nicht erwartet, muss ich zugeben.
      
      more (14.0kb)
      meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
      Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
      - +2 replies
      - PerlNoob5
        
        2018-09-07 08:36
        
        User since
        2018-09-06
        4 articles
        BenutzerIn
        
        Erstmal danke für den Aufwand, in dem Punkt konntest du mich auch überzeugen. Ich habe jetzt das direkte kopieren übernommen.
        
        Aber leider bleibt immer noch die Frage was an dem Thread falsch war. Ich will ja für die Zukunft wissen, was ich anders machen muss.
        
        Linuxer
        
        2018-09-07 13:42
        
        User since
        2006-01-27
        3891 articles
        HausmeisterIn
        
        Was ist denn aus den Hinweisen von mir (threads->exit() einbauen) und haj (mit threads->join() auf Threads warten; Variablen sind thread-only und müssten explizit "shared" gemacht werden; Link auf Thread-Tutorial) geworden?
        Hast Du die verfolgt?
        Hast Du sie ausprobiert?
        meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
        Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
- GwenDragon
  
  2018-09-06 13:19
  
  User since
  2005-01-17
  14816 articles
  Admin1
  
  Warum willst du nicht direkt über eine Schleife kopieren?
  Welche Gründe gibts da?
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
- +3 replies
- hlubenow
  
  2018-09-06 18:05
  
  User since
  2009-02-22
  877 articles
  BenutzerIn
  
  Ich vermeide Threads, wenn sie nicht absolut nötig sind.
  
  Manchmal liest man, daß jemand Threads verwenden will, um die Aufgaben auf mehrere Prozessoren zu verteilen. Aber kann man das nicht einfach mit mehreren Prozessen, also mehreren Skripten tun, die man nebeneinander startet? Ich weiß das gar nicht, gibt es eine Möglichkeit (z.B. unter Linux) zu sagen, "Skript 1" soll auf Prozessor 1 laufen, und "Skript 2" auf Prozessor 2?
  Last edited: 2018-09-06 18:06:11 +0200 (CEST)
  - +2 replies
  - Raubtier
    
    2018-09-06 18:24
    
    User since
    2012-05-04
    1081 articles
    BenutzerIn
    
    Kommt halt drauf an, was die Aufgabe ist. Nicht immer lässt sich eine Arbeit einfach in mehrere Scripte aufteilen. Daher können threads durchaus sehr hilfreich sein.
    
    Es ist halt nicht leicht, mit Threads korrekt zu arbeiten. In C++ hat z.B. Sean Parent das Ziel "No Raw Synchronization Primitives" ausgegeben. Einfach, weil man viel viel falsch machen kann. Also: möglichst irgendwelche High-Level-Funktionen nutzen. Ich denke, das Problem gilt genauso auch für Perl. Sobald man von selbst irgendwie lockt, wird es gefährlich.
    
    Bevor man mehr Rechenleistung auf ein Problem schmeißt, erstmal schauen, ob man nicht den Algorithmus verbessern kann! Ich weiß nicht, wie relevant das in einer Scriptsprache ist, aber ich konnte z.B. viele exp(x_i-y_j)-Berechnungen durch Vorberechnung von exp(x_i) und exp(y_j) und dann Nutzen der Division der vorberechneten Werte sehr viel Zeit sparen.
    
    Gibt es in Perl eigentlich sowas wie Promises und Futures? Oder ein Interface zu Intels TBB? Wie man schon sieht, ich mache zeitkritische Dinge eigentlich nicht in Perl ;-)
    - haj
      
      2018-09-06 22:25
      
      User since
      2015-01-07
      567 articles
      BenutzerIn
      
      2018-09-06T16:24:27 Raubtier
      Gibt es in Perl eigentlich sowas wie Promises und Futures?
      
      In Perl 5 gibt es Promises fürs Spezielle und MCE für alle möglichen parallelen Welten - mit Prozessen, nicht mit Threads. Eingebaute Concurrency gibt's reichlich in Perl 6: https://docs.perl6.org/language/concurrency.
- +5 replies
- rosti
  
  2018-09-06 18:23
  
  User since
  2011-03-19
  3548 articles
  BenutzerIn
  
  Ich vermute Deine unbeschriebenen Probleme haben etwas mit dem Scope der Variablen zu tun.
  
  MfG
  http://blog.rolfrost.de/
  
  The art of steam.
  - +4 replies
  - PerlNoob5
    
    2018-09-07 08:40
    
    User since
    2018-09-06
    4 articles
    BenutzerIn
    
    Meinst du damit, dass der flasche Datentyp benutzt wurde?
    
    Sorry falls es eine dumme Frage ist, bin noch ziemlich neu dabei.
    - +3 replies
    - rosti
      
      2018-09-07 09:16
      
      User since
      2011-03-19
      3548 articles
      BenutzerIn
      
      2018-09-07T06:40:22 PerlNoob5
      Meinst du damit, dass der flasche Datentyp benutzt wurde?
      
      Sorry falls es eine dumme Frage ist, bin noch ziemlich neu dabei.
      
      Perl kennt keine Datentypen. Wenn Du neu bist, sind Threads noch nichts für Dich. Und was den Scope betrifft, das ist der Geltungsbereich von Variablen, der auch bei erfahrenen Programmierern immer wieder mal zu Überraschungseffekten führt.
      
      MfG
      http://blog.rolfrost.de/
      
      The art of steam.
      - +2 replies
      - hlubenow
        
        2018-09-07 17:31
        
        User since
        2009-02-22
        877 articles
        BenutzerIn
        
        2018-09-07T07:16:00 rosti
        Perl kennt keine Datentypen.
        
        Das finde ich als Antwort für einen Anfänger etwas verwirrend: Perl kennt Skalare, die Zahlen, aber auch Zeichenketten enthalten können:
        
        Code (perl): (dl )
        
        1 2 3 4 5 6 7 8 9 10 11 12
        
        #!/usr/bin/perl use warnings; use strict; my $a = 5; if ($a > 2) { print "Larger than 2.\n"; } $a = "Hello"; if ($a ne "World") { print "Not the word 'World'.\n"; }
        
        Außerdem kennt Perl Arrays (@array) und Hashes (%hash).
        
        Ich würde sagen, man könnte hier von Datentypen sprechen. Aber das wäre ein Streit um Worte. Es gibt in Perl jedenfalls diese drei Arten von Variablen, mit denen man arbeiten kann.
        
        rosti
        
        2018-09-07 17:43
        
        User since
        2011-03-19
        3548 articles
        BenutzerIn
        
        Nun, wenn ein Anfänger fragt ob er einen falschen Datentyp gewählt hat, ist meine Antwort schon korrekt.
        
        Andererseits kennt Perl sehr wohl Datentypen, siehe pack()/unpack() Funktion. Das Speichern/Transportiern von Daten in Dateien ist ohne Typisierung nämlich gar nicht möglich.
        
        Und Arrays bzw. Hashes sind abstrakte Datentypen.
        
        Siehe auch: http://rolfrost.de/typisierung.html
        
        MfG
        http://blog.rolfrost.de/
        
        The art of steam.

View all threads created 2018-09-06 11:19.