thread starten wenn anderer thread schläft (Allgemeines zu Perl)

[thread]19982[/thread]

thread starten wenn anderer thread schläft

Tags: perl5 Ähnliche Threads

Leser: 12

Articles: hide open all | hide show old branches

+4 replies
Gast Perlstarter

2016-02-11 20:11
Guten Abend,

ich versuche mich aktuell an die Arbeit mit perl threads zu gewöhnen.
Dabei programmiere ich ein tool welches zwei unabhängige subs hat, es soll eine art scrapper werden. Dabei habe ich massive Probleme diese zwei subs zu starten, damit sie mithilfe von dbi auf einer sql Datenbank arbeiten können.

sub scrapper soll sich Daten aus der Datenbank holen und diese verarbeiten und neue Daten in die Datenbank hinzufügen.
Code: (dl )

1 2 3 4 5 6 7 8 9 10

sub scrapper { while(1) { ->Datenbank Zugriff über sub get_data()<- ->Scrappen von Daten<- ->Daten hinzufügen über add_data()<- ->Sleep(1000)<- } }
Code: (dl )

1 2 3 4 5 6 7 8 9 10

sub work { while(1) { ->Datenbank Zugriff über sub get_scrapped_data()<- ->Arbeiten mit den Daten<- ->Datenbank Eintrag aktualisieren mit dem gearbeitet wurde über sub update_data()<- sleep(int(rand(5000)) + 3500); } }
Ich möchte die subs parallel in einer infinite loop laufen lassen. Und da ist auch schon das problem wie lasse ich threads solange aktiv bis ich sie unterbreche?

Außerdem gibt es ein problem mit dbi. Der DBI Handle kann nicht zwischen zwei threads geteilt werden. Ich bekomme diese Fehlermeldung

Quote
Thread 1 terminated abnormally: DBD::mysql::db prepare failed: handle 2 is owned by thread 619fb8 not current thread 33ec118 (handles can't be shared between threads and your driver may need a CLONE m
ethod added) at scrap.pl line 175.

Ich habe bereits einiges gelesen zu dem Thema. Z.B. etwas von DBIx::Threaded oder Threads::Queue aber leider fehlt mir da das Verständnis für die threads Thematik.

Vil hat jemand eine Idee wie ich die zwei subs zum laufen bringe.

Liebe Grüße Perlstarter
Last edited: 2016-02-11 20:15:23 +0100 (CET)
- +3 replies
- jan
  
  2016-02-11 20:18
  
  User since
  2003-08-04
  2536 Artikel
  ModeratorIn
  
  Mach für jeden Thread, der DB-Interaktion braucht, eine eigene DB-Verbindung auf, das ist das sinnvollste & einfachste imho.
  
  Alternativ mit Thread::Queue und im Hauptprozess prüfst Du, ob Nachrichten im Queue sind, führst DB-Sachen aus und stellst wieder Nachrichten hinein. Aber das ist umständlich und unhandlich.
  - +2 replies
  - Gast Perlstarter
    
    2016-02-11 21:58
    Hallo Jan,
    
    danke für die Antwort. Ich habe das ganze getestet und soweit funktioniert es anscheinend also ich bekomme die Fehlermeldung nicht mehr.
    
    Ich hab die threads jetzt so gestartet
    
    Code: (dl )
    
    1 2 3 4
    
    threads->create(\&scrapper); threads->create(\&work);
    
    und bekomme die Antwort
    
    Code: (dl )
    
    1 2 3 4
    
    Perl exited with active threads: 2 running and unjoined 0 finished and unjoined 0 running and detached
    
    An dieser stelle werde ich aus dem Perl script geschmissen. Was genau bedeutet das jetzt? Laufen die Subs jetzt dauerhaft im Hintergrund weiter wegen der while(1) loop im sub selber? Nachdem ich das Script mit dem Thread starte sehe ich keine Veränderung in der Datenbank... was für mich heißt das die Threads nicht ausgeführt werden?
    
    Wäre über Antworten dankbar :)
    Last edited: 2016-02-11 22:51:48 +0100 (CET)
    - jan
      
      2016-02-11 23:43
      
      User since
      2003-08-04
      2536 Artikel
      ModeratorIn
      
      Nein, die laufen nur, wenn das Hauptscript noch läuft. Da dein Hauptscript durch war, wurden auch die threads beendet (und vorher nicht sauber gejoint, daher die Meldung).
      Oft macht das Hauptscript auch eine while-loop und läuft, solange noch threads laufen, zB
      
      Code (perl): (dl )
      
      1 2 3 4 5 6 7 8
      
      .... threads->create(...) ... while(threads->list(threads::running)) { sleep(1); } for my $thread (threads->list(threads::joinable)) { $thread->join(); }
      
      Dabei kann es natürlich auch noch überwachen, wieviele threads noch laufen, mehr starten, einzelne beenden, falls es zuviele sind usw, aber für den Anfang sowas in der Richtung.

View all threads created 2016-02-11 20:11.