Storable – Zeitweilig defekte Daten (gelöst) (Fragen zu Perl-Modulen) - Perl-Community.de

Start · Board · Anwendungen/Programme/Skripte in Perl · Fragen zu Perl-Modulen

2024-11-09 01:27:55
Europe/Berlin
Einloggen (Registrieren)
- Einstellungen
- Statistics
Jemand zu Hause?
0 Benutzer online
15 Gäste

[thread]21456[/thread]

submit to reddit

Storable – Zeitweilig defekte Daten [gelöst]

[gelöst]

Tags: perl5 Ähnliche Threads

Leser: 8

Articles: hide open all | hide show old branches

Teilbaum:
Fehler: Modification of a read-only value attempted (10 Artikel) 2023-05-04 15:01

+27 replies
GwenDragon

2023-04-21 13:15

User since
2005-01-17
14745 Artikel
Admin1

Ich benutze Storable um Daten in einer Datei zu speichern, sperre die zu Anfang vor dem Lesen mit lock_retrieve, dann ändere ich Daten und schreibe die mit lock_nstore zurück.

Habt ihr das schon mal gehabt, dass lauter kaputte Daten drin waren? Kann das sein, das Dateilocking da fehlschlägt?

Linux Debian 11
Perl 5.32.1
Storable 3.2.1
die Drachin Gwen

Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
- +6 replies
- haj
  
  2023-04-21 15:26
  User since
  2015-01-07
  551 Artikel
  BenutzerIn
  Ich hatte bisher noch keine Probleme mit Storable, kenne aber Situationen in denen das Sperren von Dateien nicht den gewünschten Effekt hat:
  
  Generell ist flock nur eine "advisory" Sperre, die verhindert nicht wirklich, das andere Prozesse eine Datei öffnen.
  
  Wenn die Datei auf einem Netzwerk liegt (Samba, NFS), dann wirkt die Sperre nicht gegen Zugriffe von anderen Systemen.
  
  Ich habe in solchen Fällen auch schon die neue Version in einer neuen Datei auf dem gleichen Dateisystem geschrieben und dann mit rename die alte ersetzt. Das gleiche Dateisystem ist wichtig, damit das rename atomar abläuft. Eine temporäre Datei tut's nicht, die liegt da, wo /tmp montiert ist, und das kann irgendwo sein.
  - +5 replies
  - GwenDragon
    
    2023-04-21 16:03
    
    User since
    2005-01-17
    14745 Artikel
    Admin1
    
    Das Dateilocking in Perl per flock() ist immer ein Risiko, ich weiß.
    
    NFS oder CIFS ist es nicht, Ext4, die Datei liegt im Dateisystem einer HD. Daran kanns nicht liegen.
    
    Schrieben in eine neue Zwisschendatei, die alte Löschen und rename wäre eine Möglichkeit, aber auch da hab ich doch auch das Problem Race Condition, oder?
    die Drachin Gwen
    
    Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
    - +4 replies
    - haj
      
      2023-04-21 16:52
      
      User since
      2015-01-07
      551 Artikel
      BenutzerIn
      
      Kommt drauf an, wer und wie da mitläuft beim Race. Du solltest die alte Daten nicht löschen, nur dann ist rename atomar: es überschreibt den Verzeichniseintrag, damit ist die alte Datei auch "weg". Bei Ext4 und Debian halte ich das für ausreichend robust.
      
      In beiden Fällen ist der alte Inhalt der Datei für Prozesse, die die Datei vorher schon geöffnet hatten, weiterhin lesbar.
      - +3 replies
      - GwenDragon
        
        2023-04-21 16:57
        
        User since
        2005-01-17
        14745 Artikel
        Admin1
        
        Wie soll das dann gehen mit Storable?
        Ich versteh gerade nicht wie das gemacht werden könnte.
        
        Allgemein ist es doch so bei meinem Caching von Daten:
        Storable lockt Cache-Datei
        Änderung der Cache-Daten im Programm
        Storable lockt Cache-Datei und schreibt Cache zurück
        Last edited: 2023-04-21 16:58:23 +0200 (CEST)
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
        
        +2 replies
        
        haj
        
        2023-04-21 17:23
        
        User since
        2015-01-07
        551 Artikel
        BenutzerIn
        
        Wo liegt das Problem? Du schreibst mit Storable eine neue Datei mit dem richtigen Inhalt in eine Datei mit kunstvoll generiertem Namen und benutzt dann rename, um sie auf den "richtigen" Namen zu verschieben. Was in der Datei vorher drinstand und wer sie grade sonst noch bearbeitet, spielt dafür keine Rolle: Jeder, der nach dem rename die Datei öffnet, bekommt den neuen Inhalt.
        
        Nachdem Lesen/Ändern/Schreiben ja eine Transaktion sein sollte, kannst Du auch selbst ein exclusives(!) Lock schon vor dem Lesen holen. Sonst hast Du immer das Wettrennen: Du liest (mit Share-Lock), dann lese ich (mit Share-Lock), dann schreibst Du (mit exklusivem Lock) und danach schreibe ich (mit exklusivem Lock). Deine Änderungen sind nun futsch!
        
        GwenDragon
        
        2023-04-21 18:49
        
        User since
        2005-01-17
        14745 Artikel
        Admin1
        
        Danke für den Hinweis, @haj.
        Natürlich klappt das. Perls rename() ist ja was ganz anderes als das von MSDOS, das so nix überschreibt.
        Und ich hatte das rename() auch in meinen Programmen schon früher so eingesetzt, habe gerade gesehen.
        
        Oh, verflucht, mit Migräne is' nix gut Arbeiten und Sehen. Hirn und Augen weigern sich.
        Last edited: 2023-04-21 19:13:35 +0200 (CEST)
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
- +9 replies
- rosti
  
  2023-04-21 17:49
  
  User since
  2011-03-19
  3470 Artikel
  BenutzerIn
  
  Lesen und Schreiben muß zusammen atomar sein. Ich manage das per IO::File und flock. http://rolfrost.de/flock.html
  
  Den Serializer von Storable gibt es als freeze() und thaw() Klassenmethoden.
  
  MFG
  - +8 replies
  - bianca
    
    2023-04-22 08:02
    
    User since
    2009-09-13
    7016 Artikel
    BenutzerIn
    
    2023-04-21T15:49:46 rosti
    Ich manage das per IO::File und flock. http://rolfrost.de/flock.html
    
    Ungefähr mittig bei
    Quote
    Kommunikation zwischen OS und Perl wir über die c-Library
    fehlt dem wird ein d.
    
    Und bei flock bin ich mit
    Quote
    Damit wird beim Aufruf von flock() ein Rückgabewert von undef erzwungen ...
    nicht einverstanden. Das liefert m. E. nicht undef sondern false/0 wenn es scheitert.
    10 print "Hallo"
    20 goto 10
    - +7 replies
    - rosti
      
      2023-04-22 08:23
      
      User since
      2011-03-19
      3470 Artikel
      BenutzerIn
      
      undef bedeutet, daß man es in seiner Kontollstruktur als einen nicht wahren Wert auffasst.
      
      MFG
      
      Siehe auch: https://de.perlmaven.com/boolesche-werte-in-perl
      
      Quote
      Perl hat keinen ausgewiesenen booleschen Typ und trotzdem kann man in der Dokumentation Funktionen finden, die einen booleschen Wert zurückgeben.
      
      Last edited: 2023-04-23 06:49:35 +0200 (CEST)
      - +4 replies
      - GwenDragon
        
        2023-04-23 16:25
        
        User since
        2005-01-17
        14745 Artikel
        Admin1
        
        Und lustig sind auch Perls Konstruktionen für Null aber boolsch Wahr" wie z.B. 0E0 in DBI oder als Zeichenkette "0 but true".
        
        T:\>perl -E"say qq(TRUE) if 0"
        
        T:\>perl -E"say qq(TRUE) if qq(0 but true)"
        TRUE
        
        T:\>perl -E"say qq(TRUE) if qq(0E0)"
        TRUE
        Last edited: 2023-04-23 16:30:41 +0200 (CEST)
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
        
        +2 replies
        
        rosti
        
        2023-04-23 16:34
        
        User since
        2011-03-19
        3470 Artikel
        BenutzerIn
        
        Liebe Gwen, noch lustiger wird es wenn JavaScript aus einem boolschen true die Zeichenkette 'true' erzeugt oder PHP nach eigenen Gutdünken Typen einfach umwandelt ;)
        
        GwenDragon
        
        2023-04-23 17:30
        
        User since
        2005-01-17
        14745 Artikel
        Admin1
        
        Dieses "Wir wandeln mal den Typ um" fand ich net aber auch öfters fehlerhaft in JS, PHP und Perl. Zuviel Interpreter statt Compiler mit strikter Deklaration.
        Dieses IKWYW (I Know What You Want) mancher Sprachen ist zwar nett, verleitet aber eben zu Schlamperei und führt zu Sicherheitslücken bei der Implementation.
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
        
        payx
        
        2023-04-23 21:24
        
        User since
        2006-05-04
        564 Artikel
        BenutzerIn
        
        Hallo GwenDragon
        
        2023-04-23T14:25:41 GwenDragon
        T:\>perl -E"say qq(TRUE) if qq(0 but true)"
        TRUE
        
        T:\>perl -E"say qq(TRUE) if qq(0E0)"
        TRUE
        
        Es kommt doch, egal was Du (außer 0) in das zweite qq() schreibst, einfach immer TRUE, oder?
        Fragt und grüßt
        payx
        
        PS: Das hier liest sich lustig, finde ich:
        
        Code: (dl )
        
        perl -E"say qq(TRUE) if qq(FALSE)"
        
        ... und gibt als Antwort: TRUE
        Das Lügner-Paradoxon in Reinform. :-)
        Last edited: 2023-04-23 21:40:42 +0200 (CEST)
      - +2 replies
      - bianca
        
        2023-04-24 08:08
        
        User since
        2009-09-13
        7016 Artikel
        BenutzerIn
        
        Ich verstehe nicht was ihr hier alles geschrieben habt. Dachte dass undef und 0 jeweils für sich eindeutig sind. Wo kommt das vor mit "Kontollstruktur", "say qq(TRUE) if qq(0 but true)", "IKWYW" und "aus einem boolschen true die Zeichenkette 'true' erzeugt"? Wo wird sowas in Perl Scripts bei der Nutzung von flock() genutzt bzw. kommt vor?
        10 print "Hallo"
        20 goto 10
        
        GwenDragon
        
        2023-04-24 08:59
        
        User since
        2005-01-17
        14745 Artikel
        Admin1
        
        Das kommt nrgendwo bei flock vor.
        Es war nu ein Beispiel für die Frage, was Sprachen von undef u.a. Werten im boolschen Sinne halten bei Typumwandlung in Vergleichen o.ä..
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
- GwenDragon
  
  2023-04-27 19:28
  
  Subtree with 11 replies: Fehler: Modification of a read-only value attempted
  
  User since
  2005-01-17
  14745 Artikel
  Admin1
  
  Echt jetzt Perl wirf mir nach einiger Zeit "Modification of a read-only value attempted at ...." ins Log.
  
  Was soll dann da R/O werden können!? Ich verwende nirgends Readonly o.ä.
  my @cache = ();
  my $cacheref = \@cache;
  
  Wie kann in Perl ein Wert in einem Array oder eine Variable read-only werden?
  
  https://www.perlmonks.org/?node_id=570712 brachte mich auf die Idee mal im Code nach map und sort und Shwartzian Transform zu forschen.
  Muss ich weiter beobachten.
  Last edited: 2023-04-27 20:18:53 +0200 (CEST)
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten

View all threads created 2023-04-21 13:15.