readdir -> Änderungen im Verzeichnis (Allgemeines zu Perl)

[thread]13864[/thread]

readdir -> Änderungen im Verzeichnis

Leser: 28

Articles: hide open all | hide show old branches

+13 replies
Cappu

2009-08-13 21:50

User since
2009-07-23
25 Artikel
BenutzerIn

Weis einer was passiert wenn man mittels readdir ein Verzeichnis aussliest, wenn sich der Inhalt währenddessen geändert hat (z.B. neue Files oder Files wurden gelöscht)
- +2 replies
- pq
  
  2009-08-13 23:03
  
  User since
  2003-08-04
  12209 Artikel
  Admin1
  
  hab getestet und die gelöschte datei wird trotzdem noch mit aufgelistet.
  debian, ext3
  Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
  lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
  - Taulmarill
    
    2009-08-13 23:09
    
    User since
    2004-02-19
    1750 Artikel
    BenutzerIn
    
    Habe hier unter OS X 10.5.8 mit HFS+ das selbe Ergebnis wie pq. Das Verzeichnis wird anscheinend so angezeigt wie es zum Zeitpunkt von opendir() gewesen ist. Eine neue Datei wurde nicht angezeigt, während eine gelöschte Datei mit aufgelistet wurde.
    $_=unpack"B*",~pack"H*",$_ and y&1|0& |#&&print"$_\n"for@.=qw BFA2F7C39139F45F78 0A28104594444504400 0A2F107D54447DE7800 0A2110453444450500 73CF1045138445F4800 0 F3EF2044E3D17DE 8A08A0451412411 F3CF207DF41C79E 820A20451412414 83E93C4513D17D2B
- +10 replies
- sid burn
  
  2009-08-13 23:29
  User since
  2006-03-29
  1520 Artikel
  BenutzerIn
  Ich habs glaube ich etwas besser getestet als meine beiden vorherigen Poster. Am besten ist es für den test einen eigenen ordner zu erstellen.
  Hier die Testdatei.
  
  Code (perl): (dl )
  
  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
  
  my @files = 1 .. 1_000; system "touch $_" for @files; opendir my $dh, '.' or die $!; my $first = readdir $dh; print "Sleeping...\n"; sleep 5; unlink for @files; my @exists; while ( my $file = readdir $dh ) { push @exists, $file; } closedir $dh or die $!; print "Count: ", scalar @exists + 1, "\n"; print "$first @exists\n";
  
  Die datei geht zuerst hin und erzeugt 1.000 Dateien. Danach wird ein einziger Eintrag ausgelesen. Danach werden alle erzeugten 1.000 Dateien wieder gelöscht.
  
  Das nur ein eintrag ausgelesen wird, und dann gelöscht wird, soll halt simulieren das es parallel läuft, und ein anderer prozess während des lesens einzelne Dateien löschen kann.
  
  Danach warte ich mit sleep kurz 5 sekunden. Das ist eigenltich nur drin damit man sich händisch davon überzeugen kann "ls -l | wc -l" das auch 1000 dateien erzeugt wurden.
  
  Danach lese ich den Rest des verzeichnisses aus, und pushe es in ein array.
  
  Zum schluss gebe ich die anzahl aus wieviele Einträge gefunden wurde. "+1" deswegen da das einzelne readdir mit eingebunden wird.
  
  Ausgabe, des Programmes.
  
  Code: (dl )
  
  1 2 3 4
  
  sidburn@sid:~/perl/foo$ ./readdir.pl Sleeping... Count: 171 . .. 151 372 498 924 206 620 28 24 458 794 290 666 768 843 826 967 867 260 786 456 249 615 985 344 38 998 289 224 552 892 475 287 148 250 825 331 47 303 636 854 277 279 660 723 353 460 761 970 171 785 801 697 512 787 656 520 123 150 408 940 376 152 706 743 443 942 959 910 410 301 576 611 86 57 775 10 896 922 161 8 663 506 680 834 101 264 429 41 619 108 212 609 295 365 990 481 61 908 333 799 994 147 721 469 561 404 538 647 255 119 387 181 34 70 221 667 326 808 14 931 894 981 116 983 291 370 540 9 863 952 267 30 601 546 251 324 991 589 228 7 442 486 674 299 50 507 806 434 464 755 884 586 113 423 6 904 578 247 166 946 338 861 911 1 798 462 736 777 readdir.pl
  
  Erklärung dazu gibt es im nächsten Commit.
  Nicht mehr aktiv. Bei Kontakt: ICQ: 404181669 E-Mail: perl@david-raab.de
  - sid burn
    
    2009-08-13 23:40
    
    User since
    2006-03-29
    1520 Artikel
    BenutzerIn
    
    Okay, und nun zur Erklärung zur Ausgabe. Als erstes vorweg. Ich weiß es nicht 100%ig, allerdiengs ist das eine zusammenreimung von dem Wissen was ich besitze.
    
    1) I/O generell passiert immer gepuffert. Wenn man eine Datei mit "my $line = <$fh>" z.B. liest dann wird in wirklich nicht nur eine Zeile eingelesen, sondern die stdio aus C Puffert ergebnisse zwischen. Daher in wirklichkeit werden bereits sagen wir 100 Zeilen gelesen, aber <$fh> gibt erstmal nur eine zurück. Erneurte aufrufe bedienen sich erstmal aus dem Puffer, wenn dieser aufgebraucht ist, erst dann wird wieder von der alten Position weiter gelesen.
    
    2) readdir wird wahrschienlich genauso verfahren
    
    3) Daher beim ersten lesen mit readdir $dh. Wird zwar ein eintrag zurück gegeben. readdir() bzw das OS puffert gleich weiter. Wenn man nur wenige Dateien zum Testen nimmt kann es dann resultieren das es so ausschaut als wenn alles gepuffert wird. Bei vielen Dateien trifft das aber nicht mehr zu.
    
    4) Wichtig zu beachten ist, das bei einem Dateisystem die Datei von einem puren "readdir" unsortiert sind. das OS/Filesystem legt die dateien so an wie es das für optimal hält, und nicht alphabetisch etc. Daher kommen die Dateien unsortiert heraus. Man sieht das durcheinander ein paar Dateien noch vorhanden, der großteil der Dateien ist verschwunden. Aus meinen Beispiel sieht man das wohl knapp 168 Dateien gepuffert wurden (readdir.pl, . (punkt) und .. (punktpunkt) bleiben ja vorhanden daher kann ich nicht sagen ob diese im puffer liegen oder einfach später ausgelesen werden). Allerdiengs sollte sich die Puffergröße je nach OS/Dateisystem und sogar wahrschienlich RAM und wahrscheinlich dynamisch zur laufzeit ändern, mit einer festen anzahl würde ich also nicht rechnen.
    
    5) Schlußfolgerung:
    readdir() liest so wie es auch sein sollte die Daten itterrativ aus. Das OS puffert allerdiengs daten zwischen. Löscht du datein zwischendurch kann es sein das diese trotzdem noch angezeigt werden, weil sie im puffer liegen.
    
    Wenn du die Datei schon durchlaufen bist, und der Itterrator ist schon darüüber hinweg hat es für dich keinerlei auswirkung.
    
    Erzeugst du neue Dateien kann es hier ebenfalls sein, dass sie angezeigt werden, oder aber das sie nicht erscheinen, weil der puffer nämlich den itterrator soweit nach vorne geschoben hat, dass deine neue datei nicht mehr erfasst wird.
    
    Getestet unter Debian Lenny, 32bit, ext3.
    Last edited: 2009-08-13 23:51:09 +0200 (CEST)
    Nicht mehr aktiv. Bei Kontakt: ICQ: 404181669 E-Mail: perl@david-raab.de
  - +8 replies
  - sid burn
    
    2009-08-13 23:42
    User since
    2006-03-29
    1520 Artikel
    BenutzerIn
    
    Interessant ist das ergebnis auf XFS. Dort werden die Dateien sortiert ausgegeben. Bei XFS kommt als count immer 170 heraus, auf ext3 habe ich 171.
    
    Code: (dl )
    
    1 2 3 4
    
    sidburn@sid:/sidburn/test$ ./readdir.pl Sleeping... Count: 170 . .. readdir.pl 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167
    
    EDIT:
    Stimmt nicht, die dateien werden bei XFS nicht sortiert ausgegeben, sondern sie werden in der reihenfolge ausgegeben, in der man die dateien erzeugt hat.
    Last edited: 2009-08-14 01:32:42 +0200 (CEST)
    Nicht mehr aktiv. Bei Kontakt: ICQ: 404181669 E-Mail: perl@david-raab.de
    - +7 replies
    - Cappu
      
      2009-08-14 11:42
      
      User since
      2009-07-23
      25 Artikel
      BenutzerIn
      
      erstmal ein große danke, das du das gleich so ausführlich untersucht hast - bin recht neu hier und finde es bemerkenswert wie hilfsbereit man hier ist...
      
      tatsächlich geht es bei meiner frage um ein relativ sehr grosses verzeichnis. die darin enthaltenen files werden über apache von einen php script angelegt, welche dann von ein perl script weiterverarbeitet werden sollen. dabei kann es aber auch passieren das aus verschiedenen gründen die files von anderen stellen gelöscht werden.
      
      somit ist dann die obige frage entstanden.
      
      ich bin noch am überlegen wie ich dies genau umsetze, da ich eigentlich recht gern eine art fifo umsetzen wollte. allerdings habe ich die befürchtung das eine sortieren nach erstelldatum recht i/o bzw. cpu lastig werden wird (bei vielen files und ständigen neuen "nachschauen" nach neuen files)....
      - +6 replies
      - sid burn
        
        2009-08-14 12:50
        
        User since
        2006-03-29
        1520 Artikel
        BenutzerIn
        
        Was möchtest du den genau machen? Also der einzige Sinnvolle weg sicherzustellen das eine Datei auch existiert ist sie einfach zu öffnen und den Rückgabestatus zu nutzen. Sagen wir du gehst eine Liste von Dateien durch.
        
        Code (perl): (dl )
        
        1 2 3 4 5 6 7 8 9 10
        
        while ( my $file = readdir $dh ) { eval { open my $fh, '<', $file or die $!; ### tue etwas mit der datei close $fh or die $!; }; if ( $@ ) { warn "Fehler bei Bearbeitung der Datei $file: $!\n"; } }
        
        Daher hier wird die Datei geöffnet etwas mit der datei gemacht, und wieder geschlossen. Sollte es ein fehler geben, z.b. beim öffnen wird eine warnung ausgegeben, aber trotzdem mit der nächsten Datei fortgefahren.
        
        Ob du nun eine warnung ausgiebst das programm direkt abbrechen lässt etc. hängt dann davon ab was du genau erreichen möchtest.
        
        Quote
        ich bin noch am überlegen wie ich dies genau umsetze, da ich eigentlich recht gern eine art fifo umsetzen wollte. allerdings habe ich die befürchtung das eine sortieren nach erstelldatum recht i/o bzw. cpu lastig werden wird (bei vielen files und ständigen neuen "nachschauen" nach neuen files)....
        
        Du meinst ein FIFO auf Dateiebene? Also es werden drei neue Dateien, A, B, C in dieser reihenfolge erstellt, also möchtest du erst A, dann B und dann Datei C bearbeiten?
        
        Ich weiß nicht wie deine Umgebung genau ausschaut, allerdiengs wäre eine Kommunikation der prozesse untereinander z.B. eine Möglichkeit, Daher programm X legt datei an, und sendet Programm Y eine notification das eine neue Datei erzeugt wurde, und gibt den pfad zusätzlich an.
        
        Ein weiterer weg du, nutzt einfach eine kleine Textdatei. Programm X schreibt am ende einfach pro zeile immer den Dateinamen herein der gerade erzeugt wurde. Und Programm Y liest immer zeilenweise diese datei aus. Gleiche prinzip wie oben nur eben über eine Textdatei.
        
        Oder du benennst die dateien eben so durch das sie vom namen her immer sortiert sind. Also z.B. am anfang der datei ein datum einfügen. "20090814" dann werden neue dateien immer zuletzt angezeigt.
        
        Ansonsten wenn du Linux nutzt kannst du z.B: noch "inotify" nutzen. Daher das nachschauen und auslesen der dateien machst du nur dann wenn du auch ein event bekommst das eine neue datei erzeugt wurde, ansonsten wartest du halt solange.
        Nicht mehr aktiv. Bei Kontakt: ICQ: 404181669 E-Mail: perl@david-raab.de
        
        +5 replies
        
        Cappu
        
        2009-08-14 14:06
        
        User since
        2009-07-23
        25 Artikel
        BenutzerIn
        
        ja ich meine ein fifo auf dateiebene - die files sind sozusagen "Jobs". und ich möchte das jeder job sozusagen gerecht abgearbeitet wird. also nicht ein ältere vielleicht bei nicht sortierung viel länger "warten" muss.
        
        wird denn wirklich garantiert das wenn ich die namen entsprechend benenne das ein readdir mir das alphabetisch sortiert? bin davon ausgegangen das es nichts sortiert und auf filesystem ebene auch nicht garantiert wird das es sortiert ist, ausser man sortiert es selber...
        
        pq
        
        2009-08-14 14:22
        
        User since
        2003-08-04
        12209 Artikel
        Admin1
        
        readdir sortiert gar nichts - bzw. das hängt vom FS treiber ab.
        es garantiert dir nichtmal, ob . und .. als erstes auftauchen.
        Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
        lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
        
        +3 replies
        
        sid burn
        
        2009-08-14 14:41
        
        User since
        2006-03-29
        1520 Artikel
        BenutzerIn
        
        Quote
        wird denn wirklich garantiert das wenn ich die namen entsprechend benenne das ein readdir mir das alphabetisch sortiert? bin davon ausgegangen das es nichts sortiert und auf filesystem ebene auch nicht garantiert wird das es sortiert ist, ausser man sortiert es selber...
        
        Nein, wie pq sagte, readdir liest es so aus wie der FS Treiber es für korrekt hält. Das Datum im Dateinamen soll dazu dienen das du selber wieder die liste der Dateien in der richtigen Reihenfolge bringen kannst, nämlich indem du die Dateinamen einfach sortierst.
        
        Hier kannst du dann beispielsweise den glob() Befehl nutzen, den dieser sortiert automatisch.
        
        Code (perl): (dl )
        
        1 2 3
        
        while ( while my $file = glob('*') ) { #... }
        
        oder eben die ausgabe von readdir selber sortieren.
        
        Code (perl): (dl )
        
        my @files = sort readdir $dh;
        
        Nicht mehr aktiv. Bei Kontakt: ICQ: 404181669 E-Mail: perl@david-raab.de
        
        +2 replies
        
        Gast Bob
        
        2009-08-14 17:08
        
        Wie muss ich glob() schreiben, damit auch die Dateien, die mit Punkt anfangen ausgegeben werden?
        
        sid burn
        
        2009-08-14 21:33
        
        User since
        2006-03-29
        1520 Artikel
        BenutzerIn
        
        Code (perl): (dl )
        
        my @files = glob('.* *')
        
        Nicht mehr aktiv. Bei Kontakt: ICQ: 404181669 E-Mail: perl@david-raab.de

View all threads created 2009-08-13 21:50.