Ordnerstruktur à la CGI::Cache (Allgemeines zu Perl)

[thread]13931[/thread]

Ordnerstruktur à la CGI::Cache

Leser: 19

Articles: hide open all | hide show old branches

+5 replies
roooot

2009-08-26 14:16
User since
2008-03-03
276 Artikel
BenutzerIn
Hi

ich verwende CGI::Cache, welches eine Ordnerstruktur beliebiger Tiefe mit Namen von [0-9, a-f] erstellt.
Sprich, das sieht dann so aus:
Code: (dl )

1 2 3 4 5 6 7 8 9

3 ..4 ....a c ..d ....4 e ..8 ....6
Ich denke mal er macht das um die Anzahl der Dateien in einem Ordner möglichst klein zu halten.
Da ich nun auch ein sehr sehr viele (kleine) Dateien schreiben lassse möchte ich auch solch eine Ordnerstruktur aufbauen.
Nun bin ich auf der Suche nach einem Modul, dass diese Aufteilung für mich übernimmt.
Ansonsten würde mein erster Ansatz wohl über File::Path und File::Find laufen.

Ich habe schon ein wenig die einzelnen Module von CGI::Cache durchgeschaut und ich vermute, dass die Ordnerstruktur in Cache::FileBackend erstellt wird, bin mir aber nicht sicher, denn den eigentlich Code dazu kann ich nicht ausmachen :(

Wäre für Hilfe eurerseits dankbar.
Viele Grüße :)
- +4 replies
- sid burn
  
  2009-08-26 15:23
  
  User since
  2006-03-29
  1520 Artikel
  BenutzerIn
  
  2009-08-26T12:16:53 roooot
  Ich denke mal er macht das um die Anzahl der Dateien in einem Ordner möglichst klein zu halten.
  
  Ja zum einen, auch kann ein Lookup davon evtl. Profitieren, also das abfragen.
  
  Quote
  Da ich nun auch ein sehr sehr viele (kleine) Dateien schreiben lassse möchte ich auch solch eine Ordnerstruktur aufbauen.
  Nun bin ich auf der Suche nach einem Modul, dass diese Aufteilung für mich übernimmt.
  
  Ein Modul das die aufteilung komplett für dich übernimmt wird es wohl nicht geben. Es gibt aber Module die dir helfen mit Dateien/Verzeichnisse umzugehen.
  
  Eingebaut und Core Modul ist hierbei "File::Spec", dass finde ich aber teilweise etwas umständlich zu nutzen. Schöner ist z.B: Path::Class
  
  Quote
  Ansonsten würde mein erster Ansatz wohl über File::Path und File::Find laufen.
  
  Ein Cache funktioniert nach dem Key/Value prinzip. Daher du gibst einen schlüssel an und speicherst unter diesem etwas. Beim auslesen gibst du den Key an zum auslesen.
  
  Da du den key schon weißt weiß ich nicht wofür du File::Find benötigst. Das abrufen eines Keys sollte eine einzige Operation sein ohne das du etwas suchen musst.
  
  Zum Beispiel wenn dein schlüssel "name" heißt speicherst du es in der Datei "name". Zum auslesen öffnest du direkt die datei "name". Diese musst du dann nicht mehr suchen.
  
  Eine implementation könnte sein wenn du den key in einen Hash umwandelst. z.B. als SHA1 hash. Deine aufteilung sieht dann so aus, das die ersten beiden buchstaben z.B. ein Ordner ist.
  
  Zum Beispiel ist die SHA1 Nummer zu "name" => "6ae999552a0d2dca14d62e2bc8b764d377b1dd6c"
  
  Daher du Speicherst es in "6a/e999552a0d2dca14d62e2bc8b764d377b1dd6c".
  
  Optional kannst du es natürlich in mehrere ordner unterteilen. Durch die Abspaltung von den ersten beiden Zahlen und da dies Hex Nummern sind, schaffst du damit eine Segmentierung von 256 Ordnern.
  Last edited: 2009-08-26 15:27:00 +0200 (CEST)
  Nicht mehr aktiv. Bei Kontakt: ICQ: 404181669 E-Mail: perl@david-raab.de
  - +3 replies
  - roooot
    
    2009-08-26 16:06
    
    User since
    2008-03-03
    276 Artikel
    BenutzerIn
    
    Danke.
    
    File::Spec habe ich schon gefunden und fand die Handhabung sehr umständlich.
    Path::Class werde ich mir genauer anschauen.
    
    Die Ordner erstelle ich jetzt einfach zufällig? Wie kann man eine ungefähre Gleichverteilung der Dateien auf die einzelnen Ordner erreichen? Reicht der Zufall aus?
    Viele Grüße :)
    - +2 replies
    - sid burn
      
      2009-08-26 16:29
      
      User since
      2006-03-29
      1520 Artikel
      BenutzerIn
      
      Quote
      Die Ordner erstelle ich jetzt einfach zufällig?
      
      Nein basierend auf die SHA1 Nummer des Keys. Und die SHA1 Nummer nutzt du für die Ordner/Datei generierung.
      
      Wenn du also die anforderung bekommst den Wert für "foo" auszugeben, wandelst du "foo" in die SHA1 Nummer um. Was dann "0beec7b5ea3f0fdbc95d0dd47f3c5bc275da8a33" ergibt daher du weist du musst in der Datei "0b/eec7b5ea3f0fdbc95d0dd47f3c5bc275da8a33" nachschauen und den Inhalt zurück geben, hat dein System die Datei nicht, so hast du den wert nicht gecached.
      
      Quote
      Wie kann man eine ungefähre Gleichverteilung der Dateien auf die einzelnen Ordner erreichen? Reicht der Zufall aus?
      
      Wie du dateien gleichmäßig verteilst und dazu noch den Lookup ermöglichst ohne zu suchen dazu würde mir nur einfallen das du dein ein Index aufbauen musst.
      
      Daher du erstellst z.B. den Ordner 1. Legst dort 256/512/1024/... dateien ab, und erstellst danach Ordner 2 und legst wieder die gleiche anzahl ab. Okay eigentlich ist das nicht gleich verteilt, aber damit baust du die ordner mit gleicher größe auf.
      
      Zum schnellen zugriff musst du dann eine art index haben in der "keyname" -> Ordner/Datei gemapt wird.
      
      Trickreich wird es dann wenn Werte auslaufen/gelöscht werden. Dann müsstest du wissen in welche Ordner am wenigsten sind und dann entsprechend eine Logik aufbauen. Kurz gesagt halte ich das für zu kompliziert, und sehe auch keinen großen Vorteil dadrin. Wenn dann würde ich lieber gleich anfangen z.B. eine BerkeleyDB zu nutzen.
      
      Ansonsten sollten SHA1 Nummern unterschiedlich genug sein das die Dateien ich sag mal "genug" aufgeteilt werden. Evtl. kannst du noch hingehen und das dritte und vierte zeichen in ordner verpacken. So das aus "6ae999552a0d2dca14d62e2bc8b764d377b1dd6c" der Dateipfad "6a/e9/99552a0d2dca14d62e2bc8b764d377b1dd6c" wird.
      
      Wenn nur 1/10 der Kombinationen genutzt werden würde, und in jedem Ordner 10 Dateien liegen würden, dann hättest du schon 65.536 keys zum cachen. Die muss man erstmal haben...
      Last edited: 2009-08-26 16:51:36 +0200 (CEST)
      Nicht mehr aktiv. Bei Kontakt: ICQ: 404181669 E-Mail: perl@david-raab.de
      - roooot
        
        2009-08-26 16:36
        
        User since
        2008-03-03
        276 Artikel
        BenutzerIn
        
        Ich danke dir für die ausführliche Erläuterung.
        Nochmal drüber nachgedacht macht die Gleichverteilung wirklich keinen Sinn ;)
        
        Ich werde mich nun ans basteln machen.
        
        In meinem Fall brauche ich allerdings keinen Index, da mein Programm Zugriffe auf Dateien speichert und diese kleinen "Log" Dateien dann nachts per cron abgearbeitet werden. Daher auch File::Find um eben jede Datei einzulesen - nach der Bearbeitung werden sie gelöscht.
        Viele Grüße :)

View all threads created 2009-08-26 14:16.