Wären es mehrere Dateien, die gelesen werden, hätte ich es von Anfang an partiell gemacht. Aber es ist eine große Datei, die nur schwer Partiell lesbar ist.
Würde ich versuchen hier was zu ändern müsste ich das gesamte Modul um/neu schreiben. Ich habe alle Daten zentral in einem HashOfHashes abgelegt, von dem die Objekte Refernzen bekommen.
Die Zugriffe sind vom Nutzer gesteuert und nicht gut vorhersagbar, so weiß ich nicht welche Teile gebraucht werden, und welche wegfallen können.

Die Datenstruktur ist nicht sehr komplex (keine Rekursionen, keine komplexen Daten wie Objekte) und es wird fast nur Lesend darauf zugegriffen.

Zur Zeit sind die Rechner ständig am ein/auslagern, wenn es mir gelingt viel mehr Daten im RAM zu halten, so steigt die Zugriffsgeschwindigkeit und der Verlust durch das packen fällt nicht ins Gewicht.

Wenn ich selber ein tie-Modul schreibe kann ich natürlich die Daten auf der Festplatte auslagern. Doch das macht dann nahezu das selbe wie der Cache-Mechanismus des Betriebssystems. Bei einem Plattenzugriff hat man so 60-180 MiB/s Durchsatz und das ist derzeit auch das Problem.

Edit: Doppelter Text entfernt
Last edited: 2010-06-17 22:16:53 +0200 (CEST)