Thread Datenzeilen einlesen (6 answers)
Opened by qwe123qwe at 2013-10-08 23:10

qwe123qwe
 2013-10-09 15:06
#171094 #171094
User since
2013-10-08
65 Artikel
BenutzerIn
[default_avatar]
Vielen Dank für die schnelle Hilfe -- und speziell für den Code !

Um den Umgang mit den Daten zu präzisieren :
pro Tag erhalte ich ca. 4000 Datenzeilen, die in sehr kurzen, aber unregelmäßigen Zeitabständen reinkommen. Daran soll und kann auch nix geändert werden, da der Hauptzweck die Überwachung der Daten ist (Ausreißer und so).
Jetzt soll daraus aber zusätzlich eine Art "Tagesreport" erstellt und abgespeichert werden, für die die Datendichte aber überflüssig groß ist.
Bis jetzt ist die Idee, das ähnlich wie bei Börsenkursen mit 5- oder 15-Minuten- Kerzen zu machen (also Start-Maximum-Minimum-Ende). Und (nur) diese Werte sollen dann in einer Tabelle und /oder Datenbank abgespeichert werden. Aus den 4000 würden dann so etwa 200 Zeilen werden.
Ich denke, gerade für solche Aufgaben ist Perl ja geschrieben worden...

Die Frage ist jetzt, wo man jetzt wann welche Zwischendaten sinnvollerweise abspeichert und welche Perl Module dafür eingesetzt werden sollten. Kriterium ist da eher weniger der RAM (die Rechner haben 1-2 GB, sollte also locker reichen) oder Geschwindigkeit, eher die Belastung der Speichermedien (Festplatten, USB-Sticks, CF-Cards). Bei jeder Zeile ganze Datenbanken oder Dateien zu öffnen, reinzuschreiben, wieder zuschließen und dann auch noch die Zeitstempel im Journal zu ändern muß ja wirklich nicht sein :-))

Eigentlich hast du ja bereits Tipps dafür angegeben, aber vielleicht lässt sich das mit den Angaben oben sogar noch konkreter sagen.

Aber vielen Dank schon für den Input -- hilft schon sehr gut weiter.
Last edited: 2013-10-09 15:16:19 +0200 (CEST)

View full thread Datenzeilen einlesen