Ich habe ein Applikationslog, welches etwa alle 2 Stunden an die 100MB 450.000 Zeilen produziert. Leider gibt es darin viel Datenmüll und die wichtigen Infos für mich sind etwa 10.000 Zeilen.
Gibt es eine Möglichkeit, so eine Datei von Beginn an zu lesen und sich sozusagen den letzen Leseort zu merken?
Ein Ansatz ist vielleicht die Zeilen zu zählen und dann im nächsten Aufruf ab der zuletzt geendeten Zeile wieder anzufangen, aber ist das performant?
Vielen Dank für eure Tipps!
Rob
haj
2018-05-16 10:18
User since 2015-01-07
570
Artikel BenutzerIn
Man kann Perl selber zählen lassen, am schnellsten in Bytes:
* tell FILEHANDLE liefert die aktuelle Position
* seek FILEHANDLE,... positioniert auf eine gegebene Position, wahlweise "ab Anfang" oder "ab aktueller Position".
Die Zeilennummern zählt Perl in der Variablen $. (auch $INPUT_LINE_NUMBER oder HANDLE->input_line_number( EXPR )), siehe perldoc perlvar, aber positionieren kann man damit nicht.
GwenDragon
2018-05-16 10:40
User since 2005-01-17
14835
Artikel Admin1
Kann je nach deinem Anwendungdesign sinnvoll sein, wenn du die letzte Leseposition in einer eigenen Datei merkst.
Ich würd's mal mit Tie::File probieren. Dann hast Du's, seltsamerweise unabhängig von der Größe, in einem Array, so daß das Zählen der Zeilen relativ einfach ist.
Müßte man gucken, wie performant das ist. "seek", usw., wäre wahrscheinlich schneller, aber auch unbequemer.
Ich hab mir jetzt mal den ProblemCode angeschaut und ich frage mich, wozu werden da die Handles einschließlich STDOUT auf ":utf8" gesetzt!?
Wo doch mit den Daten in keinster Weise zeichenorieniert gearbeitet wird!
MfG
PS: Tie::File hat ein Problem mit einfachen \n und funktioniert auf meinem XP nur mit \r\n als Zeilenumbruch. Daß Tie::File spontan die Oktetten verändert kann ich nicht nachvollziehen.
Last edited: 2018-05-17 15:01:50 +0200 (CEST)
Jemand zu Hause?![[twitter]](/battie/theme/default/icons/twitter.gif){kind=icon}
+6 replies![[default_avatar]](/battie/theme/default/default_avatar.gif){kind=avatar}
![[Homepage]](/battie/theme/default/homepage.gif)
Schrift
use strict; use warnings;
Blog
Einstellungen![[feed]](/battie/theme/default/icons/feed.png){kind=icon}
Tags:
![[Powered by Battie]](/battie/img/powered.png)
