Datenzeilen einlesen (solved) (Allgemeines zu Perl)

[thread]18662[/thread]

Datenzeilen einlesen [solved]

Tags: perl5 regex CSV Similar Threads

Readers: 23

Articles: hide open all | hide show old branches

+7 replies
qwe123qwe

2013-10-08 23:10

User since
2013-10-08
65 articles
BenutzerIn

Guten Abend !
Da ich (obwohl Seltennutzer) hin und wieder wegen der Gleitkommaproblematik an die Grenzen der Bash stoße bin ich am Ausprobieren von Perl -- also blutiger Anfänger.
Derzeit habe ich folgende Aufgabe:
ich möchte aus einer Textdatei einen Block mit Datenzeilen auslesen, die alle das Format haben wie folgt:

08:29:55 140,14 2.045 15.001
08:29:44 140,15 313 10.981
08:29:43 140,15 65 14.950

(die letzte Zahl ist mit MEHREREN Leerzeichen getrennt)

Über und unter diesem Block gibt es eine variable Anzahl von Zeilen, die mich nicht interessieren.
Die Datenzeilen möchte ich
- als Textdatei abspeichern
- (in einem Tabellenprogramm/Datenbank) konsoldieren
- eventuell auch in Perl konsolidieren, falls das sinnvoll ist
- die konsolidierten dann mit Perl weiterverarbeiten.

Nach einigem Lesen in Büchern und hier im Board raucht mir etwas der Kopf, deshalb die Fragen hier....

Ich würde derzeit so vorgehen :
- die Eingangs- und Ausgangsdateien öffnen
- mit einer while-Schleife die Eingangsdatei zeilenweise einlesen
- Überspringen der unnötigen Zeilen mit next unless
- hier Fallunterscheidung mit regex - Prüfung (Zeilenanfang ist Uhrzeit bei den Zeilen im Block)
- print in Ausgabedatei
- Schließen der Dateien

die Fragen :
1. gibt's da auch für Anfänger geeignete bessere/einfachere Wege (bis tie::File bin ich nocht nicht gekommen :-)) )?
2. gibt's in Perl eventuell einen Trick, das ZEITFORMAT am Zeilenanfang anstelle regex als Kriterium zu nutzen ?
3. die print-Anweisung ist ja innerhalb der Schleife -- wann speichert Perl denn die Zeilen physikalisch ab, d.h. wieviele Schreibzugriffe finden statt ?
4. der Block sieht ja sehr nach csv aus und hier im Forum habe ich ein paar Threads mit DBI:CSV gelesen -- würde das (zu einem späteren Zeitpunkt) Sinn machen, das mit einzubauen ? Gibt's da eine Faustregel, wann das sinnvoll ist ?

Vielen Dank schon mal für's Anschauen !
- +6 replies
- topeg
  
  2013-10-09 04:01
  User since
  2006-07-10
  2611 articles
  BenutzerIn
  Dein Ansatz ist schon in Ordnung.
  
  Was die Ausgabe und dessen Puffern betrifft. Wenn man nicht erzwingt das Perl alle Schreibvorgänge sofort durchführt. (z.B. mit $|++ ) dann puffert Perl bis zu 16Kb. ( Beim Wert bin ich unsicher, das hängt davon ab wie Perl kompiliert wurde ) Es wird aber immer geschrieben, wenn eine Zeile vollständig ist. ( Eine Zeile endet mit "\n" ) Ich kann dir aus dem Kopf aber nicht sagen wie sich Perl verhält wenn man den Binärmodus erzwingt. ( binmode( $fh ) )
  
  Tie::File macht aus meiner sich nur Sinn wenn man in der Datei "herum springt" ließt man sie nur einmal ein um daraus Daten zu extrahieren produziert das Modul einiges an unnötigem Overhead.
  
  Wie du die extrahierten Daten am besten speicherst, hängt davon ab was du Nachher damit machen willst. Folgen kompexete Auswertungen kann es sinnvoll sein die Daten in eine Relationale oder eine File Datenbank zu schreiben ( DBI oder z.B. BerkeleyDB ) Da zu raten fällt mir schwer ohne genau zu wissen wie die Daten weiter verarbeitet werden sollen.
  Wenn die Datenmenge nicht zu groß ist kannst du sie auch direkt im Speicher halten und in Perl selber verwalten/verarbeiten. Das Verhältnis ist 1 zu 2 bis 1 zu 10. 1Mb auf der Festplatte kann 2 bis 10Mb im Speicher bedeuten.
  
  Was das Zwischenspeichern betrifft. Soll das Script später längerfristig laufen, so ist es günstig darauf zu achten das es nicht zu viel schreibt oder ließt. Nicht nur das jede Interaktion mit dem System verhältnismäßig langsam ist. Man macht sich auch unnötige Probleme wenn mal mehrere Instanzen des Scripts laufen sollen.
  Ist es aber nur eine einmalige Sache, so lohnt es sich jeden Schritt in Dateien abzulegen, damit man die Abläufe prüfen und nötigenfalls korrigieren kann, ohne das man alle Schritte erneut durchführen muss.
  
  2013-10-08T21:10:48 qwe123qwe
  2. gibt's in Perl eventuell einen Trick, das ZEITFORMAT am Zeilenanfang anstelle regex als Kriterium zu nutzen ?
  
  Reguläre Ausdrücke sind er Trick. ;-)
  Aber ich weiß was du meinst. Es wäre dir recht wenn es ein Befehl/Modul gäbe das Zeit- oder Datumsangaben erkennt. und es gibt solche Module (z.B. Date::Parse). Die bringen dir hier aber nicht sonderlich viel
  Da du ja nicht nur an der Zeit interessiert bist, sondern an allen Daten in der Zeile. Zudem ist die Erkennung zu unspezifisch. Die Module interpretieren alles was irgendwie nach Datum/Zeit aussieht. Da kannst du einige falsche Treffer bekommen. Einen guten Regulären Ausdruck halte ich für besser. Zum Beispiel so einen:
  
  Code (perl): (dl )
  
  1 2
  
  my @values = $line =~/(\d+):(\d+):(\d+)\s+(\d+),(\d+)\s+([\d.]+)\s+([\d.]+)/; next unless @values;
  
  Um besser mit er Zeitangabe umgehen zu können kann es sich lohnen diese als Sekunden zu behandeln:
  
  Code (perl): (dl )
  
  1 2 3
  
  my $sec=$values[2]; $sec+=$values[1]*60; $sec+=$values[0]*3600;
  
  Oder man kann ein Modul heran ziehen und es als TimeStamp behandeln:
  
  Code (perl): (dl )
  
  1 2
  
  use Time::Local; my $epoch = timelocal(@values[2,1,0],1,1,1970);
  - guest Tie::Fighter
    
    2013-10-09 09:27
    
    2013-10-09T02:01:29 topeg
    Tie::File macht aus meiner sich nur Sinn wenn man in der Datei "herum springt" ließt man sie nur einmal ein um daraus Daten zu extrahieren produziert das Modul einiges an unnötigem Overhead.
    
    Tie::File zu verwenden ergibt vor allem dann einen Sinn, wenn die zu bearbeitende Datei ähnlich groß wie oder auch größer als der verfügbare Hauptspeicher ist und man mit Array-Operationen die Daten manipulieren möchte.
    Last edited: 2013-10-09 10:14:30 +0200 (CEST)
  - qwe123qwe
    
    2013-10-09 15:06
    
    User since
    2013-10-08
    65 articles
    BenutzerIn
    
    Vielen Dank für die schnelle Hilfe -- und speziell für den Code !
    
    Um den Umgang mit den Daten zu präzisieren :
    pro Tag erhalte ich ca. 4000 Datenzeilen, die in sehr kurzen, aber unregelmäßigen Zeitabständen reinkommen. Daran soll und kann auch nix geändert werden, da der Hauptzweck die Überwachung der Daten ist (Ausreißer und so).
    Jetzt soll daraus aber zusätzlich eine Art "Tagesreport" erstellt und abgespeichert werden, für die die Datendichte aber überflüssig groß ist.
    Bis jetzt ist die Idee, das ähnlich wie bei Börsenkursen mit 5- oder 15-Minuten- Kerzen zu machen (also Start-Maximum-Minimum-Ende). Und (nur) diese Werte sollen dann in einer Tabelle und /oder Datenbank abgespeichert werden. Aus den 4000 würden dann so etwa 200 Zeilen werden.
    Ich denke, gerade für solche Aufgaben ist Perl ja geschrieben worden...
    
    Die Frage ist jetzt, wo man jetzt wann welche Zwischendaten sinnvollerweise abspeichert und welche Perl Module dafür eingesetzt werden sollten. Kriterium ist da eher weniger der RAM (die Rechner haben 1-2 GB, sollte also locker reichen) oder Geschwindigkeit, eher die Belastung der Speichermedien (Festplatten, USB-Sticks, CF-Cards). Bei jeder Zeile ganze Datenbanken oder Dateien zu öffnen, reinzuschreiben, wieder zuschließen und dann auch noch die Zeitstempel im Journal zu ändern muß ja wirklich nicht sein :-))
    
    Eigentlich hast du ja bereits Tipps dafür angegeben, aber vielleicht lässt sich das mit den Angaben oben sogar noch konkreter sagen.
    
    Aber vielen Dank schon für den Input -- hilft schon sehr gut weiter.
    Last edited: 2013-10-09 15:16:19 +0200 (CEST)
  - +3 replies
  - qwe123qwe
    
    2013-10-14 18:38
    User since
    2013-10-08
    65 articles
    BenutzerIn
    
    im Prinzip hab ich das hinbekommen, d.h. ich erhalte die Datei(en), die ich brauche.
    
    Bei der Codekosmetik hab ich aber noch ein Problem : ich wollte das Ganze in eine Schleife packen, um mehrere solcher Dateien auf einmal zusammenfassen zu können. Als Beispiel benutze ich folgende zusammengesetzte Datei:
    
    Quote
    das ist alles Text
    17:16:05 8.339,75
    17:15:10 2.100,76
    * 1
    * 2
    das ist alles Text
    17:56:05 139,75
    17:55:10 139,76
    * 1
    * 2
    
    Umgesetzt hab ich das mit einer Liste aus Hashes.
    
    Code (perl): (dl )
    
    1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41
    
    #!/usr/bin/perl -w use strict; my @werte = ( { 'Muster' => '(\d+):(\d+):(\d+)\s+(\d+)\.(\d+),(\d+)', 'Amizahl' => '$values[3].$values[4].".".$values[5]' }, { 'Muster' => '(\d+):(\d+):(\d+)\s+(\d+),(\d+)', 'Amizahl' => '$values[3].".".$values[4]' } ); my @sekunden; my @kurse; foreach my $w(0..$#werte) { open (OUTDATEI,">>/home/tester/tmpfs/outdatei") || die "kann Ausgabedatei nicht öffnen: $!"; @sekunden = (); @kurse = (); open (UNBEREINIGT,"</home/tester/tmpfs/test1.unb") || die "kann unbereinigte Datei nicht öffnen: $!"; while (my $line = <UNBEREINIGT>) { my @values = $line =~/$werte[$w]{'Muster'}/; next unless @values; print OUTDATEI $line; my $sec = $values[2]; $sec += $values[1]*60; $sec += $values[0]*3600; my $amizahl = $werte[$w]{'Amizahl'}; print ("$amizahl\n"); if ($values[0] < 22 && $values[0] > 07) { push (@sekunden, "$sec"); push (@kurse, "$amizahl"); } } close (UNBEREINIGT); close (OUTDATEI); }
    
    Ziel ist es, die Kommazahlen in amerikanischem Format zu bekommen.
    Mit diesem Code bekomme ich durch den Printbefehl die Ausgabe
    
    Quote
    $values[3].$values[4].".".$values[5]
    $values[3].$values[4].".".$values[5]
    $values[3].".".$values[4]
    $values[3].".".$values[4]
    
    Mir fehlt also noch der Schritt, in dem nach der Expandierung des Hash die für die values vorgenommen wird.
    
    Wie kann ich das denn hinbeommen ?
    - +2 replies
    - pq
      
      2013-10-14 18:48
      
      User since
      2003-08-04
      12208 articles
      Admin1
      
      das ist nicht so trivial. du hast da sozusagen templates, die du mit den echten werten ersetzen willst. das geht nicht automatisch, und das ist auch gut so. stell dir vor, du hast in einem text '$foo' stehen und beim print wird das automatisch expandiert, obwohl tasächlich 'dollar foo' da stehen soll.
      
      wenn die definitionen weiter in dem perlscript stehenbleiben sollen, kannst du es in subroutinen umwandeln:
      
      Code (perl): (dl )
      
      1 2 3 4 5 6 7 8 9 10 11
      
      my @werte = ( { 'Muster' => '(\d+):(\d+):(\d+)\s+(\d+)\.(\d+),(\d+)', 'Amizahl' => sub { my @values = @_; $values[3].$values[4].".".$values[5] }, }, { 'Muster' => '(\d+):(\d+):(\d+)\s+(\d+),(\d+)', 'Amizahl' => sub { my @values = @_; $values[3].".".$values[4] }, } ); ... # schleife my $amizahl = $werte[$w]->{Amizahl}->(@values);
      
      dann werden die werte beim aufruf der subroutine übergeben und dort interpoliert.
      Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
      lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
      - qwe123qwe
        
        2013-10-14 20:59
        
        User since
        2013-10-08
        65 articles
        BenutzerIn
        
        vielen Dank -- damit hab ich alles hinbekommen

View all threads created 2013-10-08 23:10.