Auslesen verschiedener Daten aus einem File: Wie programmiere ich übersichtlich und effizient? (gelöst) (Allgemeines zu Perl)

[thread]16749[/thread]

Auslesen verschiedener Daten aus einem File: Wie programmiere ich übersichtlich und effizient? [gelöst]

Tags: perl5 Ähnliche Threads

Leser: 17

Articles: hide open all | hide show old branches

+4 replies
Sven_123

2011-09-23 14:02
User since
2010-06-01
120 Artikel
BenutzerIn
Hallo,
ich scripte meist nur kleine Hilfsprogrämmchen, die mir Dinge wie Aufräumen, Daten plotten etc. erleichtern. Seit einiger Zeit sitz ich allerdings an einem etwas größeren (für mich) Programm (zur Zeit gut 1000 Zeilen) und glaube zwar, dass es im großen und ganzen ganz lesbar ist, trotzdem gibt es ein zwei Stellen, die langsam unübersichtlich werden (v.a. wenn jemand anders da mal reinschauen möchte) - deswegen, aber auch aus bloßer Neugier würde mich oft interessieren, wie wirkliche Programmierer Dinge aufbauen.
Ein Problem ist folgendes:

Ich lese log-files eines anderen Programms ein (1000-5000 Zeilen, ca. 1000 mal) und muss verschiedene Informationen auslesen. Was genau hängt zum einen von Einstellungen ab, die vor der Durchführung getroffen werden, zum anderen von Dingen, die das Programm in der Laufzeit selbst ermittelt.
An simplen Dingen fallen mir zum Auslesen drei Methoden ein:

1. Jedesmal wenn ich eine Information brauche, öffne ich die Datei und durchsuche sie. Vorteil: Recht übersichtlich, v.a. wenn man die einzelnen Suchen in kleine Subroutinen "getxyz()" aulagert; Nachteil: Wenn ich zehn Sachen such, wird die Datei zehn mal durchsucht...
Code (perl): (dl )

1 2 3 4 5 6 7

#...viel Programm...benötige $energie: open my $in, "< logfile" or die "geht nicht\n"; while (<$in>){if (/Energie: (\d+)/){$energie = $1; last}} ... #...mehr Programm...benötige $gradient: open my $in, "< logfile" or die "geht nicht\n"; while (<$in>){if (/Gradient: (\d+)/){$gradient = $1; last}}
2. Ich durchsuche die Datei einmal und prüf in jeder Zeile, welche Informationen ich brauch. Vorteil: Wenig Code; Nachteil: Ich überprüf in jeder Zeile der ausgelesen Datei, was überhaupt benötigt wird. Wird irgendwann unübersichtlich;
Code (perl): (dl )

1 2 3 4 5

open my $in, "< logfile" or die "geht nicht\n"; while (<$in>){ if ((/Energie: (\d+)/) && ($brauchene) ){$energie = $1} if ((/Gradient: (\d+)/) && ($brauchgrad)){$gradient = $1} }
3. Ich schreibe für jede Kombination von Möglichkeiten eine Ausleseroutine und such mir in der Laufzeit aus, welche ich brauch. Vorteil: Effizient; Nachteil: Unübersichtlich und viiiiel Code;
Code (perl): (dl )

1 2 3 4 5 6 7 8 9 10

open my $in, "< logfile" or die "geht nicht\n"; if ($brauchene){ if ($brauchgrad){ while (<$in>){such nach Energie und Gradient} }else{ while (<$in>){such nach Energie} } }elsif ($brauchgrad){ while (<$in>){such nach Gradient} }
Zur Zeit hab ich eine Kombination aus 2 und 3, d.h. ich hab zwei große Modi die viele Einstellungen beeinflussen in getrennten Suchroutinen und überprüf die kleineren Dinge dann innerhalb der while-Schleife. Das ganze wird langsam allerdings etwas unübersichtlich, weswegen ich als erste Verbesserung die, natürlich etwas komplizierter, als in den Beispielen aussehenden Such- und Formatiermuster in einzelne Subroutinen ausgelagert hätte, so dass ich pro gesuchter Information wirklich wieder nur eine Zeile hätte. Besonders effizient ist es vermutlich aber nicht.

Am liebsten würde ich vor dem Durchsuchen festlegen können, nach was ich suche (also vom Programm wählen lassen) und dann meine while-Schleife automatisch aufbauen, aber ich weiß nicht, wie ich das hinbekomm.
Geht das? Und unabhängig davon, wie würdet ihr das lösen?

Freue mich über jegliche Tips, Sven :)
- +2 replies
- moritz
  
  2011-09-23 14:06
  User since
  2007-05-11
  923 Artikel
  HausmeisterIn
  Lies einfach alles aus, und speichere es in einem Hash.
  
  Code (perl): (dl )
  
  1 2 3 4 5 6 7 8 9
  
  use autodie; open my $in, '<', 'logfile'; my %loginfo; while (<logfile>) { $loginfo{$1} = $2 if /(\w+): (\d+)/; } ... print "Energie: $loginfo{Energie}\n";
  
  Vorteil: wenig code, uebersichtlich.
  Nachteil: braucht ein wenig mehr Speicher. Aber darueber machst du dir erst Sorgen, wenn der Speicherbedarf zu gross wird.
  Perl 6 - Perls Zukunft
  - Sven_123
    
    2011-09-23 14:29
    
    User since
    2010-06-01
    120 Artikel
    BenutzerIn
    
    ...langweilig...^^
    
    Viel von meiner Variante 2 unterscheidet es sich im Endeffekt nicht, die überflüssigen Matchingversuche mach ich dann ja dennoch in jeder Zeile. Andererseits spielt der zeitliche Aufwand bei mir keine Rolle (im Vergleich zu dem Programm, dessen logs ich auslese), deswegen wär mein nächster Schritt ja eigentlich auch nur gewesen, das etwas übersichtlicher zu machen.
    
    Mal abgesehen von dem tatsächlichen Nutzen für mich (danke für's Beantworten des praktischen Teils meiner Frage ;) - ist es überhaupt möglich die Informationen, nach denen gesucht wird vor der while-Schleife festzulegen und dann in einem Rutsch herauszulesen?
    
    (Und ich guck mir autodie an.)
    Last edited: 2011-09-23 14:32:30 +0200 (CEST)
- Sven_123
  
  2011-09-23 15:00
  User since
  2010-06-01
  120 Artikel
  BenutzerIn
  Ah, ich glaub, mir ist ne gute Möglichkeit eingefallen:
  Ich füll mir in jedem Durchlauf einen Array mit Referenzen auf Subroutinen, die die einzelnen Informationen, die ich brauch extrahieren und klapper den dann in jeder Zeile ab...muss ich nur noch rausfinden, wie sich ein <$file> in ner Subroutine außerhalb der while-Schleife auf die Schleife auswirkt, aber das schaff ich...
  
  Edit: Tataa! :)
  
  Code (perl): (dl )
  
  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53
  
  #!/usr/bin/perl use strict; use warnings; my ($e,$g); printtext(); { my ($x,$y); open my $in, "< text" or die; defsubs(); my @j = ($x,$y); while (<$in>){print "while: $_"; for my $j (@j){$j->($_)}} print "e: $e; v: $g;\n"; #+~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~+# sub defsubs{ $x = sub{ #Energie-Auslese-Sub if ($_[0] =~ /Energie: (\d+)/){$e = $1} }; $y = sub{ #Gradient-Auslese-Sub if ($_[0] =~ /Gradient/){ $_ = <$in>; $_ = <$in>; $_ = <$in>; s/^\s+//; my @l = split; $g = sqrt($l[0]**2+$l[1]**2+$l[2]**2); } }; } #+~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~+# } system "rm text"; sub printtext{ if (-e "text"){die "text existiert...\n"} open my $txt, "> text" or die; print $txt "Test 1 Energie: 20 als nächstes der Gradient gleich gleich 1 2 3 Ende\n"; }
  
  Last edited: 2011-09-23 17:00:20 +0200 (CEST)

View all threads created 2011-09-23 14:02.