Programmierungshilfe für PERL (gelöst) (Allgemeines zu Perl)

[thread]15289[/thread]

Programmierungshilfe für PERL [gelöst]

Leser: 20

Articles: hide open all | hide show old branches

+10 replies

asakalli

2010-07-16 13:32

User since
2010-07-16
5 Artikel
BenutzerIn
[default_avatar]

Liebe Perl Freunde,
ich habe eine Aufgabe, die ich mit Perl lösen will.
die Aufgabe lautet: ich möchte in ungf. 100 verzeichnisse die eine datei durch suchen, und die stellen, wo bestimmte ausdrücke vor kommen, in einem feld in Perl speichern. Ich habe mir so was gedacht

Code (perl): (dl )

1
2
3

for($i=0;$i<100;++$i){
$node[$i]=`grep -r "exceed" /ver1/ver2/ver3/node* | awk '{printf(\$3);printf(\$4)}` | tr '\|' ' ' | awk '{printf(\$2)}'`;
}

$node($i) soll mir 5 verschiedene Werte ausgeben. Aber ich kriege leider 5 mal die selbe nurmmer. und diese Nr ist die erste nummer von den 5 was das $node($i) ausgeben soll. habt ihr ne idee wie ich das machen kann. Ich danke euch im Voraus.

Herzliche Grüße

edit: perl-tags hinzugefügt by esskar
Last edited: 2010-07-16 14:04:30 +0200 (CEST)

+8 replies

topeg

2010-07-16 18:43

User since
2006-07-10
2611 Artikel
BenutzerIn

user image

Code (perl): (dl )

use Data::Dumper;

my @node;

for my $file (glob('/ver1/ver2/ver3/node*'))
{
  push(@node,[]);
  if(open(my $fh, '<', $file))
  {
    while(my $line=<$fh>)
    {
      if($line=~/exceed/)
      {
        my $data=join('',(split(/\s+/,$line))[3,4]);
        $data=~y/|/ /;
        $data=(split(/\s+/,$line))[2];
        push(@{$node[-1]},$data);
      }
    }
    close($fh);
  }
  else
  { warn("ERROR open $file ($!)\n"); }
}
print Dumper(\@node);

Ich habe mal den Filer von dir in perl nach gebaut. Das geht sicher einfacher mit einem regulären Ausdruck, wenn ich weiß wie die Zeile aussieht und was du haben willst. So wie es jetzt da steht ist es eine genaue Umsetzung, das ist aber unnötig kompliziert.

Weiterhin verstehe ich deinen Code auch nicht vollständig. Wofür ist die "for" Schleife? das macht in keiner weise Sinn, da du nur 100 mal das selbe machst. Zudem Durchsuchst du nicht 100 Verzeichnisse sondern in einem Verzeichnis alle Dateien die mit "node" anfangen.

Ohne etwas mehr Details bezüglich des Inhaltes den du in den Dateien suchst können wir dir kaum helfen. Es ist wichtig zu er fahren was du suchst um zu wissen wo der Fehler auftaucht.

+7 replies

asakalli

2010-07-17 13:15

User since
2010-07-16
5 Artikel
BenutzerIn
[default_avatar]

Hallo @Topeg,
erst mal bedanke ich mich ganz herzlich bei dir. in dem File kommt die exceed mehr mals vor. mit for schleife wollte ich dass das Program jedes mal wenn er die "exceed" in der Datei findet, dazu gehörige die Jobnummer in einer Feld speichert. D.h. Das program soll die datei suchen und sobald er die "exceed" in der Datei trifft soll er die Jobnummer in der Zeile raus nehmen und die in einem Feld(in dem Fall node[i]) speichert, und gleich soll es wieder anfangen die Datei weiter zu suchen und den nexte treffer soll er im nächsten feld speichern. Da die "exceed" in der Datei 100 mal vorkommt, habe ich eine schleife für 100 gesetzt.

07/17/2010 02:15:46| main|node105|W|job 56494 exceeds job hard limit "h_vmem" of queue

so sieht die Zeile aus. und ich brauche jeweils die Job Nr(56494) und die Nodenr(node105). Das ist mein Ziel, was ich am ende erreichen möchte. Nachdem ich die Nr in Feldern speichere dann kann ich sie in dem Program belibig aufrufen und mir durch andere Bashbefehle informationen über die Jobs finden.

Danke dir für deine Hilfe im Voraus.

Herzliche Grüße,

+6 replies

topeg

2010-07-17 15:37

User since
2006-07-10
2611 Artikel
BenutzerIn

user image

Nur damit ich es richtig verstanden habe.
Du hast in einem/mehreren Verzeichnissen Dateien die Zeilen dieser Art haben:
07/17/2010 02:15:46| main|node105|W|job 56494 exceeds job hard limit "h_vmem" of queue
sobald eine Solche Zeile auftaucht soll die JobNummer und NodeNummer zwischen gespeichert werden, um sie später weiter zu verarbeiten.

Dazu ein Paar Bemerkungen:
Ich nehme mal an, nicht jede "Node" macht eine Meldung zu einem Job, aber es kann sein, das zu einer Node mehrere Jobs Meldungen machen. Wenn dem so ist ist deine Form der Speicherung sehr ineffizient. Wenn du ein Array benutzt in der Jede Node-ID ein Eintrag sein kann hast du unter Umständen sehr viele Leere Felder im Array, das ist reine Speicherverschwendung. Besser ist hier ein Hash zu benutzen. Wenn meine Vermutungen Stimmen und es mehrere Job-Meldungen zu einer Node geben kann, solltest du die Job-IDs in einem Array oder Hash speichern. Wenn ein Job sich mehrfach Melden kann Wird die Struktur noch etwas komplizierter.
Ich denke Du willst auch wissen was passiert ist. Die Meldung kannst du auch gleich mit übernehmen.

Ich würde es so anfangen:

Code (perl): (dl )

#!/usr/bin/perl
use strict;
use warnings;
# das Modul Data::Dumper laden
# exportiert die Funktion "Dumper"
use Data::Dumper;

# Verzeichnis in dem gesucht werden soll
my $dir='/ver1/ver2/ver3/';

# Jobs zu den Nodes in einem Hash speichern
my %node;

# alle Dateien im Verzeihnis durch gehen
for my $file (glob("$dir*"))
{
  # Datei öffnen und prüfen ob es funktioniert hat
  if(open(my $fh, '<', $file))
  {
    # Datei Zeilenweise durch gehen
    while(my $line=<$fh>)
    {
      chomp($line);
      ## Wenn eine Zeile "node" mit einer Nummer und Job mit einer Nummer zusammen mit "exeeds" auftaucht,
      ## Dann die NodeID und JobID zusammen mit der Meldung speichern.
      #$node{$1}{$2}=$3 if($line=~/node(\d+).*?job (\d+) exceeds (.+)$/);
      # das kann man auch anders schreiben:
      if(index('exceed',$line)>-1)
      {
        # zeile an den "|" spliten
        my @col=split('|', $line);
        # nodeid ermitteln
        my ($nodeid)=$col[2]=~/(\d+)/;
        # jobid ermitteln
        my ($jobid)=$col[4]=~/job\s*(\d+)/;
        # message ermitteln
        my ($message)=$col[4]=~/exceeds (.+)$/;
        # alles zusammen speichern
        $node{$nodeid}{$jobid}=$message;
      }
    }
    # Datei schließen
    close($fh);
  }
  else
  {
    # waren wenn das Öffnen der Datei fehlschlug
    warn("ERROR open $file ($!)\n");
  }
}

# Mit Dumper kann man Datenstrukturen formatiert ausgeben lassen.
# das ist ganz nützlich um zu sehen was man überhaupt an Daten hat.
print Dumper(\%node);

Der Code sollte machen was du dir wünschst.

Was deinen Code und das "for" betrifft. Das ist unsinnig. Du durchläufst immer wider den selben Code Öffnest die selben Dateien filterst sie auf die selbe Weise und übernimmst immer die selben Werte. Du bekommst also 100 mal das selbe.

+5 replies

asakalli

2010-07-17 17:57

User since
2010-07-16
5 Artikel
BenutzerIn
[default_avatar]

@topec,
vielen vielen Dank. Genau, du hast es richtig Verstanden. Es kann mal verschiedene Jobs in gleichen Node vorkommen. Aber gleiche Job kann sehr sehr selten auf mehrere Node vorkommen.
Der letzte Skript von dir ist genau was ich mir vorstelle. ICh habe ihn eingebaut und laufen gelassen. Er spukt mir folgende Fehler aus

Use of uninitialized value in pattern match (m//) at ./perlscript_for.pl line 33, <$fh> line 2.
Use of uninitialized value in pattern match (m//) at ./perlscript_for.pl line 35, <$fh> line 2.
Use of uninitialized value in pattern match (m//) at ./perlscript_for.pl line 37, <$fh> line 2.
Use of uninitialized value in hash element at ./perlscript_for.pl line 39, <$fh> line 2.
Use of uninitialized value in hash element at ./perlscript_for.pl line 39, <$fh> line 2.
$VAR1 = {
'' => {
'' => undef
}
};

ich habe folgendes das Skript ein wenig geändert.

Code (perl): (dl )

 use strict;
use warnings;
# das Modul Data::Dumper laden
# exportiert die Funktion "Dumper"
use Data::Dumper;

# Verzeichnis in dem gesucht werden soll
my $dir='/ver1/ver2/ver3/ver4/ver5/ver6/ver7/node*'; #in 7. Verzeichniss gibt es 80 Verzeichnisse die folgendes heißen node001 bis node040, und node101 bis node140 

# Jobs zu den Nodes in einem Hash speichern
my %node;

# alle Dateien im Verzeihnis durch gehen
for my $file (glob("$dir\/messages")) # in jedem node Verzeichnis gibt es eine Messages datei. und genau diese Datei soll gelesen werden. Ich hoffe dass ich hier so richtig gemacht habe. 
{
  # Datei öffnen und prüfen ob es funktioniert hat
  if(open(my $fh, '<', $file))
  {
    # Datei Zeilenweise durch gehen
    while(my $line=<$fh>)
    {
      chomp($line);
      ## Wenn eine Zeile "node" mit einer Nummer und Job mit einer Nummer zusammen mit "exeeds" auftaucht,
      ## Dann die NodeID und JobID zusammen mit der Meldung speichern.
      #$node{$1}{$2}=$3 if($line=~/node(\d+).*?job (\d+) exceeds (.+)$/);
      # das kann man auch anders schreiben:
      if(index('exceed',$line)>-1)
      {
        # zeile an den "|" spliten
        my @col=split('|', $line);
        # nodeid ermitteln
        my ($nodeid)=$col[2]=~/(\d+)/;
        # jobid ermitteln
        my ($jobid)=$col[4]=~/job\s*(\d+)/;
        # message ermitteln
        my ($message)=$col[4]=~/exceeds (.+)$/;
        # alles zusammen speichern
        $node{$nodeid}{$jobid}=$message;
      }
    }
    # Datei schließen
    close($fh);
  }
  else
  {
    # waren wenn das Öffnen der Datei fehlschlug
    warn("ERROR open $file ($!)\n");
  }
}

# Mit Dumper kann man Datenstrukturen formatiert ausgeben lassen.
# das ist ganz nützlich um zu sehen was man überhaupt an Daten hat.
print Dumper(\%node);

Noch mal tausend Dank für deine Hilfe.

+4 replies

topeg

2010-07-17 18:02

User since
2006-07-10
2611 Artikel
BenutzerIn

user image

Fehler in Zeile 30.
das "|" muß noch entwertet werden:

Code (perl): (dl )

my @col=split('\|', $line);

EDIT:

Zeile 14:

Code (perl): (dl )

for my $file (glob("$dir\/messages"))

das / brauchst du nicht entwerten. Es ist völlig in Ordnung das so zu schreiben:

Code (perl): (dl )

for my $file (glob("$dir/messages"))

Last edited: 2010-07-17 18:05:15 +0200 (CEST)

+3 replies

asakalli

2010-07-17 18:23

User since
2010-07-16
5 Artikel
BenutzerIn
[default_avatar]

habe den '|' entwertet. und das Proramm gestartet kommt gleiche Fehlermeldung

Code (perl): (dl )

Use of uninitialized value in pattern match (m//) at ./perlscript_for.pl line 35, <$fh> line 2.
Use of uninitialized value in pattern match (m//) at ./perlscript_for.pl line 37, <$fh> line 2.
Use of uninitialized value in hash element at ./perlscript_for.pl line 39, <$fh> line 2.
Use of uninitialized value in hash element at ./perlscript_for.pl line 39, <$fh> line 2.
$VAR1 = {
          '' => {
                  '' => undef
                }
        };

Wenn ich das Program für eine gezielte node und deren messages datei starte, dann kommt folgende Fehlermeldung

Code (perl): (dl )

$VAR1 = {};

+2 replies

topeg

2010-07-17 18:44

User since
2006-07-10
2611 Artikel
BenutzerIn

user image

Ich hatte noch einen Dreher in Zeile 27.
Richtig ist:

Code (perl): (dl )

if(index($line,'exceed')>-1)

Hier der Code der bei mir funktioniert.
Ich habe noch eine Abfrage, ob auch alle Daten gefunden wurden hinzugefügt.

Code (perl): (dl )

#!/usr/bin/perl
use strict;
use warnings;
# das Modul Data::Dumper laden
# exportiert die Funktion "Dumper"
use Data::Dumper;

# Verzeichnis in dem gesucht werden soll
my $dir='/ver1/ver2/ver3/ver4/ver5/ver6/ver7/node*/messages';
# in 7. Verzeichniss gibt es 80 Verzeichnisse die folgendes heißen node001 bis node040, und node101 bis node140
# in jedem node Verzeichnis gibt es eine Messages datei. und genau diese Datei soll gelesen werden.

# Jobs zu den Nodes in einem Hash speichern
my %node;

# alle Dateien im Verzeihnis durch gehen
for my $file (glob($dir))
{
  # Datei öffnen und prüfen ob es funktioniert hat
  if(open(my $fh, '<', $file))
  {
    # Datei Zeilenweise durch gehen
    while(my $line=<$fh>)
    {
      chomp($line);
      ## Wenn eine Zeile "node" mit einer Nummer und Job mit einer Nummer zusammen mit "exeeds" auftaucht,
      ## Dann die NodeID und JobID zusammen mit der Meldung speichern.
      #$node{$1}{$2}=$3 if($line=~/node(\d+).*?job (\d+) exceeds (.+)$/);
      # das kann man auch anders schreiben:
      if(index($line,'exceed')>-1)
      {
        # zeile an den "|" spliten
        my @col=split('\|', $line);
        # nodeid ermitteln
        my ($nodeid)=$col[2]=~/(\d+)/;
        # jobid ermitteln
        my ($jobid)=$col[4]=~/job\s*(\d+)/;
        # message ermitteln
        my ($message)=$col[4]=~/exceeds (.+)$/;

        # wenn alle Daten tatsächlich gefunden wurden:
        if(defined($nodeid) and defined($jobid))
        {
          $message='' unless($message);
          # alles zusammen speichern
          $node{$nodeid}{$jobid}=$message;
        }
      }
    }
    # Datei schließen
    close($fh);
  }
  else
  {
    # waren wenn das Öffnen der Datei fehlschlug
    warn("ERROR open $file ($!)\n");
  }
}

# Mit Dumper kann man Datenstrukturen formatiert ausgeben lassen.
# das ist ganz nützlich um zu sehen was man überhaupt an Daten hat.
print Dumper(\%node);

TestDaten:

Code: (dl )

07/17/2010 02:15:46| main|node105|W|job 56494 exceeds job hard limit "h_vmem" of queue
07/17/2010 02:15:46| main|node105|W|job 86723 exceeds job hard limit "h_vmem" of queue

07/17/2010 02:15:46| main|node105|W|job 90235 exceeds job hard limit "h_vmem" of queue



07/17/2010 02:15:46| main|node105|W|job 42634 exceeds job hard limit "h_vmem" of queue
07/17/2010 02:15:46| main|node713|W|job 56494 exceeds job hard limit "h_vmem" of queue



07/17/2010 02:15:46| main|node892|W|job 86723 exceeds job hard limit "h_vmem" of queue
07/17/2010 02:15:46| main|node564|W|job 90235 exceeds job hard limit "h_vmem" of queue
07/17/2010 02:15:46| main|node672|W|job 42634 exceeds job hard limit "h_vmem" of queue




07/17/2010 02:15:46| main|node672|W|job 68623 exceeds job hard limit "h_vmem" of queue
07/17/2010 02:15:46| main|node672|W|job 73833 exceeds job hard limit "h_vmem" of queue
07/17/2010 02:15:46| main|node672|W|job 67525 exceeds job hard limit "h_vmem" of queue
07/17/2010 02:15:46| main|node672|W|job 54789 exceeds job hard limit "h_vmem" of queue




07/17/2010 02:15:46| main|node672|W|job 46538 exceeds job hard limit "h_vmem" of queue

Ausgabe:

Code: (dl )

$VAR1 = {
          '564' => {
                     '90235' => 'job hard limit "h_vmem" of queue'
                   },
          '892' => {
                     '86723' => 'job hard limit "h_vmem" of queue'
                   },
          '713' => {
                     '56494' => 'job hard limit "h_vmem" of queue'
                   },
          '672' => {
                     '67525' => 'job hard limit "h_vmem" of queue',
                     '54789' => 'job hard limit "h_vmem" of queue',
                     '73833' => 'job hard limit "h_vmem" of queue',
                     '68623' => 'job hard limit "h_vmem" of queue',
                     '42634' => 'job hard limit "h_vmem" of queue',
                     '46538' => 'job hard limit "h_vmem" of queue'
                   },
          '105' => {
                     '90235' => 'job hard limit "h_vmem" of queue',
                     '56494' => 'job hard limit "h_vmem" of queue',
                     '42634' => 'job hard limit "h_vmem" of queue',
                     '86723' => 'job hard limit "h_vmem" of queue'
                   }
        };

Edit: Kopierfehler beseitigt...
Last edited: 2010-07-17 19:00:46 +0200 (CEST)

asakalli

2010-07-17 18:56

User since
2010-07-16
5 Artikel
BenutzerIn

jetzt funktioniert bestens. Vielen Vielen Dank. Du hast was gutes bei mir :-) du kriegst eine Flasche Rotwein von mir :-)

Tausend Dank noch mal

Herzliche Grüße

pq

2010-07-16 20:37

User since
2003-08-04
12208 Artikel
Admin1

Move from Perl-Community.de to Allgemeines zu Perl
Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem

View all threads created 2010-07-16 13:32.