Richtig IPs parsen (solved) (Allgemeines zu Perl)

[thread]17342[/thread]

Richtig IPs parsen [solved]

Tags: perl5 Similar Threads

Readers: 20

Articles: hide open all | hide show old branches

+5 replies

Alexander

2012-04-19 21:30

User since
2012-02-21
25 articles
BenutzerIn
[default_avatar]

Habe einen logfile versucht in seine Einzelteile zu zerlegen, um einzelne Daten daraus zu nehmen.
Irgendwie stimmen jedoch die Anzhal der doppelt vorgekommenen IP Adressen nicht wirklich überein

Meine Frage ist nun ob meine Aufteilung des logfiles richtig war bzw. ob dort der/ein/mehrere Fehler ist/sind

Code: (dl )

my @logentries = <FH>;

foreach (@logentries) {
	next unless ($_ !~ /^\s*$/); 
	$_ =~ m/(\d+.\d+.\d+.\d+)\s-\s-\s\[(\d{2}\/\w+\/\d{4}\:\d{2}\:\d{2}\:\d{2})\s\+0000\]\s\"\w+\s\S+\s\S+\s\S+\s\S+\s\S+\s\"(.+?)\(/; 
	$ip = $1;
	push (@ipadressen, $ip);
	$date = $2;
	push (@timeresult, $date);
	$starttime = $timeresult[0];
	$endtime = $timeresult[$#timeresult];
	$useragent = $3;
	push (@agent, $useragent);
	$line++;
	}
close FH;

modedit Editiert von GwenDragon: Titel erweitert

Attachments

text/plain
1001 lines
logs.txt

Last edited: 2012-04-20 09:41:34 +0200 (CEST)

+4 replies

topeg

2012-04-19 22:17

User since
2006-07-10
2611 articles
BenutzerIn

user image

Hier wie man es machen kann:

Code (perl): (dl )

#!/usr/bin/perl
use strict;
use warnings;
use Data::Dumper;

my $file='logs.txt';

my @ips;
my @agents;
my @timeresult;

open(my $fh, '<', $file) or die("error open $file ($!)\n");
while(my $line=<$fh>)
{
  if($line=~/([\d.]+) - - \[(.+?)\] "(.+?)" (\d+) (\d+) "(.+?)" "(.+?)"/)
  {
    my ($ip,$time,$request,$result,$filesize,$referer,$useragent)=($1,$2,$3,$4,$5,$6,$7);
    push(@timeresult,$time);
    push(@ips,$ip);
    push(@agents,$useragent);
  }
}
close($fh);

my $starttime=$timeresult[0];
my $endtime=$timeresult[-1];

print Dumper(\@ips);
print Dumper(\@agents);

Du kannst das ganze aber auch in einer Datenstruktur speichern.
Hier werden die daten in einem Array Of Hashes (AoH) gespeichert:

Code (perl): (dl )

#!/usr/bin/perl
use strict;
use warnings;
use Data::Dumper;

my $file='logs.txt';

my @data;

open(my $fh, '<', $file) or die("error open $file ($!)\n");
while(my $line=<$fh>)
{
  if($line=~/([\d.]+) - - \[(.+?)\] "(.+?)" (\d+) (\d+) "(.+?)" "(.+?)"/)
  {
    push(@data,{
        ip       => $1,
        time     => $2,
        request  => $3,
        result   => $4,
        filesize => $5,
        referer  => $6,
        useragent=> $7,
      });
  }
}
close($fh);

my $starttime=$data[0]->{time};
my $endtime=$data[-1]->{time};

print Dumper(\@data);

+3 replies
Alexander

2012-04-20 06:11

User since
2012-02-21
25 articles
BenutzerIn

Vielen Dank, das Ganze sieht sehr gut aus.

Nur damit ich das richtig verstehe, die verschiedenen Hashes wurden nun in @data als hashvalues abgespeichert, auf die ich zugreifen und weiterbearbeiten kann.

Mir gefällt die Lösung mit den Hashes besser, da ich verschiedene Ergebnisse brauche und meine Recherchen im Internet gezeigt haben, dass dies am besten mit einem Hash zu verwirklichen ist

Wie kann ich nun den Hash einsetzen damit ich alle
uniquen ips bekommen mit der Anzahl ihrer vorkommen
alle request verschiedenen (GET POST, HEAD OPTIONS)
useragents ausgenommen Mozilla
- +2 replies
- topeg
  
  2012-04-20 09:31
  User since
  2006-07-10
  2611 articles
  BenutzerIn
  In dem Array sind Anonyme Hashes (eine Referenz auf einen Hash der ohne Namen ist). Ein Hashentry besteht aus einem Hashkey und einem Hashvalue.
  
  Beispiele:
  
  Code (perl): (dl )
  
  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
  
  # IP-Adressen: my %unique_ips; $unique_ips{$_->{ip}}++ for(@data); print Dumper(\%unique_ips); # Art der Zugriffe my %accesstypes; for my $entry (@data) { $accesstypes{$1}++ if($entry->{request}=~/^(\w+)\s/); } print Dumper(\%accesstypes); # Zugriffe pro Datei: my %files; for my $entry (@data) { my $req=$entry->{request}; if($req=~/^\w+\s+(.+$)\s+HTTP.+?$/) { $files{$1}++ } } print Dumper(\%files);
  - Alexander
    
    2012-04-21 08:21
    
    User since
    2012-02-21
    25 articles
    BenutzerIn
    
    Vielen Dank, du hast mir sehr geholfen
    
    Danke
    
    Alexander

View all threads created 2012-04-19 21:30.