Täglicher Screenshot mit Perl? (Webframeworks, Sonstige Fragen zur Webprogrammierung mit Perl)

[thread]14668[/thread]

Täglicher Screenshot mit Perl?

Leser: 28

Articles: hide open all | hide show old branches

+7 replies
vitopetre

2010-02-14 19:02

User since
2010-02-14
25 Artikel
BenutzerIn

Hallo,

ich bin ein absoluter Perl Neuling, muss mich aber im Zuge meines Studiums jetzt über die Semesterferien in Perl einarbeiten und auch noch andere Recherchen betreiben, entschuldigt also bitte, falls meine Fragen sehr "naiv" gestellt sind.

Ich wollte fragen es möglich ist ein Programm zu schreiben, dass täglich auf eine Website (genauer gesagt diese Website hier: http://www.geovisite.com/en/directory/references_l...) zugreift und dort die angezeigte Tabelle der Zugriffe fotografiert, so dass ich aus diesen Daten dann über einen etwas langfristigeren Zeitraum eine Statstik erstellen kann. Oder gibt es vielleicht andere Wege diese angezeigten Zahlen zu speichern?

Ich habe bereits die Betreiber der Website angeschrieben, leider haben die mir nur geantwortet, dass sie zwar diesen Counter haben, aber ihre sonstigen Zugriffsdaten zwar als Statistiken für Ihre Nutzer zur verfügung stellen wollen, aber daran erst "arbeiten", was noch sehr lange dauern kann... - ich verstehe zwar nicht wo da genau die Schwierigkeiten für den Admin liegen, den täglichen Count einfach jeden Tag als Tabelle abzuspeichern, aber wie auch immer - ich kann nicht auf diese Leute warten, da ich innerhalb dieser Semesterferien meine Statistik erstellen muss und die dort angezeigten Daten sollten eigentlich so eine Kernstück meiner Arbeit darstellen!

Sollte es überhaupt keine andere Lösung geben, muss ich wohl einfach selbst jeden Tag kurz vor dem Reset des Counters vor dem Computer kleben und manuell die Screenshots machen, aber nachdem was mein Dozent uns über die wundervollen Möglichkeiten, die uns Perl eröffnet erzählt hat, gibt es dafür doch bestimmt einen eleganteren Weg, oder?

Vielen Dank für Eure Antworten und Hilfreichen Hinweise!!!

(P.S.: Die Daten die ich brauch sind NICHT ILLEGAL oder ähnliches, es handelt sich um eine öffentlich sichtbare Tabelle (ich will keine Logfiles oder ähnliches) vom Zugriff auf www.doaj.com der Directory of OPEN ACCESS Journals)
- pq
  
  2010-02-14 19:17
  
  User since
  2003-08-04
  12208 Artikel
  Admin1
  
  schau dir mal WWW::Mechanize und WWW::Mechanize::Shell an.
  (edit: wenn es sich um eine einzige, feste url handelt, brauchst du vermutlich nur LWP::Simple)
  
  ausserdem HTML::Treebuilder oder HTML::TreeBuilder::XPath. damit kann man recht einfach daten aus HTML extrahieren. (nehme mal an, dass es um HTML geht, da du nur die startseite verlinkt hast und ich nicht weiss, welche daten genau du extrahieren willst.)
  Last edited: 2010-02-14 19:19:58 +0100 (CET)
  Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
  lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
- pq
  
  2010-02-14 19:21
  
  User since
  2003-08-04
  12208 Artikel
  Admin1
  
  bitte mache crosspostings kenntlich, wie es in unserer FAQ AllgemeinesWieFrageIchbeiPerlCommunity beschrieben ist.
  ich übernehm das hier mal für dich:
  http://community.perl.de/content/t-gliche-screensh...
  Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
  lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
- pq
  
  2010-02-14 19:34
  
  User since
  2003-08-04
  12208 Artikel
  Admin1
  
  titel editiert: s/sereenshot/screenshot/
  Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
  lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
- +3 replies
- topeg
  
  2010-02-14 21:35
  User since
  2006-07-10
  2611 Artikel
  BenutzerIn
  Also unter Linux(Unix) würde ich einen Cron-Job anlegen der wget ausführt:
  
  Code: (dl )
  
  0 12 * * * wget http://www.test.de/table.html -o /path/to/dir/table-`date -I`.html
  
  Unter Windows wirst du wohl ein Script brauchen, dass ständig läuft und ungefähr so aussieht:
  
  Code (perl): (dl )
  
  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25
  
  #!/usr/bin/perl use strict; use warnings; use LWP::Simple; use POSIX 'strftime'; my $wait=60*60*24; my $url='http://www.test.d/table.html'; my $name='/path/to/dir/table-%y-%m-%d.html'; while(1) { eval { $SIG{ALRM}=sub{ die(); }; alarm($wait); my $c=<STDIN>; chomp($c); alarm(0); exit if(defined($c) && $c eq 'q'); } my $file=strftime($name); print "Save $url => $file\n"; getstore($url, $file) or die("ERROR store $file ($!)"); }
  - +2 replies
  - vitopetre
    
    2010-02-15 00:35
    
    User since
    2010-02-14
    25 Artikel
    BenutzerIn
    
    Wow vielen Dank für Eure Antworten!
    
    Ihr seid ja eine super schnelle - sehr hilfsbereite community!
    
    Vielen vielen Dank und entschuldigung wegen dem crossthread, ich war mir nicht darüber klar, dass das für Euch so wichtig ist.
    
    Ich hab jetzt rausgefunden, dass sich der counter jeden Tag um 24 Uhr mitteleuropäischer Zeit auf Null stellt - damit würde es mir reichen jeden Tag kurz vor 12 die Daten zu holen, somit müsste ich den Computer gar nicht unbedingt den ganzen Tag laufen lassen oder?
    
    Nochmal vielen Dank für eure schnellen und sehr hilfreichen Antworten!
    - topeg
      
      2010-02-15 00:55
      
      User since
      2006-07-10
      2611 Artikel
      BenutzerIn
      
      Unter Windows kann man auch so was wie cronjobs machen. Die heißen "Scheduled Tasks" denke ich. Da trägst du dann ein Script ein:
      perl x:\path\to\autofetch.pl und stellst ein, dass es alle 24 Stunden vor 12 ausgeführt wird.
      
      und autofetch.pl sähe dann so aus:
      
      Code (perl): (dl )
      
      1 2 3 4 5 6 7 8 9 10 11
      
      #!/usr/bin/perl use strict; use warnings; use LWP::Simple; use POSIX 'strftime'; my $url='http://www.test.de/table.html'; my $name='x:\path\to\dir\table-%y-%m-%d.html'; my $file=strftime($name); getstore($url, $file) or die("ERROR store $file ($!)");
      
      Ich benutze Windows eher selten und für so was gar nicht. Darum kann ich dir da keine so genauen Auskünfte geben.

View all threads created 2010-02-14 19:02.