Perl Grundlegendes (Webseite auslesen und Aktion ausführen) (Allgemeines zu Perl)

[thread]17214[/thread]

Perl Grundlegendes (Webseite auslesen und Aktion ausführen)

Tags: perl5 Ähnliche Threads

Leser: 30

Articles: hide open all | hide show old branches

+11 replies
Remo74

2012-03-04 18:47

User since
2012-03-04
1 Artikel
BenutzerIn

Hallo zusammen,

Da ich von Perl und Programmiersprachen absolut keine Ahnung habe, möchte ich Euch um Verständnis bitten. Ich weiss lediglich, dass Perl Skripte in Zusammenhang mit Webseiten ausgeführt werden können und in dem dafür vorgegebenen Ordner "cgi-bin" liegen müssen. Können auch Perl-Scripte auf der Festplatte ausgeführt und mit einem Tool offline geprüft werden? Ich arbeite in der OSX-Umgebung und meine Frage ist, ob es dafür eine passende Software gibt.

Mir hat jemand Perl mit LWP Modul empfohlen, wo ich ebenso absolut auf dem Schlauch stehe. Sind Module eigenständige Applikationen (Software), die man sich extra kaufen muss?

Mir geht es darum, dass ich in einem extrem kurzen Zeitinvervall aus einer Webseite mit Echtzeit-Börsen-Kursen die Aktien-Werte auslesen, vergleichen und die Performance von 20 Sekunden berechnen lassen möchte. Falls in 20 Sekunden eine Negativ-Performance einer Aktie von 1 oder mehr Prozent erreicht wird, soll das Perl-Script eine Aktion starten (auf eine Webseite zugreifen). Dies wäre eine Endlos-Schlaufe, die täglich (Montag-Freitag) von morgens um 10 Uhr beginnt und jeweils Abends um 17 Uhr endet. Falls in einem Tag 20 solche Fälle auftreten, soll die Aktion automatisch stoppen und erst am nächsten Tag wieder von vorne beginnen.

Wäre so etwas technisch mit Perl überhaupt realisierbar? Falls ja, in welchem zeitlichen Rahmen würde sich dies für einen erfahrenen User bewegen. Gibt es freischaffende Skripter, die mir bei diesem Projekt helfen würden?

So, das wären mal jede Menge fragen. Vielleicht kann mir der eine oder andere mit guten Tipps weiterhelfen. Gruss Remo

modedit Editiert von GwenDragon: Titel ergänzt
Last edited: 2012-03-05 12:14:07 +0100 (CET)
- +2 replies
- rosti
  
  2012-03-04 19:56
  
  User since
  2011-03-19
  3194 Artikel
  BenutzerIn
  
  Machbar ist vieles. LWP steht für Library Www /Perl und ist standardmäßig dabei.
  
  Deinen Auftrag würde ich übernehmen, Weiteres am Besten per eMail oder telefonisch (siehe meine Website)
  
  --Rosti
  - hlubenow
    
    2012-03-04 23:38
    
    User since
    2009-02-22
    875 Artikel
    BenutzerIn
    
    2012-03-04T18:56:00 rosti
    Machbar ist vieles. LWP steht für Library Www /Perl und ist standardmäßig dabei.
    
    Deinen Auftrag würde ich übernehmen, Weiteres am Besten per eMail oder telefonisch (siehe meine Website)
    
    --Rosti
    
    So sehr ich Dir einen neuen Auftrag gönnen würde, aber paß' auf, er will offenbar Aktiengeschäfte per Perl-Skript machen.
    Da könnte es hohe Haftungsrisiken geben!
    Ggf. müßte man eine entsprechende Berufshaftpflichtversicherung abschließen.
- clms
  
  2012-03-04 23:17
  
  User since
  2010-08-29
  373 Artikel
  BenutzerIn
  
  2012-03-04T17:47:42 Remo74
  Ich weiss lediglich, dass Perl Skripte in Zusammenhang mit Webseiten ausgeführt werden können und in dem dafür vorgegebenen Ordner "cgi-bin" liegen müssen.
  
  Das stimmt so schon mal nicht.
  Perl ist eine Programmiersprache, die u.a. gerne zum Erstellen von Webseiten oder für CGI-Skripte verwendet wird. Der Ordner "cgi-bin" ist eine Konvention um manchem Webserver mitzuteilen, dass sich dort CGI-Skripte und keine statischen Dokumente befinden. Notwendig ist das nicht.
  
  2012-03-04T17:47:42 Remo74
  Können auch Perl-Scripte auf der Festplatte ausgeführt und mit einem Tool offline geprüft werden? Ich arbeite in der OSX-Umgebung und meine Frage ist, ob es dafür eine passende Software gibt.
  
  Perl-Skripte kann man lokal ausführen. Einen Webserver braucht man dafür nicht.
  
  2012-03-04T17:47:42 Remo74
  Mir hat jemand Perl mit LWP Modul empfohlen, wo ich ebenso absolut auf dem Schlauch stehe. Sind Module eigenständige Applikationen (Software), die man sich extra kaufen muss?
  
  Module sind keine eigenständigen Programme sondern Erweiterungen, die Perl mit zusätzlichen Funktionen ausstatten. Auf CPAN (Common Perl Archive Network) gibt es unzählige Module zum freien Download. Kaufen musst Du die nicht.
  (Allerdings musst Du bei Deinem Kenntnisstand wahrscheinlich jemanden bezahlen, der Dir mit den Modulen das gewünscht Skript zusammen baut.)
  
  Das LWP-Module ermöglicht es Perl z.B. als HTTP-Client Webseiten runterzuladen. Zusätzlich bräuchtest Du noch eine Funktion, die aus der Webseite mit den Börsen-Kursen die gewünschen Aktienkurse extrahiert (auch da gibt es Module, die Dir dabei helfen können, etwa HTML::Parser und HTML::TreeBuilder - allerdings muss man i.d.R. noch etwas Gehirnschmalz um sie für die gewünschte Aufgabe zu konfigurieren).
  Der Rest - Vergleich der Aktienkurse mit den vorherigen Wert, merken ob es schon 20 Alarme am Tag gegeben hat, Anfordern einer Webseite - ist relativ trivial.
  
  Ein Problem könnte es noch geben, wenn Du besondere Anforderungen an die zeitliche Präzision stellst. Welche Toleranz hat Dein 20 Sekunden-Interval?
  Kannst Du damit leben, wenn es manchmal 25s werden, weil die Übertragung der Webseiten gestockt hat?
- hlubenow
  
  2012-03-04 23:50
  User since
  2009-02-22
  875 Artikel
  BenutzerIn
  2012-03-04T17:47:42 Remo74
  ... Ich weiss lediglich, dass Perl Skripte in Zusammenhang mit Webseiten ausgeführt werden können und in dem dafür vorgegebenen Ordner "cgi-bin" liegen müssen. Können auch Perl-Scripte auf der Festplatte ausgeführt und mit einem Tool offline geprüft werden?
  
  Ja, kopiere z.B. folgenden Code in einen Nur-Text-Editor
  
  Code (perl): (dl )
  
  1 2 3 4 5 6
  
  #!/usr/bin/perl use warnings; use strict; print "Hallo Welt.\n";
  
  speichere das als "hallo.pl", mach' auf dem Mac ein Terminal auf, gehe in das Verzeichnis des Skripts und tippe
  
  Code: (dl )
  
  chmod +x hallo.pl
  
  Danach
  
  Code: (dl )
  
  ./hallo.pl
  
  Dann sollte dort "Hallo Welt." erscheinen.
  
  Das cgi-bin-Verzeichnis brauchst Du nur, wenn Du ein Server-Programm laufen hast und darauf CGI-Skripte ausführen willst. Das ist also keine Voraussetzung für Perl-Programme. Vielleicht kennst Du auch das Spiel "Frozen Bubble", das ist z.B. ebenfalls in Perl (auch ohne CGI-Server).
  
  Näher zu Perl auf'm Mac:
  
  http://www.mactech.com/articles/mactech/Vol.18/18....
  
  Aber sei' auch Du bloß vorsichtig mit Deinem Aktienhandel: Ich persönlich würde das nie einem Skript anvertrauen, sondern selbst von Hand machen. Allerdings: TMTOWTDI. ;)
  Last edited: 2012-03-04 23:55:33 +0100 (CET)
- +5 replies
- bianca
  
  2012-03-05 06:27
  
  User since
  2009-09-13
  6977 Artikel
  BenutzerIn
  
  2012-03-04T17:47:42 Remo74
  Mir geht es darum, dass ich in einem extrem kurzen Zeitinvervall aus einer Webseite mit Echtzeit-Börsen-Kursen die Aktien-Werte auslesen, vergleichen und die Performance von 20 Sekunden berechnen lassen möchte.
  
  Erlaubt der Anbieter dieser Seite das offiziell?
  Falls nicht und die schauen sich den Traffic an können die sehen, dass du einen Robot betreibst und sperren evtl. deinen Benutzer und/oder IP. Dann war die ganze Mühe umsonst.
  Obendrein könnte das eine strafbare Handlung nach § 87a (1) S. 1 Urheberrechtsgesetz sein - Thema Datenbanken.
  10 print "Hallo"
  20 goto 10
  - +4 replies
  - jan
    
    2012-03-05 09:18
    
    User since
    2003-08-04
    2536 Artikel
    ModeratorIn
    
    2012-03-05T05:27:07 bianca
    Falls nicht und die schauen sich den Traffic an können die sehen, dass du einen Robot betreibst und sperren evtl. deinen Benutzer und/oder IP. Dann war die ganze Mühe umsonst.
    
    Nein, dann muss man nur noch ein kleines bißchen mehr Mühe aufwenden.
    Und aus meiner Erfahrung: außer den ganz kleinen Krautern guckt sich niemand den Traffic an, wenn Du keinen DDOS fährst.
    
    Allerdings ganz allgemein: die Performance über 20 Sekunden von mehreren Aktien, wohlmöglich mit mehreren Requests pro Sekunde um den Kurs zu bestimmen? Das wird spannend. Ich vermute mal, dass dir schon Netzwerk-Verzögerungen das Ergebnis gewaltig verdrehen.
    - +3 replies
    - bianca
      
      2012-03-05 11:41
      
      User since
      2009-09-13
      6977 Artikel
      BenutzerIn
      
      2012-03-05T08:18:01 jan
      außer den ganz kleinen Krautern guckt sich niemand den Traffic an, wenn Du keinen DDOS fährst.
      
      Gucken war nicht im Sinne von manuellen Logfiles lesen gemeint. Wenn die die Zugriffe automatisch überwachen und in so kurzer Zeit so viele Requests kommen geht sicherlich eine Lampe an. Gerade bei Kursen habe ich da schon ein paar Erfahrungen sammeln dürfen :)
      
      Und wenn davon etwas abhängt (z.B. automatische Ordergenerierung) würde ich es auf GARKEINEN Fall auf diese Weise lösen.
      10 print "Hallo"
      20 goto 10
      - +2 replies
      - jan
        
        2012-03-05 13:01
        
        User since
        2003-08-04
        2536 Artikel
        ModeratorIn
        
        2012-03-05T10:41:49 bianca
        2012-03-05T08:18:01 jan
        außer den ganz kleinen Krautern guckt sich niemand den Traffic an, wenn Du keinen DDOS fährst.
        
        Gucken war nicht im Sinne von manuellen Logfiles lesen gemeint. Wenn die die Zugriffe automatisch überwachen und in so kurzer Zeit so viele Requests kommen geht sicherlich eine Lampe an. Gerade bei Kursen habe ich da schon ein paar Erfahrungen sammeln dürfen :)
        
        das meinte ich auch. Und das wird selten gemacht. Zumal die besseren Depotservices auch eine API bereitstellen.
        
        2012-03-05T10:41:49 bianca
        Und wenn davon etwas abhängt (z.B. automatische Ordergenerierung) würde ich es auf GARKEINEN Fall auf diese Weise lösen.
        
        automatische Ordergenerierung würde ich schon mal gar nicht angehen. Und ja, auch definitiv nicht auf diese Weise.
        
        hlubenow
        
        2012-03-05 22:13
        
        User since
        2009-02-22
        875 Artikel
        BenutzerIn
        
        2012-03-05T12:01:36 jan
        Zumal die besseren Depotservices auch eine API bereitstellen.
        
        Das denke ich auch. Bestimmt kann man gegen Geld irgendwo auch legal recht aktuelle Daten von Kursen bekommen.
        Fragt sich nur, wieviel das kostet und wie aktuell genau die dann sind.
- GwenDragon
  
  2012-03-05 09:29
  
  User since
  2005-01-17
  14533 Artikel
  Admin1
  
  Die ganzen Informationen aus der Webseite auszulesen und wohlmöglich das HTML zu parsen funktioniert so lange wie die Webseite regelkonform erstellt wurde und nicht geändert wird.
  Wenn die Webseite keine echte Schnittstelle zur Abfrage von Börsenkursen bereit stellt, kann es schwierig werden.
  Außerdem (wie schon andere hier ansprachen) kannst du nicht davon ausgehen, dass die Informationen sekundengenau ausgelesen werden können.
  Zeitgenaues Trading ist durch Abgrasen von Webseiteninhalten nicht zu erreichen.
  die Drachin, Gwendolyn
  
  Unterschiedliche Perl-Versionen auf Windows (fast wie perlbrew) • Meine Perl-Artikel

View all threads created 2012-03-04 18:47.