WWW::Mechanize + variabler Proxy (Fragen zu Perl-Modulen)

[thread]15542[/thread]

WWW::Mechanize + variabler Proxy

Leser: 13

Articles: hide open all | hide show old branches

+11 replies
Gast b00n

2010-10-15 20:23
Hallo Leute,

für ein kleines Projekt an der Uni, arbeite ich mich zur Zeit etwas in die Programmiersprache Perl und das nützliche Modul WWW::Mechanize ein.
Nun wollte ich mal die Proxyfunktion von Mechanize testen und hatte leider nicht viel Erfolg mit HTTPS Adressen.
Nach ein bisschen rumgegoogle bin ich über diese Adresse gestolpert (http://www.cpuidle.de/blog/?p=54) und hatte mein Code entsprechend angepasst.
Code (perl): (dl )

1 2 3 4 5 6 7 8 9 10 11 12 13 14

#!/ur/bin/perl use WWW::Mechanize; use strict; use warnings; $mech = WWW::Mechanize->new( ); $ENV{HTTPS_PROXY} = 'http://proxy'; $req = HTTP::Request->new(GET => 'Adresse'); $res = $mech->request($req); print $mech->content();
Das funktioniert schon ganz gut.

Jetzt hab ich jedoch die Frage, ob das alles auch etwas dynamischer gestaltet werden kann?!

Also: Ist es mir möglich nach, meinetwegen, 5
Code: (dl )

print $mech->content();
aufrufen, den Proxyserver zu wechseln und die nächsten 5
Code: (dl )

print $mech->content();
Aufrufe über einen anderen Proxy zu starten ?

Danke schon einmal für eventuell hilfreiche Antworten :)
Last edited: 2010-10-15 21:00:47 +0200 (CEST)
- +5 replies
- topeg
  
  2010-10-15 21:09
  User since
  2006-07-10
  2611 Artikel
  BenutzerIn
  versuch es mal mit:
  
  Code (perl): (dl )
  
  $mech->proxy('http','http://proxy');
  
  Für genaueres schau unter LWP::UserAgent um genau zu sein hier: http://search.cpan.org/~gaas/libwww-perl-5.837/lib...
  - +2 replies
  - Gast b00n
    
    2010-10-15 21:21
    Danke für deine Antwort.
    
    Jedoch hatte ich damit leider überhaupt kein Glück.
    Jedenfalls nicht bei HTTPS Adressen.
    Bei normalen HTTP Adressen gabs keine Probleme, aber bei HTTPS Adressen musste ich den Umweg (wie oben) nehmen und da hatte das
    
    Code (perl): (dl )
    
    $mech->proxy('http','http://proxy');
    
    leider überhaupt keine Wirkung.
    
    Oder ich habe es einfach nicht richtig eingesetzt.
    Last edited: 2010-10-15 21:22:40 +0200 (CEST)
    - topeg
      
      2010-10-15 21:31
      
      User since
      2006-07-10
      2611 Artikel
      BenutzerIn
      
      Ließ dir die links durch:
      Proxy für HTTPS:
      
      Code (perl): (dl )
      
      $mech->proxy('https','http://proxy');
      
      Erst das Protokoll das der Proxy kann Proxy dann die URL des Proxys.
  - +2 replies
  - Gast b00n
    
    2010-10-15 21:25
    ps: Auf der oben genannten Homepage steht ja auch folgendes.
    
    Code: (dl )
    
    A common problem with not so many solutions on the web is submitting HTTPS requests using Perl’s LWP module. This works fine as long as no proxy is involved.
    
    Ich denke, das gilt auch für WWW::Mechanize
    Last edited: 2010-10-15 21:48:06 +0200 (CEST)
    - cbxk1xg
      
      2010-10-15 21:50
      
      User since
      2003-10-20
      496 Artikel
      BenutzerIn
      
      LWP ist ein recht umfangreiches Modul. Es gibt LWP::Simple, LWP::UserAgent, etc... Die richtige Wahl wäre in diesem Fall LWP::UserAgent: http://search.cpan.org/~gaas/libwww-perl-5.837/lib...
- +5 replies
- cbxk1xg
  
  2010-10-15 21:27
  
  User since
  2003-10-20
  496 Artikel
  BenutzerIn
  
  Ich würde ein Array mit diversen Proxies anlegen und dann alle Aufrufe in einer SessionDatei auf dem Server zählen.
  
  Also, Session Datei anlegen falls nicht vorhanden. Dann wäre der Wert des Counters 0. Falls vorhanden, Counter auslesen und per $count++ hochzählen, dann speichern, Proxiekram machen und gut. Wenn der Wert 5 übersteigt dann einen anderen Proxy wählen. Du kannst Ja deine Liste mit den Proxies als CSV abfassen und immer einen "active" Wert setzen.
  Last edited: 2010-10-15 21:35:48 +0200 (CEST)
  - +4 replies
  - Gast b00n
    
    2010-10-15 21:33
    
    2010-10-15T19:27:34 cbxk1xg
    Ich würde ein Array mit diversen Proxies anlegen und dann alle Aufrufe in einer SessionDatei auf dem Server zählen.
    
    Also Session Datei anlegen wenn nicht vorhanden. Dann wäre der Wert 0. Falls vorhanden auslesen und $count++ hochzählen, dann speichern, Proxiekram machen und gut. Wenn der Wert 5 übersteigt dann einen anderen Proxie wählen. Du kannst Ja deine Liste mit den Proxies als CSV abfassen und immer einen "active" Wert setzen.
    
    Danke für deine Antwort.
    Hättest du da vielleicht ein Codeschnipsel im Kopf ?
    Die Idee hatte ich ja auch schon. Aber ich weiß eben nicht, wie ich die ENV Variable so anpasse, dass er eben nach 5 durchläufen den nächsten Proxy benutzt. :-/
    Last edited: 2010-10-15 21:47:58 +0200 (CEST)
    - +3 replies
    - cbxk1xg
      
      2010-10-15 21:55
      
      User since
      2003-10-20
      496 Artikel
      BenutzerIn
      
      Guest b00n
      Aber ich weiß eben nicht, wie ich die ENV Variable so anpasse, dass er eben nach 5 durchläufen den nächsten Proxy benutzt. :-/
      
      ENV Variable ist die falsche Baustelle. Die ENV Variablen geben dir nur Aufschluss darüber, was auf deinem Webserver wie konfiguriert ist.
      
      Ich denke, Du hast das Prinzip einer Session noch nicht ganz verstanden, oder mein Posting war zu unsortiert. Da dein Script bei jedem Aufruf neu interpretiert wird und danach stirbt, mußt du dir eine Möglichkeit schaffen, Daten als "Merkhilfe" zu speichern. Alternativ kannst Du dir mal mod_perl oder ähnliche Geschichten ansehen. Das ist aber nicht so ganz ohne! Der Unterschied zu Perl, das über das CGI als normales Script arbeitet ist, grob gesagt, eine persistente (dauerhafte) Laufzeitumgebung. Das Script bleibt also im RAM und wartet auf Aufgaben. - Das war nun aber echt recht unscharf und simpel formuliert.
      Last edited: 2010-10-15 21:57:46 +0200 (CEST)
      - +2 replies
      - Gast b00n
        
        2010-10-15 22:49
        
        2010-10-15T19:55:49 cbxk1xg
        Guest b00n
        Aber ich weiß eben nicht, wie ich die ENV Variable so anpasse, dass er eben nach 5 durchläufen den nächsten Proxy benutzt. :-/
        
        ENV Variable ist die falsche Baustelle. Die ENV Variablen geben dir nur Aufschluss darüber, was auf deinem Webserver wie konfiguriert ist.
        
        Ich denke, Du hast das Prinzip einer Session noch nicht ganz verstanden, oder mein Posting war zu unsortiert. Da dein Script bei jedem Aufruf neu interpretiert wird und danach stirbt, mußt du dir eine Möglichkeit schaffen, Daten als "Merkhilfe" zu speichern. Alternativ kannst Du dir mal mod_perl oder ähnliche Geschichten ansehen. Das ist aber nicht so ganz ohne! Der Unterschied zu Perl, das über das CGI als normales Script arbeitet ist, grob gesagt, eine persistente (dauerhafte) Laufzeitumgebung. Das Script bleibt also im RAM und wartet auf Aufgaben. - Das war nun aber echt recht unscharf und simpel formuliert.
        
        Also ich soll mir ein Script für mein Script schreiben ? :)
        Welcher Beispielsweise mein 1. Script immer wieder nach diesen 5 Durchläufen mit einem anderen Parameter wieder aufruft ?
        Last edited: 2010-10-15 23:02:08 +0200 (CEST)
        
        cbxk1xg
        
        2010-10-17 21:39
        
        User since
        2003-10-20
        496 Artikel
        BenutzerIn
        
        Nein. Lies dir mal bitte diesen Wikipedia Artikel zum Seesion-ID durch: http://de.wikipedia.org/wiki/Session_ID

View all threads created 2010-10-15 20:23.