LWP::ConnCache (Fragen zu Perl-Modulen)

[thread]19915[/thread]

LWP::ConnCache

Tags: perl5 LWP::ConnCache Similar Threads

Readers: 11

Articles: hide open all | hide show old branches

+7 replies
guest janus

2015-12-04 10:33

Hi, hat mal jemand ein Beispiel, so gestellt, dass ich das verstehen kann, als wäre ich fünf Jahre alt?

Einfach grausam die libwww. Für einen Request brauche ich mehrere Objekte verschiedener Klassen und kriege dann ein Response-Objekt. Aber so richtig interessant wirds ja erst mit Connection: Keep-Alive. Da bräuchte ich zum Prüfen der Erreichbarkeit von 250 URLs nur noch ein paar wenige Sekunden anstatt einer Minute.

Wie geht sowas mit LWP::ConnCache?
Last edited: 2015-12-04 11:56:44 +0100 (CET)
- +6 replies
- jan
  
  2015-12-04 14:45
  
  User since
  2003-08-04
  2536 articles
  ModeratorIn
  
  An sich sollte es reichen, LWP::UserAgent->new( keep_alive => 1 ) zu nutzen, um keep-alive zu nutzen. Manuelles Connectionmanagement ist unnötig.
  - +5 replies
  - guest janus
    
    2015-12-04 14:57
    
    2015-12-04T13:45:52 jan
    An sich sollte es reichen, LWP::UserAgent->new( keep_alive => 1 ) zu nutzen, um keep-alive zu nutzen. Manuelles Connectionmanagement ist unnötig.
    
    Ok, wie setze ich das dann ein? Also, wie setze ich da 200 Requests ab und wie werte ich die Response dann aus?
    
    Falls Du ein Beispiel machen möchtest, 2 Requests reichen für ein Beispiel.
    Last edited: 2015-12-04 15:01:58 +0100 (CET)
    - +4 replies
    - jan
      
      2015-12-04 16:49
      
      User since
      2003-08-04
      2536 articles
      ModeratorIn
      
      Es läuft transparent, Du setzt 2 Requests ab, die Connection wird recyclet -- falls der Server sie nicht schließt.
      
      Code (perl): (dl )
      
      1 2 3 4 5 6 7 8 9 10
      
      #!/usr/bin/perl use strict; use LWP::UserAgent; my $ua = LWP::UserAgent->new( keep_alive => 0); for(1..2) { my $req = HTTP::Request->new("GET", "http://www.gastwirtschaft-tauer.de/cgi-bin/info.cgi"); my $res = $ua->simple_request($req); print $res->decoded_content . "\n"; }
      
      grep nach REMOTE_PORT, dann siehst du zwei verschiedene.
      änder das keep_alive auf 1, dann noch mal => zwei mal der selbe port.
      - +3 replies
      - guest janus
        
        2015-12-04 17:35
        
        Vielen Dank!!!
        
        Aber irgendwie überzeugt mich das nicht so richtig. Ich habe 220 URLs in meiner lokalen Testumgebung, mit Deinem Code und LWP::UserAgent brauche ich für 220 HEAD Requests einschließlich Ausgabe der Response über 70 Sekunden.
        
        Und wenn ich ( keep_alive => 0 ) setze , braucht das Script exakt genauso lange.
        
        Aber wenn ich das mit IO::Socket::INET alles händisch programmiere gehts doppelt so schnell. Über den Proxy www-proxy.t-online.de brauche ich beispielsweise 4..5 Sekunden für 250 HEAD Requests auf verschiedenen Domänen. D.h., nach diesen paar Sekunden ist die Response bei mir.
        Last edited: 2015-12-04 17:39:18 +0100 (CET)
        
        +2 replies
        
        jan
        
        2015-12-04 19:24
        
        User since
        2003-08-04
        2536 articles
        ModeratorIn
        
        Nimm mal wireshark o.ä. und schau dir genau an, was da passiert.
        
        Ich rücke auch immer weiter von LWP ab, weil da viel zu viel Black-Box-Magic passiert.
        z.B. weiß ich nicht, ob ein HEAD dazu führt, dass die response nicht geparst wird, oder ob da weiterhin geparst und nach x-http-equiv und so gesucht wird (was bei großen replys auch zeit kosten kann, und viele apps auf dem server unterscheiden nicht zwischen GET und HEAD) (parse_head => 0 ändert das).
        
        Insgesamt finde ich heute zB Mojo::UserAgent viel angenehmer, wenn LWP, dann eh nur mit LWP::Protocol::Net::Curl weil die default Lösungen mir zu viele Probleme mit SSL haben.
        
        guest janus
        
        2015-12-04 22:07
        
        hi lieber Jan,
        
        mehr zu persistent Connection, Pipelining, Keep-Alive
        http://handwerkzeugs.de/httpconn.html
        
        und über meine Module, die damit richtig umgehen können
        http://handwerkzeugs.de/httprequest.html
        
        Viele Grüße!
        Last edited: 2015-12-04 23:00:34 +0100 (CET)

View all threads created 2015-12-04 10:33.