LWP::UserAgent - Content ist unvollständig (gelöst) (Fragen zu Perl-Modulen)

[thread]18012[/thread]

LWP::UserAgent - Content ist unvollständig [gelöst]

Tags: perl5 modul LWP::UserAgent Lesepuffer unvollständig Ähnliche Threads

Leser: 16

Articles: hide open all | hide show old branches

+7 replies
MarkusH

2012-12-26 00:03

User since
2012-04-08
161 Artikel
BenutzerIn

Hallo,

mit LWP::UserAgent will ich an den Quellcode einer Website kommen.
In $response->{_content} steht jedoch nicht der vollständige Quellcode der Seite.

So Daumen mal Pi kommen nur 10214 von 19157 Zeichen an.

Ich vermute nun mal, dass es hier irgendwo in den Tiefen der Module eine Beschränkung im Lesepuffer gibt. Hab mir die letzten Stunden einen Wolf gesucht, bin aber nicht fündig geworden.

Kann mir jemand weiterhelfen?
Danke!
$q =~ /(bb|[^b]{2})/
- GwenDragon
  
  2012-12-26 00:59
  
  User since
  2005-01-17
  14533 Artikel
  Admin1
  
  Standardgemäß ist der Puffer ohne Limit (max_size ist undef).
  
  Was kommt denn überhaupt in der Antwort im Header zurück? Vielleicht hat der Server abgebrochen. Client-Aborted wäre auch ein HTTP-Fehler-Header.
  Last edited: 2012-12-26 01:01:23 +0100 (CET)
  die Drachin, Gwendolyn
  
  Unterschiedliche Perl-Versionen auf Windows (fast wie perlbrew) • Meine Perl-Artikel
- bianca
  
  2012-12-26 07:33
  
  User since
  2009-09-13
  6977 Artikel
  BenutzerIn
  
  2012-12-25T23:03:51 MarkusH
  Ich vermute nun mal, dass es hier irgendwo in den Tiefen der Module eine Beschränkung im Lesepuffer gibt.
  
  Ich habe damit schon viel größere Seiten geladen und musste mich nicht um Puffer kümmern.
  Allerdings hole ich den Content auch anders: my $content = $response->content wobei $response die Zuweisung von $ua->get() ist.
  Wo hast du dieses _content her?
  10 print "Hallo"
  20 goto 10
- +3 replies
- bianca
  
  2012-12-26 08:11
  
  User since
  2009-09-13
  6977 Artikel
  BenutzerIn
  
  2012-12-25T23:03:51 MarkusH
  So Daumen mal Pi kommen nur 10214 von 19157 Zeichen an.
  
  Was hast du miteinander verglichen? Browser mit LWP Ergebnis? Vielleicht irgendwo ein Redirect drin, den man im Browser kaum sieht? Dann holt LWP nämlich was ganz anderes ab als der Browser trotz gleicher URL. Bin ich auch schon drauf reingefallen. LWP folgt Redirects nicht automatisch!
  10 print "Hallo"
  20 goto 10
  - +2 replies
  - MarkusH
    
    2012-12-26 11:20
    
    User since
    2012-04-08
    161 Artikel
    BenutzerIn
    
    Guten morgen!
    
    Anbei ein Screenshot des erhaltenen Response-Objektes.
    Anhänge
    
    image/jpeg
    882 x 253
    response.jpg
    
    $q =~ /(bb|[^b]{2})/
    - bianca
      
      2012-12-26 15:48
      
      User since
      2009-09-13
      6977 Artikel
      BenutzerIn
      
      Markus, bitte antworten immer auf den passenden Thread und nicht irgendwo. Hier ist eine Baumstruktur.
      Und bezüglich _content (dein Screenshot scheint deine Antwort auf meine dahingehende Frage zu sein obwohl du dann auf den falschen Beitrag geantwortet hast) pflichte ich Gwendragon Punkt 1 bei. Du scheinst damit auf das Objekt direkt zugreifen zu wollen. Da das der internen Verwaltung des Moduls unterliegt würde ich nicht darauf zugreifen. Nimm lieber die von mir gezeigte und dafür vorgesehene Methode.
      10 print "Hallo"
      20 goto 10
- GwenDragon
  
  2012-12-26 15:39
  
  User since
  2005-01-17
  14533 Artikel
  Admin1
  
  1. Warum greifst du auf den Hash des Objekts $response zu?
  Es gibt Methoden, um Inhalte auszulesen. Macht das für dich keinen Sinn die Methoden zu nutzen?
  
  2. Es ist nicht so praktisch, Inhalte als Screenshot zu posten.
  Bitte poste Textinhalt (in CODE-Tags)
  
  3. Leider hast du nicht die HTTP-Header der Response gepostet.
  Ich sehe nur die Inhalte eines Requests.
  Bitte HTTP-Header der Response nachreichen.
  
  4. Bitte schreibe mal deinen Code wie du die Webseite abfragst.
  die Drachin, Gwendolyn
  
  Unterschiedliche Perl-Versionen auf Windows (fast wie perlbrew) • Meine Perl-Artikel

View all threads created 2012-12-26 00:03.