Mit dem Firefox werden noch die ganzen zusätzlichen Elemente nachgeladen. Wie Du leicht erkennen kannst, sind das mehrere GET-Requests!

Wenn Du alle Daten wie in Firefox haben willst, musst Du auch mit Perl alle GET-Requests ausführen!

renee+2008-01-26 19:58:23--

Mit dem Firefox werden noch die ganzen zusätzlichen Elemente nachgeladen. Wie Du leicht erkennen kannst, sind das mehrere GET-Requests!

Wenn Du alle Daten wie in Firefox haben willst, musst Du auch mit Perl alle GET-Requests ausführen!

Danke.
Das ist ja auch richtig, nur, wie Du an meinem Beispiel siehst, weiß ich nicht, welche Requests ich nachladen soll, weil die eben bei mir nicht reinkommen.
Wie komme ich also an die GET-Requests?

Du musst aus dem HTML die Sachen parsen (aber bitte nicht(!) mit RegEx), die ein Nachladen verursachen, also externe CSS- und JS-Dateien, Bilder etc.

renee+2008-01-26 20:34:36--

Du musst aus dem HTML die Sachen parsen (aber bitte nicht(!) mit RegEx), die ein Nachladen verursachen, also externe CSS- und JS-Dateien, Bilder etc.

Kurz gesagt: man muss einfach nur einen halben Browser in Perl nachbauen :-)

Prima, das hilft mir schon entscheidend weiter, danke.
Bei meinen weiteren Versuchen bin ich bezüglich der Header noch auf einen Umstand gestoßen, der mich etwas verwirrt.
Ich habe ein Script mit LWP::UserAgent ausgetestet und dabei sowohl GET wie auch HEAD benutzt.
Beide Ergebnisse stimmen allerdings nicht mit dem Resultat aus dem FireFox-Tool überein.
Hier die drei Ergebnisse:

Ausgabe script (HEAD, headers_as_string):

Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0
Connection: close
Date: Sun, 27 Jan 2008 04:37:29 GMT
Pragma: no-cache
Server: Apache
Content-Type: text/html
Expires: Thu, 19 Nov 1981 08:52:00 GMT
Client-Date: Sun, 27 Jan 2008 04:45:26 GMT
Client-Peer: 66.55.141.20:80
Client-Response-Num: 1
Set-Cookie: PHPSESSID=ldu5necjl5hhdqrgns5jo5jgr0; path=/
X-Powered-By: PHP/5.1.6


Ausgabe script (GET, $response->as_string):

HTTP/1.1 200 OK
Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0
Connection: close
Date: Sun, 27 Jan 2008 04:42:34 GMT
Pragma: no-cache
Server: Apache
Content-Type: text/html
Content-Type: text/html; charset=iso-8859-1
Expires: Thu, 19 Nov 1981 08:52:00 GMT
Client-Date: Sun, 27 Jan 2008 04:45:26 GMT
Client-Peer: 66.55.141.21:80
Client-Response-Num: 1
Client-Transfer-Encoding: chunked
Link: <http://www.redtube.com/favicon.ico>; rel="shortcut icon"
Link: <http://www.redtube.com/favicon.ico>; rel="icon"; type="image/ico"
Link: <http://www.redtube.com/style.css>; rel="stylesheet"; type="text/css"
Set-Cookie: PHPSESSID=dn15rh5849dska7sc7b6cetb36; path=/
Title: RedTube - Hot Blonde stripping slowly
X-Meta-Description: Hot Blonde stripping slowly - seen on RedTube - The Free Sex Video Community. Red Tube - Upload and Download your favorite Porn Videos.
X-Meta-Keywords: Hot Blonde stripping slowly, redtube, red tube, video, videos, movies, mpgs, free, sex, porn, babes, daily, tv, film, girls, nude, nudes, adult, hot, horny, tits, boobs, pussy
X-Meta-Revisit: 1 day
X-Meta-Robots: all
X-Powered-By: PHP/5.1.6

Ausgabe LiveHTTPHeaders:

GET /3805 HTTP/1.1
Host: www.redtube.com
User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; de; rv:1.8.1.11) Gecko/20071127 Firefox/2.0.0.11
Accept: text/xml,application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5
Accept-Language: de-de,de;q=0.8,en-us;q=0.5,en;q=0.3
Accept-Encoding: gzip,deflate
Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7
Keep-Alive: 300
Connection: keep-alive
Cookie: PHPSESSID=a9ap78npolm3ne9s2rvf3h09d6; pp=1; __utma=217855893.337753910.1201403674.1201403674.1201408079.2; __utmc=217855893; __utmz=217855893.1201403674.1.1.utmccn=(direct)|utmcsr=(direct)|utmcmd=(none); __utmb=217855893

HTTP/1.x 200 OK
Date: Sun, 27 Jan 2008 04:43:23 GMT
Server: Apache
X-Powered-By: PHP/5.1.6
Expires: Thu, 19 Nov 1981 08:52:00 GMT
Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0
Pragma: no-cache
Keep-Alive: timeout=10, max=150
Connection: Keep-Alive
Transfer-Encoding: chunked
Content-Type: text/html


Sind die Header wie in LiveHTTPHeaders mit LWP überhaupt so auszulesen oder muß ich andere Methoden anwenden um so ein Ergebnis (z.B. "Host") zu erhalten?

LWP fügt einige Pseudo-HTTP-Header von sich aus hinzu, insbesondere link- und meta-Tags, die im HTML gefunden werden. Weiterhin hast du unterschiedliche Header, je nachdem, ob Connection:keep-alive gewünscht wurde oder nicht. Der Firefox macht standardmäßig keep-alive, LWP im Kommandozeilenmodus natürlich nicht (für nur einen Request braucht man kein keep-alive). Die Client-*-Header scheinen auch von LWP gesetzt zu werden und geben weitere Informationen über die Verbindung aus.

Die keep-alive Geschichte läßt sich ja relativ leicht lösen mittels
$useragent = LWP::UserAgent->new(keep_alive => 1);
Nur kommen dann auch keine erweiterten Header an.
Noch jemand eine Idee?

Welche erweiterten Header?

ptk+2008-01-27 18:12:26--

Welche erweiterten Header?

GET /3805 HTTP/1.1
Host: www.redtube.com

Die GET-Zeile ist kein Header, sondern die Requestzeile selbst. Evtl. bekommst du noch mehr Information, wenn du die Methode as_string verwendest oder einen Dump mit Data::Dumper machst.
Host kannst du im Zweifelsfall selbst konstruieren: der Wert ist immer der Hostname der URL, ggfs. mit Port.